Data Engineer (Google Cloud)

• Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
• Projektowanie i realizacja rozwiązań informatycznych w obszarze zasilania danych
• Analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych
• Strojenie zapytań SQL na bazach relacyjnych i hurtownianych w środowiskach on-prem oraz GCP
• Tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP
• Tworzenie rozwiązań do ładowania danych w językach Python i Rust dla danych strukturalnych i niestrukturalnych
• Przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych
• Opracowywanie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe
• Usuwanie incydentów oraz udział w rozwiązywaniu problemów
• Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych
• Wspieranie serwisowania wdrożonego oprogramowania
• Praca zgodnie z modelem DevSecOps

• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
• Znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
• Znajomość Google BigQuery
• Znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
• Znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych)
• Biegła znajomość Python i/lub Rust
• Dobrze znasz Apache AirFlow

Mile widziane:

• Wiedza z zakresu: koncepcji data mesh, baz wektorowych i grafowych
• Znajomosć Apache Spark - najlepiej GCP Data Proc; Apache Beam – najlepiej GCP DataFlow; AutomateNow; Informatica Power Center