Data Engineer

Do naszego zespołu poszukujemy doświadczonego Data Engineera, który pomoże rozwijać nowoczesne rozwiązania data & analytics w środowisku Google Cloud Platform. Szukamy osoby, która dobrze odnajduje się w pracy z danymi, potrafi budować skalowalne pipeline’y oraz sprawnie porusza się w środowisku serverless i workflow orchestration.

Zakres obowiązków

• Projektowanie i rozwój pipeline’ów danych w środowisku GCP
• Budowa oraz optymalizacja procesów ETL/ELT
• Praca z hurtownią danych BigQuery oraz optymalizacja zapytań SQL
• Tworzenie rozwiązań serverless z wykorzystaniem Cloud Run oraz Cloud Functions
• Integracja danych z różnych źródeł oraz automatyzacja procesów
• Orkiestracja workflow przy użyciu Cloud Composer (Apache Airflow)
• Zarządzanie procesami ingestii danych oraz Cloud Storage
• Monitorowanie jakości danych i walidacja procesów przetwarzania
• Współpraca z zespołami analitycznymi, developerskimi i biznesowymi

Wymagania:

• Google Cloud Platform
• Bardzo dobra znajomość:
  • BigQuery
  • Cloud Run
  • Cloud Functions
  • Cloud Storage
  • Cloud Composer / Apache Airflow

Umiejętności techniczne:

• Bardzo dobra znajomość Python
• Zaawansowana znajomość SQL:
  • złożone zapytania
  • transformacje danych
  • walidacja i kontrola jakości danych
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych
• Znajomość architektury rozwiązań data engineeringowych

Mile widziane:

• Doświadczenie w enterprise data modelling
• Doświadczenie w projektach analitycznych lub data platform
• Znajomość dobrych praktyk CI/CD i DataOps