Senior Data Engineer

Obowiązki:

• Projektowanie, rozwijanie i utrzymywanie rozwiązań data engineeringowych w środowiskach chmurowych
• Budowanie i optymalizacja pipeline’ów danych (ETL/ELT)
• Praca z dużymi wolumenami danych z silnym naciskiem na jakość danych (Data Quality)
• Implementacja i utrzymanie rozwiązań opartych na PySpark oraz SQL
• Tworzenie i utrzymywanie testów jednostkowych oraz integracyjnych
• Automatyzacja procesów CI/CD
• Współpraca z zespołami technicznymi i biznesowymi po stronie klienta

Wymagania:

• Bardzo dobra znajomość obszaru Data Engineering na poziomie seniorskim
• Doświadczenie w pracy z: AWS CDK, AWS Lambda, Databricks, Google Cloud Platform, Google App Engine, BigQuery, Dataproc, Airflow oraz Terraform
• Bardzo dobra znajomość: PySpark oraz SQL
• Doświadczenie w zakresie: Data Quality, testów jednostkowych oraz testów integracyjnych
• Praktyczna znajomość narzędzi CI/CD: GitHub Actions oraz Jenkins
• Umiejętność pracy w rozproszonych zespołach oraz projektach międzynarodowych
• Znajomość języka angielskiego na poziomie minimum B2+ (codzienna komunikacja projektowa)