Azure Databricks Engineer

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z sektora finansowego i zarządzania ryzykiem.
• Projektowanie, budowanie i utrzymywanie data pipeline'ów z wykorzystaniem Pythona, PySpark i SQL.
• Rozwijanie i operowanie rozwiązaniami danych na platformie Databricks Lakehouse.
• Tworzenie i zarządzanie workflowami przy użyciu Apache Airflow.
• Implementacja procesów CI/CD z wykorzystaniem Azure DevOps i Azure Pipelines.
• Praca z Git w oparciu o pull requesty i feature-branch workflows.
• Automatyzacja i monitoring zadań przetwarzania danych (m.in. Databricks Lakeflow Jobs).
• Pakowanie, wdrażanie i zarządzanie rozwiązaniami za pomocą Databricks Asset Bundles.
• Zapewnianie jakości danych poprzez testowanie i automatyzację (pytest, pre-commit hooks).
• Korzystanie ze skonteneryzowanych środowisk deweloperskich (Devcontainers, rozszerzenia VS Code).
• Ścisła współpraca z zespołami inżynieryjnymi, analitycznymi i biznesowymi w celu dostarczania niezawodnych i efektywnych rozwiązań danych.

Wymagania kluczowe:

• Minimum 8 lat doświadczenia zawodowego w obszarze inżynierii danych lub pokrewnym.
• Zaawansowana znajomość Pythona, w tym PySpark, pytest, pre-commit oraz menedżera pakietów uv.
• Praktyczne doświadczenie z platformą Databricks (Lakehouse, Lakeflow Jobs, Databricks Asset Bundles).
• Bardzo dobra znajomość SQL.
• Doświadczenie w pracy z Apache Airflow.
• Praktyczna znajomość Azure DevOps i Azure Pipelines.
• Doświadczenie z platformą chmurową Microsoft Azure.
• Biegła obsługa Git (pull requesty, feature branch to main branch workflows).
• Ugruntowana wiedza z zakresu nowoczesnych praktyk data engineeringu i DevOps.
• Gotowość do pracy w modelu hybrydowym (1 dzień w tygodniu w biurze w Warszawie, Poznaniu lub Wrocławiu) z elastycznym harmonogramem.
• Znajomość języka angielskiego na poziomie B2 lub C1.

Mile widziane:

• Doświadczenie we współpracy z instytucjami finansowymi.
• Znajomość metodyk Agile (Scrum, Kanban).
• Doświadczenie z wielkoskalowymi platformami danych i architekturami cloud-native.
• Doświadczenie w monitoringu i wsparciu operacyjnym data pipeline'ów.
• Dostępność ASAP; akceptowalny miesięczny okres wypowiedzenia.