01 Zakres zadań

Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów przy projekcie skupionym na budowie i optymalizacji nowoczesnych platform danych w Azure oraz Databricks.
Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów danych oraz przetwarzanie dużych wolumenów danych dla rozwiązań analitycznych, krytycznych dla biznesu.
Rozwój i utrzymanie potoków danych w Azure Data Factory (ADF) oraz zadań w Databricks Jobs.
Tworzenie i integracja rozwiązań w języku Python z wykorzystaniem programowania obiektowego oraz wzorców projektowych (Factory, pipeline).
Praca z technologiami PySpark, Delta Lake, Spark SQL oraz Azure Data Lake Storage Gen2.
Integracja z bazami PostgreSQL oraz przetwarzanie danych szeregów czasowych (dane GPS i parametryczne).
Stosowanie wzorców Slowly Changing Dimensions (SCD) oraz technologii CDC (Change Data Capture) i ładowania przyrostowego.
Optymalizacja wydajności Spark w oparciu o wymogi SLA oraz konfiguracja Adaptive Query Execution (AQE).
Realizacja wzorców migracji z SSIS do nowoczesnej architektury chmurowej.
Wykorzystywanie narzędzia GitHub Copilot w codziennym procesie deweloperskim.

02 Wymagania

4 must-have · 2 języki

Must-have

Azure Data Factory

Zaawansowany

Spark

Zaawansowany

Delta Lake

Zaawansowany

Data Lake

Zaawansowany

Wymagane języki

Polski

Ekspert

Angielski

Zaawansowany

03 Profil

Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym minimum 2 lata praktycznego doświadczenia z Databricks oraz Delta Lake w środowiskach produkcyjnych.
Minimum 2 lata doświadczenia w tworzeniu i utrzymaniu pipeline'ów Azure Data Factory (ADF).
Bardzo dobrej znajomości PySpark, Delta Lake, Spark SQL oraz Databricks Jobs.
Doświadczenia w budowaniu skalowalnych i wysokowydajnych rozwiązań danych na platformie Azure.
Głębokiego zrozumienia modelowania danych, procesów ETL/ELT oraz zasad nowoczesnej architektury danych.
Mile widziane doświadczenie w pracy w zespołach Agile/Scrum oraz znajomość praktyk CI/CD dla platform danych.
Mile widziana znajomość chmurowych rozwiązań danych, narzędzi do automatyzacji oraz silne umiejętności komunikacyjne i współpraca z interesariuszami.
Znajomość języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku.
Gotowość do pracy w modelu hybrydowym (wymagana obecność w biurze klienta 2 dni w tygodniu we Wrocławiu).
Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

04 Oferujemy

Pakiet medyczny

Pakiet sportowy

05 O firmie

Be in IT

1-10 · Wrocław

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.

Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.

Zobacz ogłoszenia Strona www