Data Engineer (Microsoft Fabric)

Charakterystyka oferty:

• Miejsce pracy: praca hybrydowa (1 dzień tygodniowo z biura Klienta w Warszawie)
• Start: ASAP (do 1 miesiąca OW)
• Forma współpracy: B2B z ITFS
• Stawka: 140-170 PLN/h + VAT
• Proces rekrutacyjny: Krótka rozmowa telefoniczna z rekruterem ITFS -> Rozmowa rekrutacyjna z menedżerem po stronie Klienta -> Decyzja

Oferujemy:

• Przejrzyste warunki współpracy w firmie o pewnej i stabilnej pozycji rynkowej
• Możliwość skorzystania z dodatkowych benefitów (pakiet medyczny, sportowy, darmowa opieka księgowa - do 3 wpisów miesięcznie)

Obowiązki na stanowisku:

• Projektowanie i implementacja pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric
• Onboarding i integracja źródeł plikowych oraz bazodanowych, wraz z walidacją techniczną i standaryzacją danych
• Transformacja i przygotowywanie danych wsadowych
• Implementacja reguł walidacji jakości danych oraz mechanizmów raportowania błędów
• Praca z Git, CI/CD i code review oraz wersjonowanie zestawów danych i metadanych
• Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń
• Zapewnienie zgodności z wymaganiami dotyczącymi bezpieczeństwa i prywatności danych
• Optymalizacja procesów pod kątem wydajności i kosztów

Wymagania:

• Minimum 5 lat doświadczenia na podobnym stanowisku, w tym minimum 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych
• Bardzo dobra znajomość Python (PySpark) i SQL oraz doświadczenie w pracy z dużymi zbiorami danych
• Praktyczne doświadczenie z Microsoft Fabric, Azure Synapse lub Databricks
• Znajomość architektury warstwowej danych (medalionowej lub podobnej) oraz formatów Delta/Parquet
• Doświadczenie w integracji różnorodnych źródeł danych, w tym plików Excel
• Doświadczenie w pracy z Git w zespole
• Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa

Mile widziane:

• Certyfikat DP-600 lub DP-700
• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych
• Znajomość R
• Praktyka z CI/CD dla platform danych
• Doświadczenie z frameworkami data quality
• Doświadczenie w metodykach Agile i Scrum