Lead Data Engineer (Python | Pyspark | Databricks)

Obszar: Consulting IT

Lokalizacja: 100% zdalnie

Start: ASAP (max 3msc okres wypowiedzenia)

Stawka (ustalana indywidualnie): 155 - 165 PLN netto + VAT / h

Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo

Proces rekrutacyjny (100% zdalnie):

• Krótka rozmowa telefoniczna informacyjno-zapoznawcza z rekruterem 1dea (~10 min)
• Weryfikacja techniczno-projektowa z Klientem (~1 - 1,5 h)
• (Jeśli OK) Rozmowa zapoznawcza z przedstawicielem projektu u Klienta końcowego (~ 30 min)
• Decyzja o podjęciu współpracy

Zakres obowiązków

• Projektowanie i architektura: Tworzenie skalowalnych, niezawodnych i efektywnych kosztowo platform oraz pipeline'ów danych dopasowanych do potrzeb biznesu
• Wdrożenie (Hands-on): Budowanie i optymalizacja zaawansowanych procesów przetwarzania danych strukturyzowanych i niestrukturyzowanych (end-to-end: od ingestii po warstwę konsumpcyjną)
• Standardy i jakość: Wyznaczanie standardów architektonicznych, dbanie o Data Quality, bezpieczeństwo (Security & Compliance) oraz najlepsze praktyki w zespole
• Liderstwo techniczne: Mentoring młodszych inżynierów, wsparcie techniczne dla cross-funkcjonalnych zespołów oraz przekładanie wymagań biznesowych na architekturę IT
• Rozwiązywanie krytycznych incydentów produkcyjnych i zapewnianie wysokiej dostępności systemów danych

• Minimum 5 lat doświadczenia w inżynierii danych, łączącego projektowanie rozwiązań z ich samodzielnym wdrażaniem
• Ekspercka znajomość Python: Pisanie czystego, modułowego kodu gotowego na środowiska produkcyjne
• Big Data & Ecosystem: Silne doświadczenie z PySpark oraz systemami rozproszonego przetwarzania danych (np. Databricks, Spark)
• Architektura danych: Głębokie zrozumienie i praktyka w projektowaniu struktur typu Data Lake, Lakehouse oraz Medallion Architecture
• Cloud Expertise: Praktyczna znajomość usług danych w chmurze (AWS, Azure lub GCP)
• Orkiestracja i SQL: Doświadczenie z narzędziami do orkiestracji (np. Apache Airflow, Prefect) oraz zaawansowany SQL (bazy relacyjne i NoSQL)
• DevOps dla Data: Dobre zrozumienie praktyk CI/CD, kontroli wersji (Git) i automatyzacji pipeline'ów
• Angielski: komunikatywny w mowie i piśmie - poziom B2+

Mile widziane (bonusy):

• Zaawansowana znajomość Databricks (Delta Lake, MLflow, optymalizacja wydajności).
• Znajomość technik modelowania danych (modele dymensjonalne i znormalizowane) oraz frameworków Data Governance.
• Orientacja w pipeline'ach dla Data Science / Machine Learning.