Senior Data Engineer

Senior Data Engineer (Databricks | Python | PySpark | Fabric):

• Obszar: Consulting IT
• Lokalizacja: 100% zdalnie
• Start: ASAP (akceptujemy kandydatury z max 3msc okresem wypowiedzenia)
• Stawka (ustalana indywidualnie): 170 - 190 PLN netto + VAT / h
• Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo

Proces rekrutacyjny (100% zdalnie):

• Krótka rozmowa telefoniczna informacyjno-zapoznawcza z rekruterem 1dea (~10 min)
• Weryfikacja techniczno-projektowa z Klientem (~1 - 1,5 h)
• (Jeśli OK) Rozmowa zapoznawcza z przedstawicielem projektu u Klienta końcowego (~ 30 min)
• Decyzja o podjęciu współpracy

Zakres obowiązków:

Twój zakres obowiązków będzie kręcił się wokół budowania nowoczesnej platformy danych typu Lakehouse.

• Budowa potoków ETL/ELT: Projektowanie i wdrażanie przepływów danych w Azure Data Factory oraz Databricks
• Development w PySpark & Python: Pisanie skalowalnego kodu do transformacji danych i tworzenie API (np. FastAPI)
• Wdrażanie MS Fabric: Implementacja i rozwój rozwiązań w nowym ekosystemie Microsoftu
• Architektura Lakehouse: Zarządzanie danymi w modelu Medallion (Bronze/Silver/Gold)
• Modelowanie i SQL: Projektowanie struktur pod BI (Power BI/Tableau) i optymalizacja zapytań
• Automatyzacja i Jakość: Testowanie kodu, monitorowanie potoków i praca z CI/CD (Azure DevOps)

• Doświadczenie: Min. 3 lata z Databricks, PySpark i Python (Pandas, SQL Alchemy) oraz 1 rok z MS Fabric
• Technologie: Bardzo dobra znajomość SQL oraz frameworków Python (np. FastAPI, Django)
• Chmura Azure: ADF, ADLS, SQL Server, Key Vault
• Koncepcje: Architektury Lakehouse, Data Mesh, Data Fabric oraz narzędzia ETL i BI (Power BI/Tableau)
• Języki: Angielski (B2+)
• Kompetencje: Testowanie oprogramowania, analiza danych, praca zespołowa

Mile widziane:

• Zasady SOLID, DRY, wzorce projektowe
• GIT, Docker, CI/CD (Azure DevOps)
• Doświadczenie z GenAI (Prompt Engineering, Copilot) oraz MLOps
• Certyfikaty Azure/AWS/GCP lub Databricks