Senior Data Engineer (Databricks)

Charakterystyka oferty:

• Miejsce pracy: 100% zdalnie
• Start: ASAP (max 30 dni OW)
• Godziny pracy: Standardowe godziny pracy
• Wynagrodzenie: 150 - 180 zł netto/h + VAT (bez płatnych urlopów)
• Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja

Twoje zadania:

• Projektowanie i rozwój rozwiązań w środowisku Databricks.
• Budowa i optymalizacja pipeline’ów danych z wykorzystaniem PySpark, Python i Spark SQL.
• Tworzenie procesów ETL/ELT oraz rozwiązań opartych o Structured Streaming, Auto Loader i Delta Tables.
• Integracja danych oraz praca z Azure Data Lake Storage.
• Tworzenie i utrzymanie Databricks Jobs, Notebooks oraz integracji REST API.
• Udział w code review, testowaniu i tworzeniu dokumentacji technicznej.
• Wspieranie zespołu poprzez mentoring, dzielenie się wiedzą i współpracę z developerami.

• Mini. 5 lat doświadczenia w obszarze Data Engineering.
• Doświadczenie przy co najmniej dwóch projektach realizowanych w Databricks jako Data Engineer.
• Bardzo dobra znajomość PySpark, Python oraz Spark SQL
• Znajomość funkcji Databricks: Databricks Asset Bundles,Structured Streaming, Auto Loader, Azure Data Lake Storage, Databricks Jobs , Notebooks, REST API, Delta tables
• Umiejętność efektywnej komunikacji z klientem i interesariuszami.
• J. angielski na poziomie min. B2