Senior Data Engineer (Databricks | DataMarts | Cloud)

Obszar: Consulting IT

Lokalizacja: 100% zdalnie

Start: ASAP (akceptujemy kandydatury z max 3msc okresem wypowiedzenia)

Stawka (ustalana indywidualnie): 190 - 200 PLN netto + VAT / h

Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo

Proces rekrutacyjny (100% zdalnie):

• Krótka rozmowa telefoniczna informacyjno-zapoznawcza z rekruterem 1dea (~10 min)
• Weryfikacja techniczno-projektowa z Klientem (~1 - 1,5 h)
• (Jeśli OK) Rozmowa zapoznawcza z przedstawicielem projektu u Klienta końcowego (~ 30 min)
• Decyzja o podjęciu współpracy

Zakres obowiązków

• Projektowanie i wdrażanie skalowalnych rurociągów danych (data pipelines).
• Zarządzanie danymi z wykorzystaniem Unity Catalog.
• Optymalizacja procesów ETL oraz modelowanie struktur danych w środowiskach rozproszonych.
• Praca z różnorodnymi formatami danych (structured, semi-structured, unstructured).
• Współpraca w zwinnym środowisku (Scrum/Kanban) zgodnie z praktykami DevOps i CI/CD

• Minimum 5 lat doświadczenia w obszarze Data Engineering
• Co najmniej 4 lata pracy z platformą Databricks (w tym znajomość Unity Catalog)
• Minimum 2 lata doświadczenia w projektach typu Big Data
• Biegłości w językach Python oraz SQL
• Solidnego doświadczenia w Cloud Computing (Azure, AWS lub GCP)
• Praktycznej wiedzy z zakresu: Data Warehouse, Data Lake, Data Mesh oraz relacyjnych i nierelacyjnych baz danych
• Znajomości zasad inżynierii oprogramowania i rozproszonego przetwarzania danych
• Bardzo dobrej znajomości języka angielskiego (w mowie i piśmie)
• Analitycznego podejścia do rozwiązywania problemów w dużej skali

Mile widziane:

• Doświadczenie w pracy z metodykami Agile.
• Znajomość narzędzi CI/CD i automatyzacji procesów wdrożeniowych