Data Engineer

Charakterystyka oferty:

• Miejsce pracy: hybrydowo (1 x w miesiącu z biura Klienta w Warszawie)
• Start: ASAP
• Forma współpracy: B2B z ITFS
• Stawka: 150-170 PLN/h + VAT
• Proces rekrutacyjny: rozmowa telefoniczna z ITFS (ok. 20 min.) →rozmowa techniczna z Klientem → podjęcie decyzji

Oferujemy:

• Możliwość skorzystania z dodatkowych benefitów (pakiet medyczny, sportowy, darmowa opieka księgowa - do 3 wpisów miesięcznie)

Zadania na stanowisku:

• budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line,
• projektowanie i realizowanie rozwiązań informatycznych w obszarze zasilania danych,
• analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych,
• strojenie zapytań SQL na bazach relacyjnych i hurtownianych, zarówno on-prem, jak i w chmurze GCP,
• tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP,
• tworzenie rozwiązań do ładowania danych w Pythonie i Rust dla danych strukturalnych i niestrukturalnych,
• przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych,
• tworzenie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe,
• usuwanie incydentów oraz udział w rozwiązywaniu problemów,
• wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych

Wymagania:

• znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
• doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
• znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
• znajomość Google BigQuery
• znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
• znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych),
• doświadczenie w Python i/lub Rust,
• znajomość Apache AirFlow