Data Engineer

Wymagania:

• Minimum 3 lata komercyjnego doświadczenia na stanowisku Inżyniera Danych lub podobnym.
• Bardzo dobra znajomość SQL oraz relacyjnych baz danych (PostgreSQL, MS SQL Server).
• Praktyczne doświadczenie w projektowaniu, budowie i orkiestracji procesów ETL/ELT, w tym harmonogramowaniu zadań.
• Dobra znajomość Pythona w kontekście przetwarzania i transformacji danych.
• Doświadczenie we współpracy z narzędziami BI (np. Power BI, Apache Superset) w zakresie zasilania modeli danych i raportów.
• Znajomość zagadnień jakości danych, wersjonowania schematów oraz podstawowych praktyk CI/CD w projektach danych.
• Umiejętność efektywnej współpracy z analitykami danych i interesariuszami biznesowymi, dobra komunikacja oraz samodzielność w rozwiązywaniu problemów.

Dodatkowe atuty:

• Doświadczenie z Mage.ai lub innymi narzędziami orkiestracji danych oraz praca w środowiskach chmurowych.

Oferujemy:

• Pracę przy nowoczesnych rozwiązaniach danych w innowacyjnej firmie działającej w obszarze edukacji.
• Atrakcyjne warunki współpracy, dostosowane do doświadczenia i kompetencji.
• System premiowy.
• Elastyczne formy zatrudnienia: umowa o pracę (pełny etat) lub współpraca B2B.
• Model pracy hybrydowej (3 dni w biurze, 2 dni zdalnie).
• Nowoczesne i komfortowe biuro w Warszawie (okolice Dworca Zachodniego).

Obowiązki:

• Projektowanie, implementacja i rozwój procesów ETL/ELT z wielu systemów źródłowych do warstwy brązowej Hurtowni Danych.
• Projektowanie oraz utrzymanie architektury danych i schematów w warstwie brązowej z naciskiem na wydajność, skalowalność i niezawodność.
• Integracja danych z systemów źródłowych przy użyciu API oraz innych mechanizmów wymiany danych.
• Tworzenie, optymalizacja i utrzymanie zaawansowanych zapytań SQL wykorzystywanych w procesach ładowania danych oraz na potrzeby zespołów analitycznych.
• Wykorzystanie Pythona do transformacji, walidacji i przetwarzania danych, automatyzacji procesów oraz budowy komponentów wspierających pipeline'y ETL.
• Zapewnienie wysokiej jakości danych poprzez walidacje, kontrolę kompletności, monitoring oraz udział w rozzwiązywaniu incydentów danych.
• Ścisła współpraca z zespołem danych i analiz przy definiowaniu kontraktów danych pomiędzy warstwą brązową a warstwami srebrną i złotą oraz przy planowaniu zmian w modelach danych.