01 Zakres zadań
Zakres obowiązków:
- Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów do ingestowania, transformacji, wzbogacania i przetwarzania danych ustrukturyzowanych oraz nieustrukturyzowanych.
- Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
- Modelowanie encji i relacji oraz wydajne ładowanie i odpytywanie danych.
- Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
- Wdrażanie jakości danych, walidacji, data lineage i provenance.
- Zapewnianie niezawodności i skalowalności pipeline’ów: przetwarzanie przyrostowe, obsługa błędów, ponawianie operacji i odzyskiwanie danych.
- Współpraca z architektami, inżynierami i biznesem przy przekładaniu wymagań na rozwiązania techniczne.
- Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.
Projekt i współpraca:
- Rozwój zaawansowanej Enterprise Knowledge Platform w międzynarodowym środowisku bankowym.
- Projekt wykorzystuje technologie grafowe, nowoczesne architektury danych i rozwiązania do zarządzania wiedzą.
- Rola hands-on, skoncentrowana na wyzwaniach inżynierskich, bez zarządzania zespołem.
