01 Zakres zadań
Dla jednego z moich klientów prowadzę procesy akcesu do długoterminowej współpracy Data Engineer'ów do projektu dla jednego z naszych klientów.
Szczegółowe wymagania
- Znajomość SQL w zakresie transformacji, złączeń (joins), agregacji, ładowania przyrostowego, projektowania z uwzględnieniem wydajności oraz modelowania wymiarowego (tabele faktów, wymiary, klucze zastępcze).
- Umiejętność tworzenia modeli, źródeł, testów, makr, snapshotów, dokumentacji i zaplanowanych zadań (jobs). Niezbędna jest znajomość pracy opartej na Gicie, środowisk oraz procesów wdrożeniowych. Mile widziane: umiejętność strukturyzowania projektów dbt.
- Definiowanie niezawodnych harmonogramów uruchomień, kolejności zależności, okien ładowania, strategii odświeżania oraz obsługi błędów.
- Wdrażanie testów dbt sprawdzających unikalność, brak wartości null, integralność referencyjną, dozwolone wartości oraz aktualność źródeł (source freshness). Utrzymywanie dokumentacji.
- Przekładanie wymagań raportowych i biznesowych na wielokrotnego użytku, dobrze nazwane i łatwe w utrzymaniu modele danych.
