01 Zakres zadań
- Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów.
- Tworzenie i utrzymywanie ELT pipeline ze środowisk źródłowych (Cloudera/MinIO) do Amazon S3 i Amazon Redshift.
- Budowa i utrzymywanie warstw Data Warehousing, w tym Staging, Intermediate, Business View oraz Dimensional Models.
- Implementacja tabel faktów (Transactional, Accumulating Snapshot, Periodic Snapshot) oraz Type 1 & Type 2 Slowly Changing Dimensions w oparciu o ustalone modele danych.
- Tworzenie transformacji danych z wykorzystaniem dbt oraz orkiestracja przepływów pracy przy użyciu Apache Airflow.
- Pisanie, optymalizacja i rozwiązywanie problemów z zapytaniami SQL (w tym inner, self oraz outer joins).
- Praca z Amazon Redshift w zakresie ładowania danych, transformacji i optymalizacji wydajności.
- Zarządzanie i przetwarzanie danych przechowywanych w Amazon S3 oraz tabelach Apache Iceberg na platformie MinIO.
- Wsparcie migracji data pipeline z platformy Cloudera na platformę MinIO.
- Współpraca z architektami, modelerami danych oraz zespołami biznesowymi w celu dostarczania niezawodnych i wysokiej jakości rozwiązań z obszaru danych.
