01 Zakres zadań
- Tworzenie i utrzymywanie stabilnych pipeline’ów danych oraz procesów w platformie Palantir Foundry.
- Wykorzystywanie PySpark i Python do przetwarzania, transformacji i integracji danych z różnych źródeł.
- Projektowanie, implementacja i optymalizacja zaawansowanych zapytań SQL do ekstrakcji, manipulacji i analizy danych.
- Ścisła współpraca z analitykami biznesowymi, data scientistami i innymi inżynierami w celu przekształcenia wymagań biznesowych w skalowalne rozwiązania danych.
- Zapewnienie jakości, integralności i bezpieczeństwa danych na każdym etapie ich przetwarzania.
- Diagnozowanie, debugowanie i optymalizacja procesów danych pod kątem wydajności i niezawodności.
- Dokumentowanie architektury, procesów i najlepszych praktyk w celu wsparcia zespołu i dzielenia się wiedzą.
