01 Zakres zadań
- Dołącz do zespołu budującego i rozwijającego platformę integracji danych opartą na Google Cloud Platform (GCP).
- Rola łączy inżynierię DevOps, data engineering oraz automatyzację – z silnym naciskiem na budowę i orkiestrację potoków ETL w Apache Airflow, automatyzację wdrożeń, niezawodność platformy oraz śledzenie przepływu danych (data lineage).
- Platforma wykorzystuje Apache Airflow do orkiestracji potoków ETL i umożliwia niezawodny przepływ danych – od systemów źródłowych, przez platformę, aż do systemów docelowych partnerów.
- Kluczowym obszarem jest rozwój procesów ETL, usprawnianie automatyzacji i pipeline'ów wdrożeniowych oraz wdrażanie data lineage, aby zapewnić przejrzyste, wizualne śledzenie przepływu danych od początku do końca.
- Lokalizacja: Kraków, praca hybrydowa - 2 dni z biura.
- Rozwój i utrzymanie pipeline'ów (ETL / integracje danych).
- Rozwój platformy i jej komponentów.
- Budowa i utrzymanie CI/CD oraz automatyzacji.
- Praca z workflowami w Apache Airflow.
- Optymalizacja procesów i zwiększanie niezawodności.
- Automatyzacja operacji i redukcja pracy manualnej.
- Rozwiązywanie problemów na styku: dane / infrastruktura / pipeline'y.
- Współpraca z zespołem i interesariuszami.
