Senior Data Platform Engineer (Remote)
Integral Solutions
20200-26900 PLN miesięcznie (B2B)
Czym będziesz się zajmować?
- Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks
- Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych
- Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi
- Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi
- Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi
- Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym
- Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych
Kogo poszukujemy?
- Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne
- Bardzo dobra znajomość języków Python oraz ANSI SQL
- Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią
- Korzystanie z konektorów Databricks do integracji systemów źródłowych (REST API, JDBC, SaaS, pliki)
- Przetwarzanie strumieniowe: Structured Streaming, Auto Loader
- Projektowanie i orkiestracja pipeline'ów danych (ETL/ELT) w architekturze medalionu z Databricks i/lub Azure Data Factory
- Data governance i security: Unity Catalog, RBAC, zarządzanie dostępami
- Optymalizacja Spark: tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM
- Spark Declarative Pipelines: definiowanie zależności, zarządzanie DAG, integracja z pipeline'ami danych
- Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem
- Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks
- Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2
- Doświadczenie w pracy z dokumentacją projektową
- Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy)
Czego wymagamy?
Znajomości:
Mile widziane:
Języki:
- Polski
- Angielski
Jakie warunki i benefity otrzymasz?
- 120-160 PLN godzinowo (B2B)
- B2B - Elastyczne godziny pracy (100%)
- Praca zdalna: W całości
- Pakiet medyczny, Ubezpieczenie, Pakiet sportowy
Gdzie będziesz pracował?
Zdalnie
Kim jesteśmy? – Integral Solutions
The authorized Informatica Corp, Altair and KMS Lighthouse distributor in Poland and CEE with added value - professional services. Our company is providing, besides licenses, implementation services, trainings, onsite experts etc.