01 Zakres zadań

Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks
Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych
Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi
Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi
Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi
Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym
Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych

02 Wymagania

12 must-have · 2 języki

Must-have

Data analyst

Zaawansowany

Python

Zaawansowany

Databricks

Zaawansowany

ANSI SQL

Zaawansowany

Structured Streaming

Podstawowy

Auto Loader

Podstawowy

ETL

Podstawowy

ELT

Podstawowy

Unity Catalog

Podstawowy

RBAC

Podstawowy

Spark tuning

Podstawowy

Spark liquid clustering

Podstawowy

Wymagane języki

Polski

Ekspert

Angielski

Zaawansowany

03 Profil kandydata

Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne
Bardzo dobra znajomość języków Python oraz ANSI SQL
Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią
Korzystanie z konektorów Databricks do integracji systemów źródłowych (REST API, JDBC, SaaS, pliki)
Przetwarzanie strumieniowe: Structured Streaming, Auto Loader
Projektowanie i orkiestracja pipeline'ów danych (ETL/ELT) w architekturze medalionu z Databricks i/lub Azure Data Factory
Data governance i security: Unity Catalog, RBAC, zarządzanie dostępami
Optymalizacja Spark: tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM
Spark Declarative Pipelines: definiowanie zależności, zarządzanie DAG, integracja z pipeline'ami danych
Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem
Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks
Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2
Doświadczenie w pracy z dokumentacją projektową
Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy)

04 Benefity

Pakiet medyczny

Ubezpieczenie

Pakiet sportowy

05 O firmie

Integral Solutions

50-200 · Warszawa

The authorized Informatica Corp, Altair and KMS Lighthouse distributor in Poland and CEE with added value - professional services. Our company is providing, besides licenses, implementation services, trainings, onsite experts etc.

Zobacz ogłoszenia Strona www