01 Zakres zadań

Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych ETL/ELT
Budowanie i optymalizacja architektur hurtowni danych w chmurze oraz modeli danych
Przetwarzanie i zarządzanie dużymi zbiorami danych w środowiskach Big Data
Rozwijanie i utrzymywanie rozwiązań z użyciem usług GCP, szczególnie BigQuery i Dataflow
Optymalizacja wydajności i kosztów rozwiązań do przetwarzania danych
Tworzenie i utrzymywanie przepływów pracy z użyciem Python, PySpark i Airflow
Współpraca z zespołami interdyscyplinarnymi przy dostarczaniu kompleksowych rozwiązań danych
Wsparcie inicjatyw AI/ML poprzez przygotowanie i zarządzanie strukturami danych do trenowania modeli i wdrożeń produkcyjnych
Zapewnianie najlepszych praktyk inżynierii oprogramowania: Clean Code, testowanie, code review i CI/CD
Monitorowanie i utrzymywanie niezawodności, skalowalności i wydajności platformy danych

02 Wymagania

12 must-have · 2 języki

Must-have

Airflow

Zaawansowany

ETL

Zaawansowany

PySpark

Zaawansowany

Microsoft SQL

Zaawansowany

GCP

Zaawansowany

Python

Zaawansowany

Big Data

Zaawansowany

SQL

Zaawansowany

Clean code

Zaawansowany

CI/CD

Zaawansowany

BigQuery

Podstawowy

Dataflow

Podstawowy

Wymagane języki

Polski

Ekspert

Angielski

Zaawansowany

03 Profil kandydata

Minimum 3 lata komercyjnego doświadczenia jako Data Engineer w środowiskach z dużymi zbiorami danych
Zaawansowana znajomość SQL i głębokie zrozumienie modelowania danych oraz architektury Cloud Data Warehouse
Praktyczne doświadczenie w projektowaniu, implementacji i utrzymaniu procesów ETL/ELT
Doświadczenie z platformami chmurowymi, zwłaszcza GCP (BigQuery, Dataflow)
Silne umiejętności programistyczne w Python do przetwarzania Big Data, w tym PySpark i Airflow
Znajomość Scala lub Java jako dodatkowy atut
Doświadczenie z najlepszymi praktykami inżynierii oprogramowania: Clean Code, testowanie, Code Review i CI/CD
Dobra znajomość środowisk Unix/Linux
Wysoki poziom samodzielności, odpowiedzialności i własności dostarczanych rozwiązań
Rozumienie koncepcji MLOps i cyklu życia modeli uczenia maszynowego
Doświadczenie w przygotowywaniu struktur danych do trenowania modeli AI/ML i środowisk produkcyjnych

04 O firmie

Jit Team

500-1000 · Warszawa

We provide complete software development teams, who will take complex care of your software. We are experienced in building teams uniquely suited to the specific needs of our clients. One team - a range of skills, diverse personalities, and various approaches.

Zobacz ogłoszenia Strona www