Data Engineer

Wymagania:

• Doświadczenie w ML Ops w środowiskach produkcyjnych.
• Duża wiedza praktyczna z Databricks (MLflow, Jobs, Workflows, Delta Lake).
• Doświadczenie w orkiestracji dużych zadań batchowych i przetwarzaniu rozproszonym.
• Znajomość Pythona do skryptowania workflow i integracji pipeline’ów.
• Doświadczenie w CI/CD dla wdrażania modeli ML (Azure DevOps, GitHub Actions itp.).
• Znajomość narzędzi monitoringu i logowania (Datadog, Prometheus, Grafana lub natywne).
• Zrozumienie IaC i automatyzacji środowisk chmurowych.
• Wiedza o lifecycle modeli, wersjonowaniu i reprodukowalności.

Opis Projektu:

Wiodąca niemiecka firma, zajmująca czołową pozycję w branży telekomunikacyjnej i usług IT, specjalizująca się w nowoczesnych rozwiązaniach takich jak hosting stron internetowych, przetwarzanie w chmurze oraz usługi internetow poszukuje Data Engineera który zaprojektuje i wdroży infrastrukturę niezbędną do hostowania, orkiestracji i zarządzania nawet 1500 procesami scoringowymi ML w nowym środowisku Databricks.

Kluczowe obowiązki

• Konfiguracja klastrów, jobów i workflow w Databricks do zastosowań ML scoringu na dużą skalę.
• Wykorzystanie Infrastructure as Code (np. Terraform) w celu zapewnienia odtwarzalności i ładu.
• Implementacja infrastruktury zdolnej obsłużyć tysiące zadań scoringowych ML.
• Konfiguracja harmonogramów jobów, równoległego przetwarzania i optymalizacji zasobów.
• Integracja monitoringu i alertowania z użyciem natywnych narzędzi chmurowych.
• Tworzenie procesów wdrożeniowych modeli ML w Databricks MLflow lub innych narzędziach.
• Współpraca z DevOps w celu zapewnienia wspólnej infrastruktury dla ML i BI (np. współdzielone zasoby, tabele Delta Lake).
• Automatyzacja provisioning’u zasobów i wdrożeń poprzez CI/CD.