Senior Snowflake Engineer

Charakterystyka:

• Miejsce pracy: 100% zdalnie z Polski
• Start: ASAP (preferowane max. 30 dni wypowiedzenia)
• Współpraca: B2B z ITFS
• Wynagrodzenie: 170-200 zł/h + VAT (bez płatnych urlopów)
• Godziny pracy: standardowe, core hours 10:00-15:00, okazjonalne spotkania z USA w godzinach popołudniowych/wieczornych
• Proces rekrutacyjny: krótka rozmowa z ITFS (ok. 15 min) ➡ 2 rozmowy techniczne z Klientem ➡ decyzja

Zadania:

• Projektowanie, rozwój i utrzymanie zaawansowanych rozwiązań w Snowflake z wykorzystaniem Snowpark Python
• Tworzenie i optymalizacja złożonych pipeline'ów danych i silników obliczeniowych
• Projektowanie, implementacja i utrzymanie procesów ETL/ELT w chmurze
• Budowanie i rozwój mechanizmów orkiestracji procesów danych, w tym zarządzanie harmonogramami, zależnościami, kontrolowanymi ponownymi uruchomieniami i obsługą błędów
• Implementacja mechanizmów reconciliation i kontroli poprawności przetwarzania danych
• Projektowanie i utrzymanie automatycznych testów danych i procesów Data Quality
• Wdrażanie i utrzymywanie mechanizmów śledzenia Data Lineage i ich przepływu w systemach analitycznych
• Analiza i optymalizacja wydajności rozwiązań Snowflake, w tym strojenie zapytań SQL
• Monitorowanie i optymalizacja kosztów wykorzystania zasobów Snowflake
• Udział w projektowaniu architektury danych

Wymagania:

• Min. 5 lat doświadczenia w obszarze Data/Cloud, w tym min. 2-3 lata komercyjnego doświadczenia z Snowflake
• Doświadczenie w budowaniu rozwiązań produkcyjnych w Snowflake
• Praktyczne doświadczenie z Snowpark Python i programowaniem w Pythonie w kontekście przetwarzania danych
• Doświadczenie w projektowaniu i implementacji złożonych pipeline'ów danych i procesów ETL/ELT
• Znajomość architektury danych i doświadczenie w pracy z dużymi wolumenami danych
• Doświadczenie w budowaniu i utrzymywaniu mechanizmów orkiestracji procesów danych
• Znajomość podejść do obsługi błędów, kontrolowanych rerunów i zapewnienia spójności danych
• Doświadczenie w implementacji automatycznych testów danych i procesów kontroli jakości danych
• Znajomość koncepcji Data Lineage, Data Governance i monitorowania przepływu danych
• Umiejętność analizy i optymalizacji wydajności zapytań SQL oraz procesów wykonywanych w Snowflake
• Doświadczenie w optymalizacji kosztów środowisk chmurowych
• Doświadczenie z narzędziami orkiestracji (Apache Airflow, Dagster lub podobne)
• Znajomość narzędzi Data Quality i Data Observability
• Doświadczenie z rozwiązaniami chmurowymi (AWS, Azure lub GCP)
• Znajomość praktyk CI/CD i automatyzacji wdrożeń dla rozwiązań danych
• Znajomość modelowania danych
• Znajomość j. angielskiego - min. B2+/C1