Cześć! 👋

Dla naszego klienta z USA poszukujemy Azure DataBrick Engineera. Projekt nad Data Warehouse dla firmy zajmującej się usługami finansowymi. Twoim zadaniem będzie migracja pipeline'ów z SQL, Yellowbrick i Oracle (300 baz danych). Dodatkowo mogą pojawić się zadania związane z integracją baz w czasie zbliżonym do rzeczywistego (przy wykorzystaniu systemu komunikacji NATS). Pierwsza faza projektu (migracja) planowana jest na około 9 tygodni, a po zakończeniu tych prac przewidywane jest przypisanie zatrudnionej osoby do innych zadań.

Poszukujemy osoby, która biegle zna Pythona. Dla klienta kluczowa jest obycie w środowisku Azure oraz znajomość DataBricks i Apache Spark.

Zespól jest europejsko-amerykański z przewagą na specjalistów z Europy (Rumunia), dzięki temu praca nie wymaga standardowego overlapu z USA (praca od 9-10 do 17-18).

• Zaplanowanie i przeprowadzenie migracji baz danych
• Integracja baz danych w czasie zbliżonym do rzeczywistego
• Ścisła współpraca z zespołem data engineerów, data scientistów oraz architektów

• Udokumentowane solidne doświadczenie w pracy jako Data Engineer
• Bardzo dobra znajomość platformy DataBricks oraz Apache Spark
• Bardzo dobra znajomość Python
• Doświadczenie w przeprowadzaniu migracji danych
• Doświadczenie w pracy w środowisku Microsoft Azure (np. Data Factory, Synapse, Logic Apps, Data Lake)
• Doświadczenie w pracy z SQL i Oracle
• Znajomość YellowBrick lub podobnych platform
• Umiejętności interpersonalne i zespołowe
• Umiejętność podejmowania inicjatywy i samodzielność
• Angielski na poziomie umożliwiającym swobodną komunikację w zespole

• Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
• Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)