W tej roli będziesz wspierać obszar CBA Downstream, który zajmuje się zarządzaniem i analizą danych w ekosystemie Hadoop w jednej z największych instytucji finansowych w całej Europie.

Twoim głównym zadaniem będzie obsługa i rozwiązywanie wszystkich problemów związanych z produkcją danych w CBA Hadoop ecosystem, a także optymalizacja procesów, aby maksymalnie wykorzystać możliwości analizy danych i big data.

Możliwa jest praca hybrydowa (1 dzień w tygodniu), lokalizację: Gdańsk, Gdynia.

• Rozwój i optymalizacja procesów przetwarzania danych w ekosystemie Hadoop,
• Rozwiązywanie incydentów produkcyjnych związanych z przetwarzaniem danych downstream,
• Analiza i optymalizacja dużych zbiorów danych w celu poprawy efektywności procesów,
• Współpraca z zespołem ds. analityki danych oraz interesariuszami biznesowymi,
• Utrzymanie wysokiej jakości kodu oraz dbałość o optymalizację wydajności przetwarzania danych.

• Praktyczna znajomość Hadoop i jego ekosystemu, w tym narzędzi takich jak HDFS, MapReduce, Hive, Pig, HBase, Spark itp.
• Biegłość w programowaniu (Java, Scala, Python), aby móc efektywnie tworzyć i optymalizować kod przetwarzania danych.
• Silne umiejętności analityczne i rozwiązywania problemów, niezbędne do zrozumienia i optymalizacji procesów big data.
• : Doświadczenie w analizie danych, wydobywaniu z nich wiedzy oraz zastosowaniu algorytmów machine learning w praktyce.
• Dobra znajomość technologii big data i umiejętność zarządzania bardzo dużymi zbiorami danych.
• Znajomość narzędzi chmurowych (AWS, Azure, Google Cloud), aby umożliwić pracę z danymi w rozproszonych środowiskach.