Celem projektu jest budowa i optymalizacja skalowalnych pipeline'ów danych w ekosystemie AWS, umożliwiających efektywne przetwarzanie, analizę oraz integrację dużych zbiorów danych. Projekt koncentruje się na zwiększeniu wydajności, niezawodności oraz automatyzacji procesów przetwarzania danych, wspierając tym samym rozwój analityki i podejmowanie decyzji biznesowych opartych na danych.

• projektowanie, rozwijanie i optymalizacja dużych pipeline'ów danych w ekosystemie AWS,
• implementacja oraz utrzymanie rozwiązań opartych na Apache Spark, Hadoop, MySQL i Cassandra,
• integracja oraz przetwarzanie danych w czasie rzeczywistym przy użyciu Kafka,
• optymalizacja zapytań SQL i operacji na dużych zbiorach danych,
• współpraca z zespołem w celu projektowania skalowalnych rozwiązań Big Data,
• monitorowanie, debugowanie i optymalizacja wydajności systemów przetwarzających dane,
• implementacja najlepszych praktyk dotyczących przechowywania i przetwarzania danych,
• współpraca z innymi zespołami technicznymi w celu integracji systemów danych.

• min. 4-letnie doświadczenie na podobnym stanowisku,
• doświadczenie w programowaniu w Scali (preferowana) lub Javie,
• bardzo dobra znajomość AWS i jego usług związanych z przetwarzaniem danych,
• biegłość w SQL,
• znajomość narzędzi Big Data: Apache Spark, Hadoop, MySQL, Cassandra,
• doświadczenie w pracy z Kafka,
• praktyczne doświadczenie w budowaniu dużych pipeline'ów danych w chmurze AWS,
• zaawansowana znajomość j. angielskiego.