Celem projektu jest stworzenie zaawansowanego systemu przetwarzania danych, który umożliwi efektywne i skalowalne zarządzanie dużymi zbiorami danych w czasie rzeczywistym. Projekt zakłada budowę i optymalizację danych z wykorzystaniem narzędzi takich jak Apache Spark, Apache Hive, Apache Airflow oraz SQL Server, a także zapewnienie integralności i jakości danych na każdym etapie przetwarzania. Celem jest także stworzenie wydajnych rozwiązań do przetwarzania, przechowywania i analizowania danych, które wspierać będą decyzje biznesowe oraz rozwój organizacji w oparciu o dane.

• Projektowanie i implementacja skalowalnych rurociągów danych z wykorzystaniem Apache Spark i Pythona.
• Rozwój i utrzymanie rozwiązań hurtowni danych opartych na Apache Hive.
• Orkiestracja złożonych przepływów pracy danych za pomocą Apache Airflow.
• Zarządzanie bazami danych oraz zapytaniami w SQL Server.
• Współpraca z naukowcami danych i analitykami w celu zrozumienia wymagań dotyczących danych oraz dostarczania odpowiednich rozwiązań.
• Optymalizacja i rozwiązywanie problemów z zadaniami przetwarzania danych, aby zapewnić wydajność i niezawodność.
• Projektowanie, rozwój i utrzymanie baz danych SQL Server.
• Optymalizacja wydajności baz danych i rozwiązywanie problemów.

• Min. 5-letnie doświadczenie na stanowisku Data Engineer lub podobnym.
• Zaawansowana znajomość SQL Server, T-SQL oraz zasad projektowania baz danych.
• Umiejętność pisania czystego, efektywnego i łatwego do utrzymania kodu w Pythonie.
• Doświadczenie z Apache Spark, w tym umiejętność pracy z dużymi zbiorami danych i tworzenia rozwiązań przetwarzania danych w czasie rzeczywistym.
• Znajomość Apache Hive do tworzenia hurtowni danych i przetwarzania dużych zbiorów danych.
• Doświadczenie z Apache Airflow do orkiestracji procesów ETL.
• Silne umiejętności analityczne i rozwiązywania problemów.
• Zaawansowana znajomość j. angielskiego.