ZAKRES OBOWIĄZKÓW:

• Wdrażanie i projektowanie nowoczesnych systemów przetwarzania danych i systemów big data zgodnie z procesem Scrum i wymaganiami klienta.

• Min. 5 lata w branży informatycznej.
• Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi.
• Znajomość platformy Hadoop Cloudera/Hortonworks.
• Znajomość dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów projektowania, kodowania, dokumentowania, testowania i wdrażania.
• Min. 3 lata komercyjnego doświadczenia w Python/ Scala/ Java.
• Praktyczne doświadczenie w implementacji i optymalizacji procesów Spark.
• Doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO.
• Zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase itp.
• Znajomość języka SQL na poziomie zaawansowanym.
• Doświadczenie w integracji danych z wielu źródeł danych.
• Znajomość narzędzi do budowy projektów/aplikacji, np. Maven.
• Praktyczna wiedza w zakresie automatyzacji CI/CD.

• Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp.
• Znajomość platformy Kubeflow.
• Znajomość technologii i narzędzi strumieniowych takich jak Kafka, Apache Nifi.
• Umiejętność tworzenia skryptów do automatyzacji (Ansible).