Data Integration Engineer (Apache Nifi / Azure)

Zakres obowiązków:

• Projektowanie i budowa przepływów danych oraz procesów integracyjnych
• Pobieranie, walidacja, transformacja i przekazywanie danych do systemów docelowych
• Implementacja integracji API-to-API
• Obsługa różnych formatów danych (CSV, XML, JSON, XLSX, TXT)
• Projektowanie mechanizmów obsługi błędów, retry oraz reprocessingu
• Monitoring przepływów danych i statusów przetwarzania
• Konfiguracja archiwizacji danych i kolejek przetwarzania
• Tworzenie dokumentacji technicznej oraz instrukcji operacyjnych

Wymagania:

• Doświadczenie w integracji systemów, ETL/ELT, DataOps lub automatyzacji przepływów danych
• Praktyczna znajomość Apache NiFi
• Znajomość Azure Logic Apps lub podobnych narzędzi workflow/iPaaS
• Znajomość REST API, JSON, XML, CSV oraz podstaw przetwarzania danych
• Umiejętność projektowania obsługi błędów, retry, monitoringu i reprocessingu
• Podstawowa znajomość usług Azure, np. Storage, Key Vault, Monitor, API Management lub Service Bus
• Umiejętność tworzenia czytelnej dokumentacji technicznej
• Doświadczenie w pracy z plikami jako źródłem danych
• Umiejętność tworzenia czytelnej dokumentacji technicznej
• Doświadczenie w pracy z plikami jako źródłem danych
• Znajomość języka angielskiego na poziomie B2

Mile widziane:

• Znajomość Azure API Management, Azure Service Bus, Azure Monitor lub Log Analytics
• Doświadczenie z SQL, Python