Data Engineer

Charakterystyka oferty:

• Miejsce pracy: 1x w tygodniu praca z biura w Warszawie
• Start: ASAP
• Godziny pracy: Standardowe godziny pracy
• Branża: bankowa
• Wynagrodzenie: 120 - 137 zł netto/h + VAT (bez płatnych urlopów)
• Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja

Twoje zadania:

• Projektowanie i rozwój procesów integracji danych w środowisku GCP i on-premise.
• Budowa oraz utrzymanie procesów ETL/ELT.
• Projektowanie, optymalizacja i tuning baz danych.
• Rozwój rozwiązań streamingowych i kolejkowych.
• Tworzenie i utrzymanie workflowów oraz harmonogramów przetwarzania danych.
• Wystawianie i rozwój usług REST API.
• Tworzenie narzędzi wspierających wydajne ładowanie danych w Pythonie
• Monitorowanie i optymalizacja wydajności procesów danych.

• Min. 5 lat doświadczenia jako Data Engineer w środowisku GCP.
• Bardzo dobra znajomość BigQuery, Bigtable, Scylla Cloud oraz relacyjnych baz danych (Oracle, PostgreSQL, ScyllaDB).
• Doświadczenie w projektowaniu, optymalizacji i tuningu baz danych.
• Dobra znajomość Apache Airflow, Dataflow, Dataproc oraz narzędzi ETL on-premise (Informatica PowerCenter, Apache NiFi).
• Doświadczenie w pracy z Kafka i Google Pub/Sub.
• Bardzo dobra znajomość Python i PySpark
• Umiejętność projektowania i wystawiania REST API.
• Znajomość AutomateNow firmy Infinity Data.
• Doświadczenie w budowie wysokowydajnych rozwiązań przetwarzania danych.