Data Engineer
ConnectPoint
15000-20000 PLN miesięcznie (B2B)
Czym będziesz się zajmować?
- Projektowanie, implementacja i rozwój platform oraz procesów do przetwarzania danych w czasie rzeczywistym (real-time) i wsadowo
- Budowa i rozwój architektury opartej o event streaming oraz integrację systemów wymieniających dane w czasie rzeczywistym
- Tworzenie i optymalizacja pipeline’ów danych oraz modeli danych dla systemów analitycznych i operacyjnych
- Projektowanie niezawodnych, skalowalnych rozwiązań we współpracy z zespołem DevOps
- Wsparcie klientów z obszaru Energy, Utilities i Manufacturing w budowie nowoczesnych platform danych
Kogo poszukujemy?
- Masz minimum 3 lata doświadczenia jako Data Engineer
- Cechuje Cię bardzo dobra znajomość Python i SQL
- Posiadasz doświadczenie w projektowaniu i budowie pipeline’ów danych, w szczególności przetwarzania danych strumieniowych i eventowych
- Znasz architekturę event-driven oraz narzędzia do przetwarzania danych w czasie rzeczywistym (np. Apache Kafka, Kafka Connect, Apache Flink, Spark Structured Streaming, Apache Pulsar, Azure Event Hubs, Google Pub/Sub)
- Możesz pochwalić się znajomością relacyjnych baz danych oraz technologii wykorzystywanych do budowy nowoczesnych platform danych
- Praca z Git oraz CI/CD nie jest Ci obca
- Masz doświadczenie z wybranymi technologiami z obszarów:
- Open Source Data: Apache Kafka, Spark, Flink, Trino, Hive
- Chmury publiczne: Azure, AWS, Google Cloud
- Orkiestracja i integracja: Airflow, NiFi
- Storage: S3-compatible Object Storage, Azure Storage, GCS
- Formaty danych: Iceberg, Delta Lake
- Bazy danych: PostgreSQL, TimescaleDB, SQL Server
- Umiesz monitorować jakości danych oraz diagnozować problemy wydajnościowe
- Nie boisz się współpracy z klientem i rozumiesz potrzeby biznesowe
- Cechuje Cię komunikatywność a Twój język angielski umożliwia codzienną pracę
Czego wymagamy?
Języki:
- Polski
- Angielski
Jakie warunki i benefity otrzymasz?
- 15000-20000 PLN miesięcznie (B2B)
- B2B - Elastyczne godziny pracy (100%)
- Praca zdalna: Dowolnie
- Szkolenia wewnętrzne, Klasy językowe
- Pakiet medyczny, Ubezpieczenie, Pakiet sportowy
- Kawa / Herbata
- Parking
- Płatny "urlop" dla B2B
Gdzie będziesz pracował?
Zagadki 21, Warszawa lub zdalnie
Kim jesteśmy? – ConnectPoint
ConnectPoint specjalizuje się w dostarczaniu rozwiązań IoT, IT/OT oraz własnych produktów IT dla przemysłu. Wykorzystujemy wiedzę i specjalizację branżową dostarczając technologie wsparcia monitoringu procesów produkcyjnych, optymalizacji energetycznej, integracji systemów, tworzenia oprogramowania, przetwarzania i raportowania danych, GIS, BI i kompetencji w zakresie uczenia maszynowego oraz big data. Naszymi klientami są zarówno największe międzynarodowe koncerny, jak i lokalni dostawcy energii, wody i ciepła.