Data Engineer

DCG sp. z o.o.

20200-23500 PLN miesięcznie (B2B)

Czym będziesz się zajmować?

  • Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
  • Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
  • Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
  • Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
  • Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
  • Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
  • Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
  • Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
  • Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań

Kogo poszukujemy?

  • Minimum 3 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
  • Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
  • Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
  • Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analizę i modyfikację procesów ETL
  • Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
  • Umiejętność optymalizacji zapytań SQL pod kątem wydajności
  • Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
  • Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej

Czego wymagamy?

Znajomości:

Języki:

  • Polski
  • Angielski (mile widziane)

Jakie warunki i benefity otrzymasz?

  • 120-140 PLN godzinowo (B2B)
  • B2B - Elastyczne godziny pracy (100%)
  • Praca zdalna: Hybrydowo
  • Pakiet medyczny, Ubezpieczenie, Pakiet sportowy

Gdzie będziesz pracował?

Centrum, Warszawa lub hybrydowo

Kim jesteśmy? – DCG sp. z o.o.

DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.

Strona firmy: DCG sp. z o.o.