01 Zakres zadań
- Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
- Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
- Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
- Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
- Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
- Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
- Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
- Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
- Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań
