Data Engineer (GCP) [M/F]
Obligāti:PythonAzureDataSenior
Do naszego zespołu poszukujemy Data Engineera, który wesprze projekt migracji istniejącego rozwiązania do monitorowania jakości danych (Data Quality) z platformy legacy do środowiska GCP z wykorzystaniem BigQuery i dbt Core. Jeśli masz doświadczenie w budowaniu pipeline’ów danych, pracy z SQL i nowoczesnymi platformami danych oraz interesuje Cię obszar Data Quality i migracji rozwiązań do chmury, zapraszamy do aplikowania.
Daily tasks
- Projektowanie, budowanie i rozwój pipeline’ów danych oraz procesów ETL/ELT.
- Implementacja i rozwój mechanizmów oraz metryk Data Quality w dbt Core.
- Migracja istniejących kontroli jakości danych z rozwiązania legacy do środowiska GCP.
- Przygotowywanie mapowań pomiędzy obecnym a docelowym rozwiązaniem.
- Tworzenie i rozwój kontroli jakości danych z wykorzystaniem BigQuery i SQL.
- Budowanie repozytoriów służących do przechowywania i monitorowania wyników kontroli Data Quality.
- Integracja rozwiązania z usługami platformy Google Cloud Platform (GCP).
- Optymalizacja wydajności procesów przetwarzania danych i wykonywania kontroli jakości.
- Wsparcie procesów testowania technicznego i biznesowego oraz walidacji danych.
- Przygotowywanie i aktualizacja dokumentacji technicznej oraz operacyjnej.
- Współpraca z Data Modelerami, Business Analystami, Test Engineerami oraz pozostałymi członkami zespołu.
Requirements
- Min. 4-letnie doświadczenie na stanowisku Data Engineer.
- Praktyczne doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych.
- Bardzo dobra znajomość SQL.
- Doświadczenie w projektowaniu i implementacji procesów ETL/ELT.
- Doświadczenie w pracy z nowoczesnymi platformami danych i rozwiązaniami chmurowymi.
- Doświadczenie w migracji, transformacji i przetwarzaniu danych.
- Znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych.
- Doświadczenie w integracji systemów oraz projektowaniu przepływów danych.
- Praktyczna znajomość GCP.
- Doświadczenie w pracy z Google BigQuery.
- Doświadczenie z dbt Core.
- Umiejętność analitycznego myślenia i samodzielnego rozwiązywania problemów.
- Umiejętność współpracy w zespołach interdyscyplinarnych.
Must have: SQL, ETL, GCP