Data Engineer - Fabric [M/F]
Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych. Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL.
Daily tasks
- Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych oraz procesów integracyjnych.
- Implementacja procesów ETL/ELT z wykorzystaniem Microsoft Fabric, Azure Databricks, Python i SQL.
- Praca nad złożonymi scenariuszami ekstrakcji, transformacji i ładowania danych.
- Integracja danych z różnych źródeł oraz zapewnienie ich jakości, spójności i dostępności.
- Projektowanie i rozwój modeli danych.
- Współpraca ze stakeholderami oraz zespołami Agile w celu analizy i realizacji wymagań dotyczących danych.
- Monitorowanie wydajności procesów i infrastruktury oraz identyfikowanie i eliminowanie wąskich gardeł.
- Implementacja mechanizmów zapewniających data quality, accuracy i reliability.
- Automatyzacja procesów związanych z przetwarzaniem i integracją danych.
- Rozwój i utrzymanie procesów CI/CD w Azure DevOps.
- Wykorzystywanie podejścia Infrastructure as Code.
- Tworzenie i utrzymywanie dokumentacji technicznej.
Requirements
Doświadczenie zawodowe na stanowisku Data Engineer lub w podobnej roli. Bardzo dobra znajomość SQL. Praktyczna znajomość Python w obszarze przetwarzania i integracji danych. Doświadczenie z Azure Databricks. Praktyczna znajomość Microsoft Fabric. Doświadczenie z Azure Data Factory. Znajomość Azure Functions. Doświadczenie z Azure DevOps, w szczególności w zakresie CI/CD. Dobra znajomość zagadnień związanych z Data Modelling. Znajomość koncepcji i praktyczne doświadczenie z Infrastructure as Code. Doświadczenie w projektowaniu, optymalizacji i monitorowaniu pipeline’ów danych.
Must have: Microsoft Fabric, Azure Data Factory, Python, SQL