Senior Data Engineer - IT Contracting

Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.

Branża: Technology & Telecoms Obszar: IT Data Analysis Oferujemy

Stawka do 34 EUR/h

Praca w pełni zdalna

Start projektu: 1 listopada

Długoterminowy projekt do 31.10.2027

Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych

Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse

Umowa B2B via Michael Page

Daily tasks

• Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks.
• Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake.
• Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych.
• Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold.
• Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych.
• Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania.
• Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości.
• Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych.
• Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych.
• Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych.
• Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów.
• Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań

Requirements

Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.

Bardzo dobra znajomość Azure Databricks.

Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.

Znajomość Delta Lake i architektury Lakehouse.

Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.

Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.

Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.

Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.

Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).

Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.

Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.

Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.

Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.

Bardzo dobra znajomość języka angielskiego.

Mile widziane:

Doświadczenie z Databricks Workflows oraz Databricks Jobs.

Znajomość Delta Live Tables lub Lakeflow.

Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.

Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.

Must have: Azure Databricks, Python, PySpark, Spark SQL, API, Azure, ADLS, Data engineering

Nice to have: Databricks, Delta Live Table