Databricks Engineer

O firmie

Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce.

Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję.

Zakres obowiązków

W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

• Projektowaniem, tworzeniem i rozwijaniem procesów przetwarzania danych z wykorzystaniem Databricks.
• Budowaniem i utrzymywaniem pipeline'ów ETL/ELT oraz integracją danych pochodzących z różnych systemów.
• Tworzeniem i optymalizacją procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
• Rozwojem rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
• Pracą z danymi w środowisku chmurowym oraz integracją rozwiązań cloud i on-premise.
• Monitorowaniem jakości danych, wydajności i niezawodności procesów.
• Automatyzacją wdrożeń oraz rozwojem procesów CI/CD.
• Współpracą z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.

Wymagania

• Minimum 4 lata doświadczenia w obszarze Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
• Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
• Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
• Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
• Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

• Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
• Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
• Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość Microsoft Fabric.
• Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
• Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
• Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

Must have: SQL, Data engineering, Databricks, Python, Apache Spark, PySpark, ETL, Data Lake, Azure, Git, DevOps, CI/CD

Nice to have:

• Azure Data Factory
• Cloud
• Oracle
• SAS
• Data warehouse
• Apache Kafka
• AI
• GitHub
• Microsoft Fabric

Oferujemy

• Długofalową współpracę w modelu B2B.
• Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce.
• Pracę z nowoczesnymi technologiami przetwarzania danych.
• Współpracę z doświadczonym zespołem technologicznym.
• Prywatną opiekę medyczną Luxmed.
• Kartę Multisport
• Pracę hybrydową z warszawskiego biura, min. 1 dzień w tygodniu.