Senior Data Engineer Kafka / Spark (k/m)

O projekcie

W Ideamotive szukamy doświadczonej osoby na stanowisko Senior Data Engineer. Dołączysz do nas, aby realizować projekty dla klientów z sektora bankowego. Skupiamy się na budowie i rozwoju platform danych opartych o Kafkę, Sparka oraz architekturę lakehouse. Oferujemy długoterminową współpracę, w której pojedynczy projekt trwa zazwyczaj około roku

Ideamotive

Czym jest Ideamotive?

• Agile’owa firma świadcząca usługi w zakresie tech team extension IT dla klienta korporacyjnego (głównie w Polsce).
• Nasza firma została uznana przez Forbes 3 lata z rzędu jako jedna z najprężniej rozwijających się organizacji IT w Polsce oraz znalazła się na liście Financial Times 1000.
• Team delivery składa się z 60 osób, core biznesowy z 12 osób i mamy chrapkę na wzrosty, więc podejście “can do” i nastawienie na działanie są tutaj niezbędne.
• Mamy bardzo zgrany, zaangażowany zespół, lubimy to, co robimy.
• Jeżeli taka atmosfera jest zgodna z Twoimi oczekiwaniami, zaaplikuj! Zobaczmy jaką historię możemy razem napisać.

Daily tasks

• Projektowanie i rozwój przepływów danych oraz integracji.
• Budowanie i utrzymywanie rozwiązań opartych na Kafce (Streams, Connect, ksqlDB) lub Sparku.
• Definiowanie schematów danych oraz ich transformacji.
• Monitorowanie i optymalizacja wydajności systemów.
• Diagnozowanie i rozwiązywanie problemów technicznych.
• Dbanie o bezpieczeństwo przetwarzanych danych.
• Tworzenie dokumentacji technicznej.
• Przeprowadzanie code review.

Requirements

Nasze wymagania

• Minimum 3 lata doświadczenia na stanowisku Data Engineer lub Backend Developer w obszarze przetwarzania danych.
• Praktyczna znajomość Apache Kafka lub Apache Spark.
• Umiejętność programowania w języku Java (Spring Boot) lub Python.
• Doświadczenie w pracy z MongoDB lub inną bazą danych NoSQL.
• Znajomość procesów CI/CD oraz praktyk DevOps.
• Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry).

Mile widziane

• Znajomość Apache Iceberg lub Delta Lake.
• Doświadczenie z mechanizmami bezpieczeństwa Kafki (TLS, SASL, ACL).
• Praktyczna znajomość chmury AWS.
• Doświadczenie z Kubernetes i Terraform.
• Wcześniejsza praca przy hurtowniach danych w branży finansowej.

Must have: Apache Kafka, Apache Spark, Java, Spring Boot, Python, MongoDB, NoSQL, CI/CD, DevOps, Prometheus, Grafana

Nice to have: Apache, TLS, ACL, AWS, Kubernetes, Terraform