Data Platform Engineer (Kafka/Streaming)

Do projektu naszego klienta poszukujemy Data Platform Engineera, który dołączy do zespołu Data Platform - jego rolą będzie budowa nowoczesnych rozwiązań opartych o Apache Kafka ale takze bedzie odpowiedzialny za analizę wymagań biznesowych

Daily tasks

• Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych.
• Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól).
• Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).
• Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.
• Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).
• Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.
• Konfiguracja i rozwój konektorów Kafka Connect.
• Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.
• Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń.
• Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.
• Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
• Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.
• Dzielenie się wiedzą – warsztaty, dokumentacja, code review.

Requirements

Minimum 3 lata doświadczenia w środowiskach produkcyjnych. Znajomość brokerów, topiców, partycjonowania, schematów i replikacji. Biegła znajomość Kafka Streams, kSQL. Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych). Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data). Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań. Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów. Podstawowa znajomość formatu tabel i zarządzania metadanymi. Znajomość Javy, Pythona Znajomość Prometheus, Grafana oraz OpenTelemetry. Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie. Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.

Must have: Python, Kafka, Spring, GraphQL, Java