Data Platform Developer

Do projektu naszego klienta poszukujemy Data Platform Developera, który będzie odpowiedzialny za projektowanie, budowanie i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven.

Daily tasks

• Opracowywanie prototypów i pełnych rozwiązań event-driven przy użyciu Apache Kafka, Kafka Connect, Kafka Streams, kSQL.
• Definiowanie schematów danych (Avro/Protobuf/JSON Schema) oraz wersjonowania.
• Tworzenie mikroserwisów w Spring Boot obsługujacych zdarzenia Kafka (producent, konsument, stream processing).
• Budowa warstwy API GraphQL z wykorzystaniem Quarkus/graalVM udostepniającej dane z MongoDB.
• Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg, innych baz i systemów.
• Zapewnienie transformacji danych przy pomocy Single Message Transforms (SMT) i własnych konwerterów.
• Opracowywanie prototypów i pełnych rozwiazan automatyzacji tworzenia konfiguracji topików i konektorów Kafka Connect, streamów kSQL, aplikacji Kafka Streams.
• Wdrażanie rozwiązań z wykorzystaniem Docker/Kubernetes.
• Automatyzacja procesów CI/CD.
• Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Datadog) dla przepływu zdarzen.
• Diagnostyka problemów z replikacją, opóźnieniami i przetwarzaniem.
• Tuneowanie konfiguracji Kafki (partycje, retencja, wydajnosc, ISR itp.).
• Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami i analitykami.

Requirements

Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych. Znajomość brokerów, topiców, konsumentów, producentów, logów i mechanizmów replikacji. Biegła znajomość Kafka Streams, kSQL. Znajomość Kafka Connect

Must have: Kafka, Kafka Streams, kSQL, Kafka Connect