Data Platform Engineer with Apache Druid.

O firmie

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty

Dla naszego Klienta, firmy doradczo-technologicznej specjalizującej się w transformacji cyfrowej, inżynierii oprogramowania, chmurze i danych, poszukujemy osoby na stanowisko: Data Platform Engineer with Apache Druid.

Zakres obowiązków

• Rozwijanie i utrzymywanie potoków ingestii danych w Apache Druid oraz tworzenie niestandardowych rozszerzeń platformy, w tym integracji z zewnętrznymi systemami zaplecza obsługującymi mechanizmy lookup.
• Budowanie i utrzymywanie potoków danych opartych na Apache Kafka, z możliwością udziału w przetwarzaniu strumieniowym z wykorzystaniem Apache Flink.
• Implementowanie procesów wstępnej agregacji danych oraz ich wzbogacania.
• Optymalizacja zapytań MySQL i wydajności baz danych w środowiskach przetwarzających duże wolumeny danych.
• Projektowanie i wdrażanie mechanizmów wzbogacania metadanych w różnych repozytoriach danych.
• Integracja i utrzymywanie rozwiązań RBAC (Role-Based Access Control), czyli kontroli dostępu opartej na rolach, w różnych komponentach platformy.
• Praca z usługami AWS, w tym S3, Aurora i IAM.
• Współpraca z zespołami realizującymi szersze inicjatywy związane z platformą danych i architekturą lakehouse.

Wymagania

• Praktyczne, zaawansowane doświadczenie w zakresie ingestii danych w Apache Druid oraz tworzenia rozszerzeń dla tej platformy.
• Doświadczenie w budowaniu i utrzymywaniu potoków danych opartych na Apache Kafka.
• Doświadczenie w pracy z Apache Flink lub podobnymi technologiami przetwarzania strumieniowego.
• Bardzo dobra znajomość optymalizacji zapytań MySQL oraz strojenia wydajności baz danych w środowiskach przetwarzających dane na dużą skalę.
• Doświadczenie we wdrażaniu mechanizmów wzbogacania metadanych w ramach platform danych.
• Doświadczenie w integracji i utrzymywaniu rozwiązań RBAC w wielu repozytoriach danych.
• Praktyczne doświadczenie w pracy z usługami AWS, w szczególności S3, Aurora i IAM.
• Umiejętność rozwiązywania złożonych problemów związanych z inżynierią i architekturą platform danych.
• Dobre umiejętności analityczne, rozwiązywania problemów i współpracy zespołowej.

Dodatkowe atuty

• Doświadczenie w pracy z ClickHouse.
• Znajomość Apache Iceberg oraz architektury typu lakehouse.
• Doświadczenie z technologiami federacji zapytań, takimi jak Trino i Amazon Athena.
• Doświadczenie w pracy z dużymi platformami analitycznymi oraz integracjami w ramach nowoczesnego ekosystemu danych.

Must have: Apache, Druid, Apache Kafka, Apache Flink, MySQL, RBAC, AWS, AWS S3, Apache Aurora, IAM

Nice to have: Athena

Oferujemy

• B2B contract
• 100% zdalnie
• Stawka: 170-200 PLN netto+VAT/h

• Kontrakt B2B za pośrednictwem Devire
• Praca zdalna
• Elastyczne godziny pracy
• Możliwość skorzystania z dodatkowych benefitów – karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie.