Kafka Engineer

Tryb pracy: Zdalnie (okazjonalne wizyty w biurze Wrocław)

Stawka: 1000-1200 PLN/MD B2B

Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.

Projekt obejmuje:

• budowę rozwiązania Kafka w chmurze AWS, w tym m.in. Aurora, MSK, EKS,
• implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,
• stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,
• zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

Daily tasks

• Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform, m.in.:
• Schema Registry, Flink, Control Center, Tableflow.
• Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność.
• Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud.
• Konfiguracja niezbędnych usług AWS, m.in.: VPC, IAM, EC2, EKS, S3, KMS,
• Secrets Manager.
• Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.
• Implementacja i konfiguracja: MirrorMaker 2, Cluster Linking, Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem: GitHub Actions, GitLab CI, Jenkins.
• Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich.
• Implementacja Infrastructure-as-Code w Terraform: tworzenie i utrzymywanie modułów, wersjonowanie infrastruktury, testowanie planów, automatyzacja procesu apply.
• Automatyzacja testów integracyjnych dla środowisk Kafka.
• Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń.
• Confluent Replicator.
• Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS.
• Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.
• Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją.
• Implementacja i utrzymywanie monitoringu z wykorzystaniem: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack. Tworzenie i utrzymywanie: runbooków, alertów, SLA/SLO.
• Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy.
• Optymalizacja wydajności i tuning konfiguracji Kafka.
• Konfiguracja i utrzymanie mechanizmów bezpieczeństwa: TLS, SASL, ACL, RBAC.
• Implementacja szyfrowania danych w spoczynku oraz podczas transmisji.
• Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury.
• Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security.
• Mentoring mniej doświadczonych członków zespołu.
• Prowadzenie warsztatów i dzielenie się wiedzą techniczną

Requirements

Wymagania techniczne – must-have

Kafka i Confluent

• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość:

• Confluent Platform (Enterprise),
• Confluent Kafka,
• Confluent Cloud.

• Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.
• Praktyczna znajomość:

• MirrorMaker 2,
• Cluster Linking,
• Confluent Replicator.

AWS

Praktyczna znajomość usług:

• VPC,
• IAM,
• EC2,
• EKS,
• MSK,
• S3,
• KMS,
• AWS Secrets Manager.

Środowiska hybrydowe

• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.

Infrastructure-as-Code

• Bardzo dobra znajomość Terraform, w tym:

• tworzenie modułów,
• zarządzanie stanem i wersjonowaniem,
• testowanie infrastruktury,
• Terratest,
• tfsec.

• Znajomość Ansible.

CI/CD

• Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
• Znajomość:

• GitHub Actions,
• GitLab CI,
• Jenkins.

• Doświadczenie w automatyzacji testów integracyjnych dla Kafki.

Programowanie i scripting

• Znajomość:

• Python,
• Bash,
• Ansible.

Monitoring i observability

• Doświadczenie z:

• Prometheus,
• Grafana,
• Confluent Control Center,
• OpenTelemetry,
• Elastic Stack.

Bezpieczeństwo

• Znajomość:

• TLS,
• SASL,
• ACL,
• RBAC,
• szyfrowania danych w spoczynku,
• szyfrowania danych w tranzycie.

Metodyki pracy

• Doświadczenie w pracy w Scrum i/lub Kanban.
• Znajomość narzędzi:

• Jira,
• Confluence.

Must have: Kafka, Apache Kafka, Cloud, AWS, VPC, IAM, AWS EC2, Amazon EKS, MSK, AWS S3, KMS, Terraform, Ansible, CI/CD, GitHub Actions, GitLab CI, Jenkins, Python, Bash, Prometheus, Grafana, Elastic Stack, TLS, ACL, RBAC, Scrum, Kanban, Jira, Confluence