Senior Data Platform Engineer – AWS & Streaming (w/m/d)

Werde Teil eines modernen Softwareunternehmens, das eine cloudbasierte Datenplattform betreibt, und übernimm Verantwortung für die Administration, Überwachung und Optimierung einer Big-Data-Umgebung in AWS. Du arbeitest mit modernsten Technologien wie Kafka, Flink, NiFi und DynamoDB und sorgst durch 3rd-Level-Support und Rufbereitschaft für hohe Verfügbarkeit.

Deine Aufgaben:

• Administration, Überwachung und Optimierung einer Big-Data-Plattform in der AWS-Cloud
• Verwaltung und Wartung von Cloudera On-Cloud PaaS-Diensten und AWS-nativen Technologien (z. B. Kafka, Flink, NiFi, Iceberg Tables, DynamoDB)
• Bereitstellung und Automatisierung von Infrastruktur in AWS mit Terraform und ArgoCD
• Durchführung von Updates, Upgrades und Incident Management für Plattformkomponenten
• Beratung von Entwickler:innen bei der Auswahl passender Dienste für Geschäftsanforderungen
• 3rd-Level-Support inkl. Fehleranalyse, Troubleshooting und Rufbereitschaft zur Gewährleistung der Systemverfügbarkeit
• Optimierung von Workloads (z. B. Flink-Job-Speicherverwaltung, Impala/Trino-Abfragoptimierung)
• Bewertung und Implementierung cloud-nativer Dienste im Einklang mit der Systemarchitektur

Dein Profil:

• Fundierte Kenntnisse in Linux und im Hadoop-Ökosystem (HDFS, Zookeeper, Yarn, Impala, Spark, Kafka)
• Erfahrung mit Automatisierungstools wie Terraform
• Programmierkenntnisse in Spark, Python und idealerweise Kenntnisse der Cloudera-Dienste (z. B. Hue, Knox, Ranger RAZ, Streams Messaging Manager, NiFi, Kudu)
• Erfahrung mit Rufbereitschaft, Troubleshooting und Rolling Restarts von Vorteil
• Kubernetes-Erfahrung ist ein großer Pluspunkt
• Teamplayer-Mentalität

Was dich erwartet:

• Hybrides Arbeitsmodell mit flexiblen Arbeitszeiten
• Persönliche Schulungs- und Entwicklungsmöglichkeiten
• Arbeit mit modernen Cloud- und Big-Data-Technologien in einem kollaborativen Umfeld
• Essenszuschuss, kostenlose Getränke und Obst
• Gesundheitsinitiativen und betriebliche Altersvorsorge
• Teamevents und fachlicher Austausch in Engineering-Communities
• Gute Verkehrsanbindung, Parkmöglichkeiten und Umzugsunterstützung bei Bedarf