(Confluent) Senior Principal Engineer, Kafka

Confluent ist Pionier der grundlegenden Plattform für Echtzeit-Datenstreaming. Gegründet von den ursprünglichen Schöpfern von Apache Kafka, ermöglichen wir zukunftsorientierten Organisationen, Anwendungen, Systeme und Datenströme zu verbinden und isolierte Daten in umsetzbare Echtzeit-Intelligenz umzuwandeln. Unsere globalen Engineering-Teams entwerfen hochverfügbare, sichere, verteilte Systeme, die in einem massiven planetarischen Maßstab arbeiten.

Wir suchen außergewöhnliche technische Führungskräfte, die begeistert sind, komplexe Herausforderungen in verteilten Systemen zu lösen und einen tiefgreifenden, messbaren Einfluss auf Tausende von Unternehmenskunden weltweit zu schaffen.

Ihre Rolle und Verantwortlichkeiten

Der Next-Generation Kafka Background Plane ist der kritische Motor, der sicherstellt, dass Kafka-Cluster leistungsfähig, widerstandsfähig, kosteneffizient und korrekt im großen Maßstab bleiben. Er verwaltet Daten- und Metadatenkompaktierung, intelligentes Protokoll-Rewriting, Aufbewahrungspolitiken, Segmentlebenszyklusmanagement, asynchrone Objekt-Garbage-Collection und Multi-Tenant-Aufgabenorchestrierung. In unserem Maßstab wirken sich geringfügige Ineffizienzen auf die globale Infrastruktur aus; es richtig zu machen, ermöglicht nahtloses, null Ausfallzeiten, unendliches Datenstreaming für das moderne Unternehmen.

Als Senior Principal Engineer werden Sie die mehrjährige technische Strategie für den Background Plane definieren und vorantreiben und seine zentrale Rolle innerhalb der breiteren Next-Gen Kafka-Architektur gestalten. Dies ist eine Rolle als individueller Beitragender mit unternehmensweiter Reichweite und exekutivem Umfang. Sie werden hochgradig sichtbare Initiativen leiten, die Cloud-Speicher, Vordergrund-Servicemotoren, Konsensschichten, Cloud-Infrastruktur, Steuerungsebenen und Site-Reliability-Engineering umfassen – dabei werden Sie senior technische Führungskräfte bei entscheidenden Architekturentscheidungen ausrichten und die nächste Generation von Haupttalenten betreuen und fördern.

Was Sie tun werden

• Architektur der mehrjährigen Strategie: Etablierung der langfristigen technischen Vision für den Background Plane, Übersetzung strategischer Geschäfts- und Produktziele in erstklassige verteilte Architekturen, mehrjährige Engineering-Roadmaps und hochwirksame Investitionsprioritäten.
• Entwicklung von Hochskalierungsverarbeitungsplattformen: Entwurf, Aufbau und Optimierung der Kernplattformfähigkeiten einschließlich verteilter Planung, Aufgabenkoordination, Isolationsgarantien, elastisches Autoscaling, anspruchsvolle Rückdruckmechanismen und Ausführungsworkflows mit Abhängigkeiten.
• Gewährleistung der End-to-End-Korrektheit: Verantwortung für das mathematische und operationale Korrektheitsmodell für alle Daten- und Metadaten-Workflows (Kompaktierung, Rewriting, Aufbewahrung, Segmentlebenszyklus, Objekt-GC), Aufbau von wasserdichten Sicherheitsgarantien unter extremen Nebenläufigkeiten, teilweisen Netzwerkfehlern und degradierten Abhängigkeiten.
• Skalierung ohne Grenzen: Sicherstellung, dass der Background Plane nahtlos hyper-wachstumsbedingte Partitionen, Durchsatz, Speicherbedarf und Hintergrundverzögerungen bewältigt, ohne sub-millisekündliche Vordergrundlatenzen zu beeinträchtigen.
• Förderung des interorganisationalen Konsenses: Vorantreiben architektonischer Verträge über Organisationen hinweg – einschließlich Datenreferenzen, Metadaten-Schnittstellen, Objektlebenszyklen, Verschlüsselungsmodelle und Aufgabenplaner – Leitung von Initiativen vom ersten Rahmen bis zur globalen Produktionsbereitstellung.
• Steigerung der betrieblichen Exzellenz: Definition und Durchsetzung globaler Engineering-Standards für Fehlertoleranz, Chaos-Tests, tiefe Beobachtbarkeit, Canary-Sicherheit und Vorfallminderung, kontinuierliche Senkung des systemischen Risikos in Bezug auf Zuverlässigkeit, Kosten und Geschwindigkeit.
• Senior Authority: Als definitive technische Autorität während kritischer architektonischer Überprüfungen, hochgradiger Vorfallreaktionen und komplexer technischer Abwägungsdiskussionen über Produkt, Infrastruktur und Sicherheit fungieren.
• Förderung der Engineering-Kultur: Sponsoring und Mentoring von Senior- und Staff-Engineers in der gesamten Organisation, während Sie Confluents technische Vision extern durch Keynotes, Forschungsarbeiten und Open-Source-Beiträge vertreten.

Erforderliche Ausbildung

Bachelor-Abschluss

Bevorzugte Ausbildung

Master-Abschluss

Erforderliche technische und berufliche Expertise

• Meisterschaft in verteilten Systemen: Nachweisliche Erfolgsbilanz in der Architektur, dem Aufbau und dem Betrieb von mission-kritischen verteilten Systemen im planetarischen Maßstab, mit tiefem Fachwissen in Speicher-Engines, verteilten Log-Speichern, Stream-Verarbeitung, Replikation oder Konsensprotokollen.
• Streaming- und Speicherexpertise: Tiefes Verständnis der internen Abläufe von Apache Kafka (Speichersemantik, Log-Kompaktierung, gestaffelter Speicher, Segmentindizierung) oder gleichwertige hochdurchsatzfähige Streaming-Systeme.
• Strategische technische Führung: Nachgewiesene Fähigkeit, komplexe mehrjährige Architektur-Roadmaps über multidisziplinäre Engineering-Organisationen zu artikulieren, auszuführen und zu liefern.
• Rigoroses Problemlösen: Außergewöhnliche Fähigkeit, über Rennbedingungen, verteilte Nebenläufigkeit, Zustandsmaschinenübergänge, Randfallfehler und Rückdruckmechanismen nachzudenken.
• Qualitäts- und SRE-Rigor: Nachgewiesene Fähigkeit, messbare SLA/SLO-Metriken, Haltbarkeitsziele und automatisierte Wiederherstellungspraktiken über globale Multi-Tenant-Infrastrukturflotten zu etablieren.
• Beeindruckende Kommunikation: Hervorragende schriftliche und mündliche Kommunikationsfähigkeiten, mit der Fähigkeit, hochtechnische Konzepte für die Unternehmensführung zu destillieren und teamübergreifende Übereinstimmung durch Vertrauen und Fachwissen zu fördern.
• Talent-Multiplikator: Eine Leidenschaft für Mentoring, Talententwicklung und die Befähigung von Mitarbeitern/Hauptingenieuren, ihr volles Führungspotenzial zu erreichen.

Bevorzugte technische und berufliche Erfahrung

• Log-strukturierte Speicherformate, benutzerdefinierte Speicher-Engines, Cloud-Objektspeicher oder großangelegte Daten-Neuschreibpipelines.
• Fehlertolerante Objektlebenszyklusstrategien, die Datenleckagen, verwaiste Ressourcen oder vorzeitige Löschungen verhindern.
• Chaos-Engineering, Produktionsverkehrs-Replay-Plattformen, deterministische Simulationstests und großangelegte Lastgenerierung.
• Multi-Cloud-, Multi-Region-Bereitstellungstopologien über AWS, GCP und Azure.