Senior Data Engineer (all genders)

Wir sind die Tech-Powerhouse hinter Kauflands internationalen Online-Marktplätzen und ein Unternehmen innerhalb der Schwarz Gruppe. Anstellungsdetails: Unbefristeter Vertrag, Voll- oder Teilzeit, Remote oder Köln / Darmstadt / Düsseldorf / Berlin.

Aufgaben:

• Sie entwerfen, entwickeln und warten unser Streaming- und CDC-Rückgrat (Apache Kafka, Debezium, Schema Registry, BigQuery Sinks) und unsere selbst entwickelte Workflow-Management-Plattform Navarch, die auf Kubernetes läuft.
• Sie treiben architektonische Initiativen über die gesamte Plattform hinweg — von der Idee bis zur Produktion — einschließlich Streaming, Orchestrierung, dem Warehouse und der Observabilitätsschicht, die über ihnen liegt.
• Sie betreiben und entwickeln unser BigQuery-Multi-Projekt-Setup weiter und gestalten das Zugriffsmanagement, die Partitionierung, die Slot-Strategie und kostensensible Designmuster.
• Sie gestalten, wie die Plattform Domain-Analysten unterstützt, die ihre eigenen Pipelines bereitstellen — klare Verantwortungsgrenzen, Qualitätssicherungen und weniger Übergabefriktionen zwischen Produzenten und dem Plattformteam.
• Sie bauen und pflegen die Observabilität über die Datenplattform (Datadog, Slack-native Alarme, Kostendashboards) und kümmern sich um unsere CI/CD-Pipelines auf unserer selbst gehosteten GitLab-Instanz.
• Sie gestalten, wie wir die Kosten für BigQuery und Kafka auf Plattformebene verwalten — FinOps ist eine lebendige Praxis in diesem Team, kein einmaliges Projekt.
• Sie bringen eine senior Perspektive in architektonische Entscheidungen über die Plattform ein — Design-Reviews, Merge-Request-Reviews und die mehrmonatigen Initiativen, die das Team durchführt.

Profil:

• Sie haben mehrere Jahre Erfahrung im Bereich Data Engineering auf Senior-Level, nachgewiesen durch die eigenverantwortliche Betreuung von Produktionssystemen — Bereitschaftsdienst, Bereitstellung von Änderungen über Komponenten hinweg und Einfluss auf die Architektur ohne Prozessgerüst.
• Sie verfügen über starke Problemlösungsfähigkeiten mit nachgewiesener Fähigkeit, komplexe, bereichsübergreifende Probleme zu beheben (Schema-Evolution, Broker-Verzögerung, Abfrageleistung, Kostenanomalien).
• Sie haben Berufserfahrung in der Softwareentwicklung mit Python und beherrschen SQL in Cloud-Datenbanken — Partitionierung, Clustering, Abfragekosten, Idempotenz.
• Starke Erfahrung mit objektorientierter Programmierung und Software-Designmustern, angewendet auf Data Engineering-Anwendungen.
• Sie haben praktische Erfahrung mit mindestens vier der folgenden Technologien: Message-Broker, idealerweise Apache Kafka (Broker-Operationen, Schema-Registry, KRaft), Change Data Capture, idealerweise Debezium, Orchestrierungstools (in-house, Airflow, Dagster oder ähnlich), Public Cloud-Anbieter, idealerweise Google Cloud Platform, Container-Orchestrierung, idealerweise Kubernetes (Helm, Operatoren, KEDA/VPA), Infrastructure as Code, idealerweise Terraform und/oder Ansible, Datenmodellierung und -transformation, idealerweise dbt oder vergleichbar.
• Sie können die Trade-offs in Ihren bisherigen Entscheidungen artikulieren — Batch vs. Stream, Build vs. Buy, Latenz vs. Kosten, Isolation vs. Kopplung — mit konkreten Zahlen aus Ihrer eigenen Arbeit.
• Sie gedeihen in einer Kanban-ähnlichen, prozessarmen Umgebung, in der Senioren ihre eigene Arbeit organisieren und wöchentlich rotieren.
• Sie sprechen fließend Englisch (C1) und genießen die Arbeit in einem dynamischen, internationalen Umfeld.

Benefits:

• Gestalten Sie Ihre eigene Work-Life-Balance: Sie haben die Flexibilität, zwischen remote Arbeiten (innerhalb Deutschlands) oder von einem unserer Standorte in Köln, Darmstadt, Düsseldorf oder Berlin zu wählen!
• Wollen Sie nach Deutschland ziehen? Kein Problem – wir bieten Ihnen ein attraktives Umzugspaket für einen reibungslosen Start.
• Urban Sports Club und RSG Group Fitnessstudios: Erhalten Sie Top-Angebote für Fitness, Schwimmen, Yoga und mehr.
• Mentale Gesundheit: Wir unterstützen Sie auf Ihrem Wohlfühlweg mit speziellen Angeboten wie Instahelp, der digitalen Plattform für Online-Psychologische Beratung.
• Urlaub & Sabbatical: Genießen Sie 30 Tage Urlaub pro Jahr und die Möglichkeit, ein Sabbatical zu nehmen, sobald Sie eine bestimmte Zeit Teil des Teams sind!
• Option für Pluxee Restaurantgutscheine: Kaufen Sie Pluxee-Gutscheine über uns und profitieren Sie von steuerlich begünstigten Essenszulagen!
• ‘Deutschlandticket’: Wir subventionieren Ihr Zug-Abonnement für mehr Mobilität.
• Mitarbeiterrabatt: Sie erhalten monatlich einen Gutschein für Kaufland.de.
• Freie Wahl des Betriebssystems: MacOS oder Ubuntu Linux, es liegt an Ihnen.
• Fördern Sie Ihr Wachstum: Profitieren Sie von unseren Online-Sprachkursen, vielfältigen internen Schulungen und unserem automatisierten 360-Grad-Feedback. Wir übernehmen die Kosten für relevante Konferenzen, Schulungsmöglichkeiten und genehmigte Team-Workshops zur Stärkung persönlicher Interaktionen.

Dies sind wir: Unsere dynamische Kultur kombiniert flache Hierarchien, eine Start-up-Mentalität, ein internationales Team von über 65 Nationalitäten und die Stärke der Schwarz Gruppe, um Ihnen ein agiles und sicheres Arbeitsumfeld zu bieten. Wir sind Teamplayer: Vom ersten Tag an werden Sie nicht nur mit Ihrem Team, sondern auch mit anderen über unsere digitale Einarbeitungsreise, das Buddy-Programm und regelmäßige Team- und Unternehmensveranstaltungen, All-Hands-Meetings, kraftvolle Morgen und vieles mehr verbunden.

Diversity: Wir begrüßen Bewerbungen von allen, unabhängig von Hautfarbe, sexueller Orientierung, Geschlechtsidentität, Alter, Behinderung, ethnischer Herkunft, Religion und Ideologie. Wir sind Unterzeichner der Charta der Vielfalt – denn wir wissen, dass außergewöhnliche Dinge nur durch Vielfalt erreicht werden können. Lesen Sie hier mehr!

Bei der Bewerbung können Sie optional Ihre Pronomen in Ihrem Lebenslauf angeben.

Ansprechpartner: Ihre Kontaktperson: Kristina Heymann, Kaufland e-commerce Services GmbH & Co. KG, Postanschrift: Habsburgerring 2, 50674 Köln.