Data engineer for search and recommendation in Berlin

Beschreibung: Tiefenanalyse. Intelligentere Systeme. Echte Nutzer. Als Data Engineer II sind Sie verantwortlich für die Batch-Pipelines und Datenprodukte hinter Global Discovery, den Such- und Empfehlungsdiensten, die auf allen Delivery Hero-Plattformen verwendet werden. Die Verantwortung für die Batch-Pipeline wird an unser Team übertragen, sodass Sie von Anfang an einen klar definierten Umfang übernehmen und helfen, die Unified Data Layer aufzubauen, auf die Analysten und Datenwissenschaftler täglich angewiesen sind.

Aufgaben:

• Verantwortung für einen klar definierten Umfang von Batch-Pipelines von Ende zu Ende, Erstellung neuer Python-Workflows und Überarbeitung bestehender, um sie zuverlässiger, lesbarer und testbarer zu machen.
• Gestaltung der Nutzung von Airflow und dbt zur Definition, zum Aufbau und zum Betrieb der Unified Data Layer, wobei die BigQuery-Workloads effizient und kostensensibel gehalten werden.
• Gewährleistung der Zuverlässigkeit unserer Workflows durch Tiers, SLOs und Runbooks sowie Identifizierung und Behebung der Ursachen, wenn etwas in der Produktion ausfällt.
• Verantwortung für Alarme und Steigerung der Reife unserer Datenqualitätsprüfungen, Validierung der Geschäftslogik und Test-Suite.
• Entwicklung von Self-Service-Tools, die es Analysten und Datenwissenschaftlern ermöglichen, ihre eigenen analytischen Schichten mit weniger Aufwand zu erstellen.
• Optimierung unserer Codebasen und Workflows für agentische Tools, damit Codierungsagenten das Team beschleunigen, ohne die Qualitätsstandards zu senken.

Voraussetzungen:

• 3+ Jahre Erfahrung im Bereich Data Engineering, insbesondere beim Aufbau von Produktionsdaten-Workflows hauptsächlich in Python.
• Fortgeschrittene analytische/OLAP SQL-Kenntnisse, idealerweise in BigQuery, einschließlich der Optimierung von Abfragen hinsichtlich Leistung und Kosten.
• Erfahrung in der Produktion mit Airflow und dbt, einschließlich Systemzuverlässigkeit, Datenqualitätsüberwachung und Alarmierung.
• Tägliche Nutzung von Codierungsagenten (z.B. Claude Code) zur Erstellung von DAGs und dbt-Modellen, mit der Sorgfalt, das Ergebnis zu überprüfen (Granularität, Joins, Abstimmung) und vollständige Verantwortung für das Ergebnis zu übernehmen.
• Solide Ingenieurpraktiken: Unit- und Integrationstests, durchdachte Code-Reviews, Beobachtbarkeit und Code, den auch Unbekannte verstehen können.
• Neugier auf das Geschäft hinter den Daten, mit der Fähigkeit, in die Logik einzutauchen, zu erklären, was die Zahlen bedeuten, und eng mit Analysten und Datenwissenschaftlern zusammenzuarbeiten.

Wünschenswert:

• Erfahrung in der Unterstützung von Empfehlungs-, Such- oder ML-Daten-Workflows;
• Kenntnisse in der Stream-Verarbeitung (z.B. Flink, Kafka) und ein klares Verständnis der Vor- und Nachteile von Batch- und Streaming-Prozessen;
• Erfahrung im Aufbau von Self-Service-Datenwerkzeugen für Analysten oder andere nicht-technische Benutzer;
• Erfahrung im Aufbau eigener Agenten oder agentenbasierter Werkzeuge für Data Engineering-Arbeiten.

Rahmenbedingungen:

• Nutzen Sie unser hybrides Arbeitsmodell und kommen Sie 2 Tage pro Woche für persönliche Verbindungen und Zusammenarbeit in unser schönes Büro in Berlin.
• 27 Tage Urlaub mit einem zusätzlichen Tag im 2. und 3. Jahr der Betriebszugehörigkeit.
• Wir unterstützen Sie bei Ihrer persönlichen Entwicklung und Karrierewachstumsmöglichkeiten: 1.000 € Bildungsbudget, Sprachkurse, Unterstützung für Eltern und Zugang zur Udemy Business-Plattform, um eine Vielzahl von Online-Kursen zu erkunden.
• Bewegung und Freisetzung dieser wunderbaren, geistig anregenden Endorphine: Gesundheitschecks, Meditation & Fitnessstudio.
• Finanzielle Unterstützung: Mitarbeiteraktienplan, Sabbatical-Bank, Rabatt auf öffentliche Verkehrsmittel, Lebens- und Unfallversicherung, betriebliche Altersvorsorge.
• Leckereien: Digitale Essensgutscheine und Lebensmittelgutscheine.