Data Engineer - AI Pipelines & DataOps in Düsseldorf

Hochwertige, zuverlässige Daten sind die Grundlage, auf der jeder KI-Anwendungsfall basiert, und diese Rolle ist verantwortlich dafür, diese Grundlage unerschütterlich zu machen. Als unser Data Engineer für AI Pipelines & DataOps werden Sie die Ingestion-Pipelines, Streaming-Architekturen und APIs entwerfen und bereitstellen, die Intersnacks KI- und Analysesysteme mit den Daten versorgen, die sie benötigen, um in großem Maßstab zu funktionieren. Sie berichten an das AI-Programm und arbeiten eng mit KI-Ingenieuren, Datenarchitekten und Geschäftsteams zusammen, wobei ein besonderer Fokus auf Fertigungsumgebungen liegt, in denen Daten von Edge-Geräten einzigartige Herausforderungen bei der Datenaufnahme darstellen.

Diese Rolle bietet die Möglichkeit, über eine wirklich vielfältige Datenlandschaft hinweg zu arbeiten, von Fertigungs-Edge-Geräten und IoT-Sensoren bis hin zu strukturierten Unternehmensdatensystemen in den Bereichen Beschaffung und Vertrieb, was Ihnen eine Breite technischer Herausforderungen bietet, die nur wenige Datenengineering-Rollen bieten können. Sie haben direkten Einfluss darauf, wie KI- und Analyseanwendungsfälle in einem Unternehmen mit einem Umsatz von 4,5 Milliarden Euro ermöglicht werden, mit der Autonomie, Pipeline-Muster, API-Standards und DataOps-Praktiken zu definieren, auf denen andere aufbauen werden. Zusammenarbeit steht im Mittelpunkt unserer Arbeitsweise, und Sie werden in ein Programmteam eingebettet sein, das Datenwissenschaft, KI-Architektur und Geschäftsermöglichung umfasst. Düsseldorf ist der Standort, mit Flexibilität für Remote-Arbeit.

Sie werden die Dateninfrastruktur entwerfen und aufbauen, die das KI-Programm von Intersnack antreibt, von skalierbaren Ingestion-Pipelines, die sowohl strukturierte Unternehmensdaten als auch unstrukturierte Signale aus Fertigungsumgebungen verarbeiten, bis hin zu den APIs, die Daten, Modelle und KI-Dienste für den Verbrauch in der gesamten Organisation bereitstellen. Ihre Arbeit wird Architektur, Implementierung und Betrieb umfassen, mit einem starken Fokus auf Qualität, Beobachtbarkeit und kontinuierliche Verbesserung.

Was Sie tun werden:

• Entwerfen und Implementieren skalierbarer Dateninjection-Pipelines für strukturierte und unstrukturierte Datenquellen, einschließlich Fertigungssystemen, Edge-Geräten und Unternehmensdatenplattformen, um eine konsistente Datenqualität vom Ursprung bis zum Verbrauch sicherzustellen.
• Aufbauen und Pflegen sowohl von Batch- als auch von Streaming-Datenpipelines für Analyse- und KI-Anwendungsfälle unter Verwendung cloud-nativer Tools auf Microsoft Azure und/oder AWS.
• Entwerfen und Bereitstellen von REST- oder GraphQL-APIs für Datenressourcen, Endpunkte von Machine-Learning-Modellen und KI-Dienste, um einen zuverlässigen, regulierten Verbrauch durch interne Anwendungen und analytische Systeme zu ermöglichen.
• Implementieren von CI/CD-Praktiken und DataOps-Prinzipien über die Entwicklung und Bereitstellung von Pipelines hinweg, um automatisierte Tests, Versionierung und Release-Management für die Dateninfrastruktur zu unterstützen.
• Sicherstellen von Datenqualität, Herkunft und Beobachtbarkeit über alle Pipelines hinweg, Implementierung von Monitoring und Alarmierung, die Datenprobleme aufdecken, bevor sie die KI- oder Analyseergebnisse beeinträchtigen.
• Unterstützen der Integration von Fertigungs- und Edge-Gerätedaten, einschließlich IoT- und OT-Systemen, in die zentrale Datenplattform, um die spezifischen Latenz-, Format- und Volumenherausforderungen von Betriebstechnologieumgebungen zu adressieren.
• Zusammenarbeiten mit Datenwissenschaftlern und KI-Ingenieuren, um Datenflüsse zu entwerfen und zu optimieren, die Modelltraining, Inferenz und Wissensabruf-Pipelines unterstützen.
• Anwenden von Sicherheitspraktiken bei der Gestaltung aller Pipelines und APIs, einschließlich Zugriffskontrolle, Verschlüsselung und Schutz vor Datenlecks, gemäß Intersnacks Souveränitäts- und Compliance-Standards.
• Beitragen zum Programm zur Förderung der KI-Kompetenz, indem Sie Kollegen unterstützen, die Gesundheit der Datenpipeline, die Standards für Datenqualität und die Rolle zuverlässiger Daten in KI-Ergebnissen zu verstehen.

Erforderliche Qualifikationen:

• Nachgewiesene Erfahrung in der Gestaltung und Implementierung produktionsreifer Datenpipelines unter Verwendung cloud-nativer Dienste auf Microsoft Azure (z.B. Azure Data Factory, Azure Event Hubs, Databricks) und/oder AWS (z.B. AWS Glue, Kinesis, Lake Formation).
• Starke Kenntnisse in mindestens einem Pipeline- oder Transformationsframework (z.B. Apache Spark, dbt, Apache Kafka oder gleichwertig) und einer Skriptsprache wie Python oder Scala.
• Solide praktische Erfahrung mit SQL- und NoSQL-Datenbanken (z.B. PostgreSQL, Cosmos DB, MongoDB oder gleichwertig), einschließlich Datenmodellierung und Abfrageoptimierung für transaktionale und analytische Workloads.
• Erfahrung im Aufbau und in der Pflege von Streaming- und Batch-Pipelines für Analyse- und KI-Anwendungen, mit einem Verständnis der Vor- und Nachteile der beiden Ansätze.
• Fähigkeit, REST- oder GraphQL-APIs für Daten- und Modellbereitstellung zu entwerfen und zu implementieren, mit einem Verständnis für API-Versionierung, Dokumentation und Governance.
• Vertrautheit mit DataOps und CI/CD-Praktiken, wie sie im Datenengineering angewendet werden, einschließlich automatisierter Tests, Pipeline-Orchestrierung und Infrastruktur als Code.
• Erfahrung mit Tools zur Datenqualität, Herkunftsverfolgung und Beobachtungsrahmen (z.B. Great Expectations, OpenLineage oder gleichwertig).
• Grundkenntnisse in den Grundlagen der KI und Datensicherheit, einschließlich Zugriffskontrollen, Verschlüsselung und Risiken wie Datenexfiltration im Kontext von Pipelines.
• Bewusstsein für die DSGVO, den EU-KI-Gesetz und die Anforderungen an die Datensouveränität der EU und deren Auswirkungen auf das Design der Dateninfrastruktur.
• Ein starkes Beherrschen der gesprochenen und geschriebenen englischen Sprache ist erforderlich; Kenntnisse der deutschen Sprache werden als Vorteil angesehen.

Wertvolle Erfahrungen:

• Erfahrung in der Arbeit mit Fertigungs- oder Betriebstechnologiedatenumgebungen, einschließlich der Datenaufnahme von IoT/Edge-Geräten und der Verarbeitung von Zeitreihendaten.
• Vertrautheit mit Microsoft Fabric, OneLake oder Azure Purview für das Management einer einheitlichen Datenplattform.
• Einblicke in MLOps-Praktiken, einschließlich Datenversionierung, Feature Stores oder Modellüberwachungs-Pipelines.
• Erfahrung mit Terraform oder anderen Infrastruktur-als-Code-Tools für die skalierbare, wiederholbare Bereitstellung von Dateninfrastrukturen.
• Hintergrund in FMCG, Fertigung oder Lieferkette, der Kontext für die typischen betrieblichen Datenherausforderungen in diesen Umgebungen bietet.

Wichtig: Bitte beachten Sie, dass für diese Position ein gültiges Arbeits- und Aufenthaltsgenehmigung für Nicht-EU-Bewerber erforderlich ist.