Data Engineer - AI Pipelines & DataOps

Wir möchten, dass Sie mit uns wachsen. Hochwertige, zuverlässige Daten sind die Grundlage, auf der jeder KI-Anwendungsfall basiert, und diese Rolle ist dafür verantwortlich, diese Grundlage unerschütterlich zu machen. Als unser Data Engineer für AI Pipelines & DataOps werden Sie die Ingestion-Pipelines, Streaming-Architekturen und APIs entwerfen und bereitstellen, die Intersnacks KI- und Analysesysteme mit den Daten versorgen, die sie benötigen, um in großem Maßstab zu funktionieren. Sie berichten an das KI-Programm und arbeiten eng mit KI-Ingenieuren, Datenarchitekten und Geschäftsteams zusammen, wobei der Schwerpunkt auf Fertigungsumgebungen liegt, in denen Daten von Edge-Geräten einzigartige Herausforderungen bei der Ingestion darstellen.

Diese Rolle bietet die Möglichkeit, über eine wirklich vielfältige Datenlandschaft hinweg zu arbeiten, von Fertigungs-Edge-Geräten und IoT-Sensoren bis hin zu strukturierten Unternehmensdatensystemen in den Bereichen Beschaffung und Vertrieb. Sie haben direkten Einfluss darauf, wie KI- und Analyseszenarien in einem Unternehmen mit einem Umsatz von 4,5 Milliarden Euro ermöglicht werden, mit der Autonomie, Pipeline-Muster, API-Standards und DataOps-Praktiken zu definieren, auf denen andere aufbauen werden. Zusammenarbeit steht im Mittelpunkt unserer Arbeit, und Sie werden in ein Programmteam eingebettet sein, das Datenwissenschaft, KI-Architektur und Geschäftsermöglichung umfasst. Düsseldorf ist der Hauptsitz, mit Flexibilität für Remote-Arbeit.

Wie Sie Ihre Zeit als unser nächster Data Engineer - AI Pipelines & DataOps verbringen werden:

• Sie entwerfen und bauen die Dateninfrastruktur, die das KI-Programm von Intersnack antreibt, von skalierbaren Ingestion-Pipelines, die sowohl strukturierte Unternehmensdaten als auch unstrukturierte Signale aus Fertigungsumgebungen verarbeiten, bis hin zu den APIs, die Daten, Modelle und KI-Dienste für den Verbrauch in der gesamten Organisation bereitstellen.
• Ihr Fokus liegt auf Architektur, Implementierung und Betrieb, mit einem starken Fokus auf Qualität, Beobachtbarkeit und kontinuierliche Verbesserung.

Was Sie tun werden:

• Entwerfen und Implementieren skalierbarer Daten-Ingestion-Pipelines für strukturierte und unstrukturierte Datenquellen, einschließlich Fertigungssystemen, Edge-Geräten und Unternehmensdatenplattformen, um eine konsistente Datenqualität vom Ursprung bis zum Verbrauch sicherzustellen.
• Aufbauen und Pflegen sowohl von Batch- als auch von Streaming-Datenpipelines für Analysen und KI-Anwendungsfälle, unter Verwendung cloud-nativer Tools auf Microsoft Azure und/oder AWS.
• Entwerfen und Bereitstellen von REST- oder GraphQL-APIs für Datenressourcen, Endpunkte von Machine-Learning-Modellen und KI-Dienste, um einen zuverlässigen, regulierten Verbrauch durch interne Anwendungen und analytische Systeme zu ermöglichen.
• Implementieren von CI/CD-Praktiken und DataOps-Prinzipien über die Entwicklung und Bereitstellung von Pipelines hinweg, um automatisierte Tests, Versionierung und Release-Management für die Dateninfrastruktur zu unterstützen.
• Sicherstellen von Datenqualität, Herkunft und Beobachtbarkeit über alle Pipelines hinweg, Implementierung von Monitoring und Alarmierung, die Datenprobleme aufdecken, bevor sie die Ergebnisse von KI oder Analysen beeinträchtigen.
• Unterstützen der Integration von Fertigungs- und Edge-Gerätedaten, einschließlich IoT- und OT-Systemen, in die zentrale Datenplattform, um die spezifischen Latenz-, Format- und Volumenherausforderungen von Betriebstechnologieumgebungen zu adressieren.
• Zusammenarbeiten mit Datenwissenschaftlern und KI-Ingenieuren, um Datenflüsse zu entwerfen und zu optimieren, die Modelltraining, Inferenz und Wissensabruf-Pipelines unterstützen.
• Anwenden von Sicherheitspraktiken bei der Gestaltung aller Pipelines und APIs, einschließlich Zugriffskontrolle, Verschlüsselung und Schutz vor Datenlecks, gemäß Intersnacks Souveränitäts- und Compliance-Standards.
• Beitragen zum Programm zur Förderung der KI-Kompetenz, indem Sie Kollegen unterstützen, die Gesundheit der Datenpipeline, die Standards für Datenqualität und die Rolle zuverlässiger Daten in KI-Ergebnissen zu verstehen.

Wesentliche Fähigkeiten und Erfahrungen:

• Nachgewiesene Erfahrung in der Gestaltung und Implementierung produktionsreifer Datenpipelines unter Verwendung cloud-nativer Dienste auf Microsoft Azure (z.B. Azure Data Factory, Azure Event Hubs, Databricks) und/oder AWS (z.B. AWS Glue, Kinesis, Lake Formation).
• Starke Kenntnisse in mindestens einem Pipeline- oder Transformationsframework (z.B. Apache Spark, dbt, Apache Kafka oder gleichwertig) und einer Skriptsprache wie Python oder Scala.
• Solide praktische Erfahrung mit SQL- und NoSQL-Datenbanken (z.B. PostgreSQL, Cosmos DB, MongoDB oder gleichwertig), einschließlich Datenmodellierung und Abfrageoptimierung für transaktionale und analytische Workloads.
• Erfahrung im Aufbau und in der Pflege von Streaming- und Batch-Pipelines für Analysen und KI-Anwendungen, mit einem Verständnis für die Vor- und Nachteile der beiden Ansätze.
• Fähigkeit, REST- oder GraphQL-APIs für Daten- und Modellbereitstellung zu entwerfen und zu implementieren, mit einem Verständnis für API-Versionierung, Dokumentation und Governance.
• Vertrautheit mit DataOps und CI/CD-Praktiken, wie sie in der Datenverarbeitung angewendet werden, einschließlich automatisierter Tests, Pipeline-Orchestrierung und Infrastruktur als Code.
• Erfahrung mit Tools zur Datenqualität, Herkunftsverfolgung und Beobachtungsrahmen (z.B. Great Expectations, OpenLineage oder gleichwertig).
• Praktisches Wissen über KI- und Datensicherheitsgrundlagen, einschließlich Datenzugriffskontrollen, Verschlüsselung und Risiken wie Datenexfiltration im Kontext von Pipelines.
• Bewusstsein für die DSGVO, den EU-KI-Gesetz und die Anforderungen an die Datensouveränität der EU und deren Auswirkungen auf das Design der Dateninfrastruktur.
• Ein starkes Beherrschen der gesprochenen und geschriebenen englischen Sprache ist erforderlich; Kenntnisse der deutschen Sprache werden als Vorteil angesehen.

Wertvolle Erfahrungen:

• Erfahrung in der Arbeit mit Fertigungs- oder Betriebstechnologie (OT) Datenumgebungen, einschließlich IoT/Edge-Geräte-Dateninjection und Zeitreihen-Datenverarbeitung.
• Vertrautheit mit Microsoft Fabric, OneLake oder Azure Purview für das Management einheitlicher Datenplattformen.
• Exposition gegenüber MLOps-Praktiken, einschließlich Datenversionierung, Feature-Stores oder Modellüberwachungs-Pipelines.
• Erfahrung mit Terraform oder anderen Infrastruktur-als-Code-Tools für die skalierbare, wiederholbare Bereitstellung von Dateninfrastrukturen.
• Hintergrund in FMCG, Fertigung oder Lieferkette, der den Kontext für die typischen betrieblichen Datenherausforderungen in diesen Umgebungen bietet.

Wichtig: Bitte beachten Sie, dass für diese Position ein gültiges Arbeits- und Aufenthaltsvisum für Nicht-EU-Bewerber erforderlich ist.