Data Engineer - AI Pipelines & DataOps

Wir möchten, dass Sie mit uns wachsen. Hochwertige, zuverlässige Daten sind die Grundlage, auf der jeder KI-Anwendungsfall basiert, und diese Rolle ist dafür verantwortlich, diese Grundlage unerschütterlich zu machen. Als unser Data Engineer für AI Pipelines & DataOps werden Sie die Ingestion-Pipelines, Streaming-Architekturen und APIs entwerfen und bereitstellen, die die KI- und Analysesysteme von Intersnack mit den Daten versorgen, die sie benötigen, um in großem Maßstab zu funktionieren. Sie berichten an das AI-Programm und arbeiten eng mit KI-Ingenieuren, Datenarchitekten und Geschäftsteams zusammen, wobei ein besonderer Fokus auf Fertigungsumgebungen liegt, in denen Daten von Edge-Geräten einzigartige Herausforderungen bei der Datenaufnahme darstellen.

Was wir anbieten können: Diese Rolle bietet die Möglichkeit, über eine wirklich vielfältige Datenlandschaft hinweg zu arbeiten, von Fertigungs-Edge-Geräten und IoT-Sensoren bis hin zu strukturierten Unternehmensdatensystemen in den Bereichen Beschaffung und Vertrieb, was Ihnen eine Breite technischer Herausforderungen bietet, die nur wenige Datenengineering-Rollen bieten können. Sie haben direkten Einfluss darauf, wie KI- und Analyseszenarien in einem Unternehmen mit einem Umsatz von 4,5 Milliarden Euro ermöglicht werden, mit der Autonomie, Pipeline-Muster, API-Standards und DataOps-Praktiken zu definieren, auf denen andere aufbauen werden. Zusammenarbeit steht im Mittelpunkt unserer Arbeit, und Sie werden in ein Programmteam eingebettet sein, das Datenwissenschaft, KI-Architektur und Geschäftsermöglichung umfasst. Düsseldorf ist der Hauptsitz, mit Flexibilität für Remote-Arbeit.

Wie Sie Ihre Zeit als unser nächster Data Engineer - AI Pipelines & DataOps verbringen werden: Sie werden die Dateninfrastruktur entwerfen und aufbauen, die das KI-Programm von Intersnack antreibt, von skalierbaren Ingestion-Pipelines, die sowohl strukturierte Unternehmensdaten als auch unstrukturierte Signale aus Fertigungsumgebungen verarbeiten, bis hin zu den APIs, die Daten, Modelle und KI-Dienste für den Verbrauch in der gesamten Organisation bereitstellen. Ihre Arbeit wird Architektur, Implementierung und Betrieb umfassen, mit einem starken Fokus auf Qualität, Beobachtbarkeit und kontinuierliche Verbesserung.

Was Sie tun werden:

• Entwerfen und Implementieren skalierbarer Dateninjektionspipelines für strukturierte und unstrukturierte Datenquellen, einschließlich Fertigungssystemen, Edge-Geräten und Unternehmensdatenplattformen, um eine konsistente Datenqualität vom Ursprung bis zum Verbrauch sicherzustellen.
• Aufbauen und Pflegen sowohl von Batch- als auch von Streaming-Datenpipelines für Analysen und KI-Anwendungsfälle unter Verwendung cloud-nativer Tools auf Microsoft Azure und/oder AWS.
• Entwerfen und Bereitstellen von REST- oder GraphQL-APIs für Datenressourcen, Endpunkte von Machine-Learning-Modellen und KI-Dienste, um einen zuverlässigen, regulierten Verbrauch durch interne Anwendungen und analytische Systeme zu ermöglichen.
• Implementieren von CI/CD-Praktiken und DataOps-Prinzipien über die Entwicklung und Bereitstellung von Pipelines hinweg, um automatisierte Tests, Versionierung und Release-Management für die Dateninfrastruktur zu unterstützen.
• Sicherstellen von Datenqualität, Herkunft und Beobachtbarkeit über alle Pipelines hinweg, Implementierung von Monitoring und Alarmierung, die Datenprobleme aufdecken, bevor sie die Ergebnisse von KI oder Analysen beeinträchtigen.
• Unterstützen der Integration von Fertigungs- und Edge-Gerätedaten, einschließlich IoT- und OT-Systemen, in die zentrale Datenplattform, um die spezifischen Latenz-, Format- und Volumenherausforderungen von Betriebstechnologieumgebungen zu adressieren.
• Zusammenarbeiten mit Datenwissenschaftlern und KI-Ingenieuren, um Datenflüsse zu entwerfen und zu optimieren, die Modelltraining, Inferenz und Wissensabrufpipelines unterstützen.
• Anwenden von Sicherheitspraktiken bei der Gestaltung aller Pipelines und APIs, einschließlich Zugangskontrolle, Verschlüsselung und Schutz vor Datenlecks, gemäß den Souveränitäts- und Compliance-Standards von Intersnack.
• Beitragen zum Programm zur Förderung der KI-Kompetenz, indem Sie Kollegen unterstützen, die Gesundheit der Datenpipeline, die Standards für Datenqualität und die Rolle zuverlässiger Daten in KI-Ergebnissen zu verstehen.

Wesentliche Fähigkeiten und Erfahrungen:

• Nachgewiesene Erfahrung in der Gestaltung und Implementierung produktionsreifer Datenpipelines unter Verwendung cloud-nativer Dienste auf Microsoft Azure (z.B. Azure Data Factory, Azure Event Hubs, Databricks) und/oder AWS (z.B. AWS Glue, Kinesis, Lake Formation).
• Starke Kenntnisse in mindestens einem Pipeline- oder Transformationsframework (z.B. Apache Spark, dbt, Apache Kafka oder gleichwertig) und einer Skriptsprache wie Python oder Scala.
• Solide praktische Erfahrung mit SQL- und NoSQL-Datenbanken (z.B. PostgreSQL, Cosmos DB, MongoDB oder gleichwertig), einschließlich Datenmodellierung und Abfrageoptimierung für transaktionale und analytische Workloads.
• Erfahrung im Aufbau und in der Pflege von Streaming- und Batch-Pipelines für Analysen und KI-Anwendungen, mit einem Verständnis der Vor- und Nachteile der beiden Ansätze.
• Fähigkeit, REST- oder GraphQL-APIs für Daten- und Modellbereitstellung zu entwerfen und zu implementieren, mit einem Verständnis für API-Versionierung, Dokumentation und Governance.
• Vertrautheit mit DataOps und CI/CD-Praktiken, wie sie im Datenengineering angewendet werden, einschließlich automatisierter Tests, Pipeline-Orchestrierung und Infrastruktur als Code.
• Erfahrung mit Tools zur Datenqualität, Herkunftsverfolgung und Beobachtungsrahmen (z.B. Great Expectations, OpenLineage oder gleichwertig).
• Praktisches Wissen über KI- und Datensicherheitsgrundlagen, einschließlich Datenzugriffskontrollen, Verschlüsselung und Risiken wie Datenexfiltration in Pipeline-Kontexten.
• Bewusstsein für die DSGVO, das EU-KI-Gesetz und die Anforderungen an die EU-Datensouveränität sowie deren Auswirkungen auf das Design der Dateninfrastruktur.
• Ein starkes Beherrschen der gesprochenen und geschriebenen englischen Sprache ist erforderlich; Kenntnisse der deutschen Sprache werden als Vorteil angesehen.

Wertvolle Erfahrungen:

• Erfahrung in der Arbeit mit Fertigungs- oder Betriebstechnologiedatenumgebungen, einschließlich IoT/Edge-Geräte-Datenaufnahme und Zeitreihen-Datenverarbeitung.
• Vertrautheit mit Microsoft Fabric, OneLake oder Azure Purview für das Management einheitlicher Datenplattformen.
• Einblick in MLOps-Praktiken, einschließlich Datenversionierung, Feature-Stores oder Modellüberwachungs-Pipelines.
• Erfahrung mit Terraform oder anderen Tools für Infrastruktur als Code für skalierbare, wiederholbare Bereitstellung von Dateninfrastrukturen.
• Hintergrund in FMCG, Fertigung oder Lieferkette, der Kontext für die typischen betrieblichen Datenherausforderungen in diesen Umgebungen bietet.

Wichtig: Bitte beachten Sie, dass für nicht-EU-Bewerber für diese Position ein gültiges Arbeits- und Aufenthaltsvisum erforderlich ist.