Software Engineer, Data Platform

Über die Gelegenheit: Sie werden Teil eines hochwirksamen Teams, das die Datenplattform betreut und weiterentwickelt, die unsere KI-Pipelines antreibt. Dies ist eine Allrounder-Rolle, die Backend-Entwicklung, Datenengineering, Infrastruktur und leichte Frontend-Arbeiten kombiniert. Ihre Arbeit wird die Ingestion-Schicht, Transformations-Workflows und das Warehouse selbst umfassen: Entwurf robuster Pipelines, Aufbau sicherer APIs und Erstellung von Diensten, die unsere Datensätze zuverlässig, auffindbar und bereit für das Training in großem Maßstab machen. Sie werden auch eine Schlüsselrolle bei der Neugestaltung bestehender Systeme in generische, wiederverwendbare Komponenten spielen, um von Punktlösungen zu einer Datenplattform überzugehen, die mehrere Programme bedienen kann, ohne jedes Mal neu aufgebaut zu werden.

Sie werden ein wichtiger Beitrag zur Infrastruktur sein, die unsere Machine-Learning-Modelle in der Produktion speist und überwacht: Sicherstellen, dass Daten nahtlos fließen, Dienste zuverlässig laufen und Governance-Standards niemals kompromittiert werden. Jede Lösung, die Sie erstellen, wird den höchsten Sicherheitsstandards und strengen Prinzipien der Datenverwaltung folgen, um sicherzustellen, dass sensible biometrische Daten mit äußerster Sorgfalt behandelt werden. Diese Rolle ist vor Ort 5 Tage/Woche und befindet sich in unserem Münchener Büro.

Hauptverantwortlichkeiten:

• Entwerfen und Betreiben automatisierter Datenqualitäts-Pipelines mit menschlichen Überprüfungsphasen, die automatisierte Prüfungen mit strukturierten Labeling-Workflows kombinieren, um zu bestimmen, ob die aufgenommenen Daten die Akzeptanzkriterien erfüllen.
• Entwickeln und Verfeinern von Transformationsprozessen, um saubere, gut strukturierte Datensätze bereitzustellen, die bereit für Analysen, Modelltraining und -bewertung sind: produktionsreif, mit starken Schema-Verträgen.
• Instrumentieren von Systemen mit Metriken, Alarmen und Wiederherstellungsmechanismen sowie Aufbau interner Tools und Dashboards, die die Gesundheit von Datensätzen, den Status von Pipelines und betriebliche Metriken für Ingenieure und Stakeholder sichtbar machen.
• Erstellen von APIs und Backend-Diensten, die sicheren, leistungsfähigen Zugriff auf große Datensätze bieten und dabei strenge Governance- und Datenschutzkontrollen einhalten.
• Steigerung der Ingenieurstandards durch Verbesserung von CI/CD-Pipelines, Integrationstests und Abhängigkeitsmanagement.
• Verantwortung für den Lebenszyklus kritischer Datenressourcen, einschließlich Nachverfolgung der Herkunft, Zugriffskontrolle und Durchsetzung von Schemata.

Sie werden sowohl mit strukturierten als auch mit semi-strukturierten Daten arbeiten und SQL-basierte Plattformen wie Snowflake mit NoSQL-Quellen wie MongoDB kombinieren. Sie werden robuste Pipelines erstellen, die Versionierung, Schema-Evolution behandeln und GDPR-konform sind.

Über Sie:

• 5+ Jahre Erfahrung in Python, mit Erfahrung im Aufbau von Produktionsdiensten.
• Starke Grundlagen im Systemdesign, mit Erfahrung in der Weiterentwicklung bestehender Systeme hin zu generischen, wiederverwendbaren Designs.
• Erfahrung im Entwerfen und Erstellen von APIs mit Sicherheits- und Leistungsanforderungen.
• Vertraut mit Containerisierung und Orchestrierungstools wie Docker und Kubernetes.
• Erfahren mit AWS-Diensten (S3, KMS, IAM) und Terraform für Infrastruktur als Code.
• Fähig im Entwerfen und Betreiben von Datenaufnahme- und Transformations-Workflows, mit Erfahrung in Snowflake oder anderen SQL-basierten Analyseplattformen.
• Vertraut mit CI/CD-Pipelines und Versionskontrollpraktiken, idealerweise mit GitHub Actions oder ähnlichen Tools.
• Engagiert für den Aufbau von Systemen, die sicher, beobachtbar sind und strengen Prinzipien der Datenverwaltung folgen.
• Besessen von Zuverlässigkeit, Beobachtbarkeit und Datenverwaltung, kümmern Sie sich tief um Protokolle, Metriken und Rückverfolgbarkeit.
• Erfahrung mit strukturiertem Logging, Metrik-Instrumentierung und Alarmierung.
• Starke Grundlagen in Datenmodellierung, Schema-Design und rückwärtskompatibler Schema-Evolution.
• Vertraut mit NoSQL-Systemen wie MongoDB, insbesondere beim Aufbau von Aufnahme-Frameworks, Verwaltung der Schema-Evolution oder Integration von Change Streams in ETL-Pipelines.
• Kenntnisse über Datenpartitionierungsstrategien und Optimierung großer Datensätze für Analysen und ML.
• Erfahrung mit ereignisgesteuerten Datenpipelines unter Verwendung von SQS, SNS, Lambda oder Step Functions.

Schön zu haben:

• Kenntnisse in Go.
• Vertrautheit mit Annotation- oder Labeling-Workflows und -Tools.
• Erfahrung mit Überwachungs- und Alarmierungsstacks wie Datadog oder Prometheus.
• Kenntnisse in Rust oder Interesse daran, es zu lernen.