Senior AI R&D Engineer – Pre-training Data (f/m/d)

Bei Aleph Alpha sind wir eines der wenigen Unternehmen in Europa, das an der Vorab-Training von Fundamentmodellen arbeitet. Unsere Kunden in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung benötigen Modelle, die Deutsch verstehen, die europäischen Vorschriften entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg.

Teamkultur

Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle

Als Senior AI Engineer im Bereich Vorab-Training Daten werden Sie über den gesamten Stack der Datenvorbereitung arbeiten – von der Beschaffung und Akquisition bis hin zur Verarbeitung, Filterung und Mischungsdesign. Sie werden tief in die Datenqualitätsanalyse eintauchen, bewerten, was ein Korpus wertvoll macht, große Pipelines optimieren, Werkzeuge entwickeln, die dem Team Sichtbarkeit darüber geben, worauf unsere Modelle trainiert werden, und die neuesten Forschungen zu Methoden des Vorab-Trainings von Daten lesen.

Wir gehen datenbasiert an die Arbeit. Entscheidungen über Filterstrategien, Datenmischungen und Qualitätsgrenzen basieren auf Ablationen – Sie werden gezielte Experimente entwerfen und durchführen, um zu validieren, dass Ihre Datenentscheidungen die Ergebnisse des Modells verbessern. Wir suchen jemanden, der signifikante Forschungserfahrung (in der Industrie oder der Wissenschaft) mit hoher Ingenieurskompetenz kombiniert. Ihre Arbeit hat hohen Einfluss: Die Daten, die Sie beschaffen, kuratieren und synthetisieren, bestimmen direkt, was die Modelle lernen, wie gut sie abschneiden und wo sie Schwächen aufweisen. Sie haben direkten Einfluss auf die Modelle, die wir ausliefern.

Ihre Verantwortlichkeiten

• Co-Ownership von Datenpipelines von Ende zu Ende: Entwerfen, Bauen und Warten der Infrastruktur, die Quellen, verarbeitet, dedupliziert, filtert und Vorab-Trainingskorpora in großem Maßstab vorbereitet.
• Eigentum an der Umwandlung von kuratierten Korpora in trainingsbereite Streaming-Formate.
• Datenmischungen kuratieren und komponieren: Definieren und Iterieren der Datenmischungen, die für das Vorab-Training verwendet werden – Ausbalancieren von Domänen, Sprachen, Qualitätsstufen und Lizenzanforderungen zur Maximierung der Modellfähigkeit.
• Datenqualitätswerkzeuge entwickeln: Klassifizierer, Heuristiken und Analyseframeworks entwickeln, die die Datenqualität über Terabyte-große Korpora messen und durchsetzen.
• Pipelines und Datenqualitätsmetriken im großen Maßstab überwachen.
• Datenlücken schließen: Mit Evaluations- und Nachtrainingsteams zusammenarbeiten, um zu identifizieren, wo Modellschwächen auf Datenabdeckung zurückzuführen sind, und dann die benötigten Daten beschaffen oder generieren.
• Eng mit dem Nachtrainingsteam zusammenarbeiten, um sicherzustellen, dass die Entscheidungen über Vorab-Trainingsdaten die nachgelagerten Feinabstimmungs-, Ausrichtungs- und Bereitstellungsziele unterstützen.
• Co-Ownership von deutschsprachigen Daten: Sicherstellen, dass es eine tiefe, qualitativ hochwertige Abdeckung von deutschsprachigen Korpora gibt – dies ist zentral für unser Wertversprechen, nicht nur eine nachträgliche Überlegung.
• Signal von Daten zu Leistung etablieren: Ablationsstudien entwerfen und durchführen, um Datenentscheidungen zu validieren – messen, wie Änderungen in der Zusammensetzung, Filterung oder Beschaffung die Evaluierungsmetriken des Vorab-Trainings und die nachgelagerten Fähigkeiten beeinflussen.
• Daten-Transparenz ernst nehmen: Datenherkunft und -provenienz aufrechterhalten, damit das Team genau weiß, was in jeden Trainingslauf eingeflossen ist.

Ihr Profil

Grundlegende Qualifikationen

• Erfolgreiche technische Arbeiten – Forschung, Infrastruktur oder beides – nachweisbar abgeschlossen.
• Starke Python-Kenntnisse und Vertrautheit mit Datenengineering und ML-Infrastruktur, einschließlich Erfahrung mit Deep-Learning-Frameworks, Workflow-Orchestrierung, Objektspeicherung, spaltenbasierten Datenformaten und verteiltem Processing.
• Fähigkeit, darüber nachzudenken, was ein Datensatz zum Modelltraining beiträgt und ob es wichtig ist – nicht nur Daten verarbeiten, sondern sie auch verstehen.
• Eigenverantwortung: Probleme vom Diagnose bis zur Lösung und Bereitstellung durchsehen.
• Bereitschaft, nach Heidelberg umzuziehen oder mindestens alle zwei Wochen zu reisen.

Bevorzugte Qualifikationen

• Erfahrung mit der Verarbeitung großer Datenmengen für ML – Korpusbeschaffung, -kuratierung, -reinigung, -deduplizierung und -filterung.
• Vertrautheit mit Methoden zur Datenqualität: klassifizierungsbasierte Filterung, heuristische Bewertung, perplexitätsbasierte Auswahl und Dekontamination.
• Verständnis des Trainings von Fundamentmodellen – wie Datenzusammensetzung, -größe und Mischungsverhältnisse die Fähigkeiten beeinflussen.
• Erfahrung mit webskalierten Datenquellen und Crawl-Verarbeitung (Common Crawl, WARC-Pipelines).
• Rust-Kenntnisse – Teile unserer Datenpipeline sind leistungs-kritisch.
• Infrastrukturwissen – Erfahrung mit Kubernetes, Container-Orchestrierung oder cloud-nativer ML-Infrastruktur.
• PhD in Maschinenlernen, NLP, Datenengineering oder einem verwandten Bereich (geschätzt, aber nicht erforderlich).
• Bonus: Deutschkenntnisse können hilfreich sein, um deutschsprachige Daten zu kuratieren und zu bewerten.

Vergütung und Leistungen

Werden Sie Teil einer KI-Revolution! 30 Tage bezahlter Urlaub. Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub. Unterstützung der psychischen Gesundheit durch nilo.health. Substantielle Altersvorsorge, die vom Unternehmen subventioniert wird. Subventioniertes deutschlandweites Verkehrsticket. Budget für zusätzliche technische Ausrüstung. Flexible Arbeitszeiten und hybrides Arbeitsmodell. Virtuelles Aktienoptionsprogramm. JobRad Fahrrad-Leasing.