Senior AI Engineer – Pre-training Data (f/m/d)

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, die europäischen Vorschriften entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.

Wir erweitern unser Vortrainingsteam und suchen jemanden, der leidenschaftlich an Daten arbeitet: Definieren, was in unsere Modelle eingeht, Systeme aufbauen, die diese beschaffen und vorbereiten, und sicherstellen, dass unser Trainingsteam die qualitativ hochwertigsten Daten hat, um die Modellfähigkeiten voranzutreiben.

Teamkultur

Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle

Als Senior AI Engineer im Bereich Vortraining Daten werden Sie über den gesamten Stack der Datenvorbereitung arbeiten – von der Beschaffung und Akquisition bis hin zu Verarbeitung, Filterung und Mischungsdesign. Einige Wochen werden Sie tief in die Datenqualitätsanalyse eintauchen, um zu verstehen, was ein Korpus wertvoll macht und wie seine Zusammensetzung die Leistung bei öffentlichen und maßgeschneiderten Bewertungsaufgaben beeinflusst. In anderen Wochen optimieren Sie großangelegte Verarbeitungs-Pipelines oder bauen Werkzeuge, die dem Team Einblick geben, worauf unsere Modelle tatsächlich trainiert werden. Und einige Wochen werden Sie die neuesten Forschungen zu Methoden des Vortrainings von Daten lesen und Erkenntnisse in Experimente umsetzen, die Sie gegen unseren Stack durchführen können.

Wir gehen datenbezogene Arbeiten evidenzbasiert an. Entscheidungen über Filterstrategien, Datenmischungen und Qualitätsstandards werden durch Ablationen unterstützt – Sie entwerfen und führen gezielte Experimente durch, um zu validieren, dass Ihre Datenentscheidungen tatsächlich die Ergebnisse des Modells verbessern.

Wir suchen jemanden, der umfangreiche Forschungserfahrung (in der Industrie oder der Wissenschaft) mit hoher Ingenieurskompetenz kombiniert. Ihre Arbeit hat hohen Einfluss: Die Daten, die Sie beschaffen, kuratieren und synthetisieren, bestimmen direkt, was unsere Modelle lernen, wie gut sie abschneiden und wo sie Schwächen aufweisen. Sie haben direkten Einfluss auf die Modelle, die wir ausliefern.

Ihre Verantwortlichkeiten

• Co-Ownership von Datenpipelines von Ende zu Ende: Entwerfen, Bauen und Warten der Infrastruktur, die vortrainierte Korpora in großem Maßstab beschafft, verarbeitet, dedupliziert, filtert und vorbereitet.
• Eigentum an der Umwandlung von kuratierten Korpora in trainingsbereite Streaming-Formate.
• Datenmischungen kuratieren und komponieren: Definieren und Iterieren der Datenmischungen, die für das Vortraining verwendet werden – Ausbalancieren von Domänen, Sprachen, Qualitätsstufen und Lizenzanforderungen zur Maximierung der Modellfähigkeit.
• Datenqualitätswerkzeuge aufbauen: Entwickeln von Klassifikatoren, Heuristiken und Analyseframeworks, die die Datenqualität über Terabyte-große Korpora messen und durchsetzen.
• Pipeline-Gesundheit und Datenqualitätsmetriken im großen Maßstab überwachen.
• Datenlücken schließen: Mit Evaluierungs- und Nachtrainingsteams zusammenarbeiten, um zu identifizieren, wo Modellschwächen auf Datenabdeckung zurückzuführen sind, und dann die benötigten Daten beschaffen oder generieren.
• Mit dem Nachtraining zusammenarbeiten: Eng mit dem Nachtrainingsteam zusammenarbeiten, um sicherzustellen, dass die Entscheidungen über Vortrainingsdaten die Ziele der Feinabstimmung, Ausrichtung und Bereitstellung unterstützen – Datenentscheidungen upstream prägen, was downstream möglich ist.
• Co-Ownership von deutschsprachigen Daten: Sicherstellen einer tiefen, hochwertigen Abdeckung deutscher Korpora – dies ist zentral für unser Wertversprechen, nicht nur eine nachträgliche Überlegung.
• Signal von Daten zu Leistung etablieren: Ablationsstudien entwerfen und durchführen, um Datenentscheidungen zu validieren – messen, wie Änderungen in der Zusammensetzung, Filterung oder Beschaffung die Evaluierungsmetriken des Vortrainings und die Fähigkeiten downstream beeinflussen.
• Daten-Transparenz ernst nehmen: Datenherkunft und -provenienz aufrechterhalten, damit das Team genau weiß, was in jeden Trainingslauf eingeflossen ist.

Ihr Profil

Grundlegende Qualifikationen

• Erfolgreiche Umsetzung von wirkungsvoller technischer Arbeit – sei es Forschung, Infrastruktur oder beides.
• Starke Python-Kenntnisse und Vertrautheit mit Datenengineering und ML-Infrastruktur, einschließlich Erfahrung mit Deep-Learning-Frameworks, Workflow-Orchestrierung, Objektspeicherung, spaltenbasierten Datenformaten und verteiltem Processing.
• Fähigkeit, darüber nachzudenken, was ein Datensatz zum Modelltraining beiträgt und ob es wichtig ist – nicht nur Daten verarbeiten, sondern sie auch verstehen.
• Eigenverantwortung: Sie sehen Probleme von der Diagnose bis zur Lösung und Bereitstellung durch.
• Bereitschaft, nach Heidelberg umzuziehen oder mindestens alle zwei Wochen zu reisen.

Bevorzugte Qualifikationen

• Erfahrung mit der großangelegten Datenverarbeitung für ML, einschließlich Korpusbeschaffung, -kuratierung, -reinigung, -deduplizierung und -filterung.
• Vertrautheit mit Methoden zur Datenqualität: klassifikatorbasierte Filterung, heuristische Bewertung, perplexitätsbasierte Auswahl und Dekontamination.
• Verständnis des Trainings von Grundlagenmodellen – wie Datenzusammensetzung, -größe und Mischungsverhältnisse die Fähigkeiten beeinflussen.
• Erfahrung mit webskalierter Datenbeschaffung und Crawl-Verarbeitung (z.B. Common Crawl, WARC-Pipelines).
• Rust-Kenntnisse (Teile unserer Datenpipeline sind leistungs-kritisch).
• Infrastrukturwissen – Erfahrung mit Kubernetes, Container-Orchestrierung oder cloud-nativer ML-Infrastruktur.
• PhD in Maschinenlernen, NLP, Datenengineering oder einem verwandten Bereich (geschätzt, aber nicht erforderlich – uns interessiert, was Sie tun können).
• Bonus, aber nicht erforderlich: Deutschkenntnisse können hilfreich sein, um deutsche Daten zu kuratieren und zu bewerten.

Vergütung und Vorteile

• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Unterstützung der psychischen Gesundheit durch nilo.health
• Substantielle Subventionierung der betrieblichen Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing