Senior AI Engineer – Pre-training Data (f/m/d)

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthaft an der Vortraining von Fundamentmodellen arbeitet. Unsere Kunden - in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung - benötigen Modelle, die Deutsch verstehen, die europäischen Vorschriften entsprechen und zuverlässig in kritischen Anwendungen funktionieren. Wir bauen das in Heidelberg auf.

Wir erweitern unser Pre-Training-Team und suchen jemanden, der leidenschaftlich an Daten arbeitet: Definieren, was in unsere Modelle eingeht, Systeme aufbauen, die diese beschaffen und vorbereiten, und sicherstellen, dass unser Trainingsteam die hochwertigsten Daten hat, um die Modellfähigkeiten voranzutreiben.

Teamkultur

Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle

Als Senior AI Engineer im Bereich Pre-Training Data arbeiten Sie über den gesamten Stack der Datenvorbereitung hinweg - von der Beschaffung und Akquisition bis hin zu Verarbeitung, Filterung und Mischungsdesign. Einige Wochen werden Sie tief in die Datenqualitätsanalyse eintauchen, um zu verstehen, was ein Korpus wertvoll macht und wie seine Zusammensetzung die Leistung bei öffentlichen und maßgeschneiderten Bewertungsaufgaben beeinflusst. In anderen Wochen optimieren Sie großangelegte Verarbeitungs-Pipelines oder bauen Werkzeuge, die dem Team Einblick geben, worauf unsere Modelle tatsächlich trainiert werden. Und einige Wochen lesen Sie die neuesten Forschungen zu Methoden des Vortrainings von Daten und übersetzen die Erkenntnisse in Experimente, die Sie gegen unseren Stack durchführen können.

Wir gehen datenbezogene Arbeiten evidenzbasiert an. Entscheidungen über Filterstrategien, Datenmischungen und Qualitätsstandards werden durch Ablationen unterstützt - Sie entwerfen und führen gezielte Experimente durch, um zu validieren, dass Ihre Datenentscheidungen tatsächlich die Ergebnisse des Modells verbessern.

Wir suchen jemanden, der signifikante Forschungserfahrung (in der Industrie oder der Wissenschaft) mit hoher Ingenieurskompetenz kombiniert. Ihre Arbeit hat hohen Einfluss: Die Daten, die Sie beschaffen, kuratieren und synthetisieren, bestimmen direkt, was unsere Modelle lernen, wie gut sie abschneiden und wo sie Schwächen aufweisen. Sie haben direkten Einfluss auf die Modelle, die wir ausliefern.

Ihre Verantwortlichkeiten

• Co-Ownership der Datenpipelines von Anfang bis Ende: Entwerfen, Bauen und Warten der Infrastruktur, die vortrainierte Korpora in großem Maßstab beschafft, verarbeitet, dedupliziert, filtert und vorbereitet.
• Datenmischungen kuratieren und zusammenstellen: Definieren und Iterieren der Datenmischungen, die für das Vortraining verwendet werden - Ausbalancieren von Domänen, Sprachen, Qualitätsstufen und Lizenzanforderungen zur Maximierung der Modellfähigkeit.
• Werkzeuge zur Datenqualität aufbauen: Entwickeln von Klassifizierern, Heuristiken und Analyseframeworks, die die Datenqualität über Terabyte große Korpora messen und durchsetzen.
• Datenlücken schließen: Mit Evaluierungs- und Nachtrainingsteams zusammenarbeiten, um zu identifizieren, wo Modellschwächen auf Datenabdeckung zurückzuführen sind, und dann die benötigten Daten beschaffen oder generieren.
• Mit dem Nachtraining zusammenarbeiten: Eng mit dem Nachtrainingsteam zusammenarbeiten, um sicherzustellen, dass die Entscheidungen zu den Vortrainingsdaten die nachgelagerten Feinabstimmungs-, Ausrichtungs- und Bereitstellungsziele unterstützen.
• Co-Ownership der deutschsprachigen Daten: Sicherstellen einer tiefen, hochwertigen Abdeckung deutscher Korpora - dies ist zentral für unser Wertversprechen, nicht nur eine nachträgliche Überlegung.
• Signal von Daten zu Leistung etablieren: Entwerfen und Durchführen von Ablationsstudien zur Validierung von Datenentscheidungen - Messen, wie Änderungen in der Zusammensetzung, Filterung oder Beschaffung die Evaluierungsmetriken des Vortrainings und die nachgelagerten Fähigkeiten beeinflussen.
• Daten-Transparenz ernst nehmen: Datenherkunft und -provenienz aufrechterhalten, damit das Team genau weiß, was in jeden Trainingslauf eingeflossen ist.

Ihr Profil

Grundlegende Qualifikationen

• Nachweisbare Erfolge bei der Bereitstellung von wirkungsvoller technischer Arbeit - sei es Forschung, Infrastruktur oder beides.
• Starke Python-Kenntnisse und Vertrautheit mit Datenengineering und ML-Infrastruktur, einschließlich Erfahrung mit Deep-Learning-Frameworks, Workflow-Orchestrierung, Objektspeicherung, spaltenbasierten Datenformaten und verteiltem Processing.
• Fähigkeit, darüber nachzudenken, was ein Datensatz zum Modelltraining beiträgt und ob es wichtig ist - nicht nur Daten verarbeiten, sondern sie auch verstehen.
• Eigenverantwortung: Sie sehen Probleme von der Diagnose bis zur Lösung und Bereitstellung durch.
• Bereitschaft, nach Heidelberg umzuziehen oder mindestens alle zwei Wochen zu reisen.

Bevorzugte Qualifikationen

• Erfahrung mit der großangelegten Datenverarbeitung für ML, einschließlich Korpusbeschaffung, -kuratierung, -reinigung, -deduplizierung und -filterung.
• Vertrautheit mit Methoden zur Datenqualität: klassifizierungsbasierte Filterung, heuristische Bewertung, perplexitätsbasierte Auswahl und Dekontamination.
• Verständnis des Trainings von Fundamentmodellen - wie Datenzusammensetzung, -größe und Mischungsverhältnisse die Fähigkeiten beeinflussen.
• Erfahrung mit webskalierter Datenbeschaffung und Crawling-Verarbeitung (z.B. Common Crawl, WARC-Pipelines).
• Rust-Kenntnisse (Teile unserer Datenpipeline sind leistungs-kritisch).
• Infrastrukturwissen - Erfahrung mit Kubernetes, Container-Orchestrierung oder cloud-nativer ML-Infrastruktur.
• PhD in Maschinenlernen, NLP, Datenengineering oder einem verwandten Bereich (geschätzt, aber nicht erforderlich - uns interessiert, was Sie tun können).
• Bonus, aber nicht erforderlich: Deutschkenntnisse können hilfreich sein, um deutsche Daten zu kuratieren und zu bewerten.

Vergütung und Vorteile

Werden Sie Teil einer KI-Revolution!

• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Unterstützung der psychischen Gesundheit durch nilo.health
• Substantielle Subventionierung der betrieblichen Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad® Fahrrad-Leasing