Senior AI Researcher - Pre-training Data (m/f/d)

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthaft an der Vortraining von Fundamentmodellen arbeitet. Unsere Kunden - in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung - benötigen Modelle, die Deutsch verstehen, die europäischen Vorschriften entsprechen und zuverlässig in kritischen Anwendungen funktionieren. Wir bauen das in Heidelberg auf.

Wir erweitern unser Pre-Training-Team und suchen jemanden, der leidenschaftlich an Daten arbeitet: Definieren, was in unsere Modelle eingeht, Systeme zu entwickeln, die diese beschaffen und vorbereiten, und sicherzustellen, dass unser Trainingsteam die qualitativ hochwertigsten Daten hat, um die Modellfähigkeiten voranzutreiben.

Teamkultur

Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl des gemeinsamen Zwecks ermöglicht.

Über die Rolle

Als Senior AI Researcher für Pre-training Data werden Sie die zugrunde liegende wissenschaftliche Methodik hinter unseren Pre-Training-Korpora gestalten und verbessern, während Sie auch die Software und Systeme mitentwickeln, die dies ermöglichen. Sie arbeiten mit Ingenieuren und anderen Forschern zusammen, um skalierbare Pipelines zu erstellen, und konzentrieren sich auf relevante theoretische und empirische Forschung, um zu verstehen, welche Daten die Modelle am besten auf unsere Zielkapazitäten bringen. Diese Rolle ist für Sie geeignet, wenn Sie über einen starken Hintergrund im Bereich des großangelegten Sprachmodellings verfügen und den wissenschaftlichen Antrieb haben, komplexe Fragen zu Daten-Skalierungsgesetzen, synthetischer Datengenerierung und Curriculum-Lernen zu beantworten.

Ihre Verantwortlichkeiten

• Innovation in Data-Centric AI: Bleiben Sie an der Spitze der Forschung zu Fundamentmodellen. Sie identifizieren, implementieren und iterieren neuartige Ansätze zur Schätzung der Datenqualität, zur synthetischen Datengenerierung, zum Curriculum-Lernen und zu fortgeschrittenen Kurationsmethoden.
• Data-to-Performance Science: Entwerfen und leiten Sie rigorose Ablationsstudien über verschiedene Skalen. Sie analysieren systematisch, wie Änderungen in der Datenzusammensetzung, Strategien zur Duplikation, heuristische und modellbasierte Kurierung sowie Skalierungsgesetze die Trainingsdynamik und die Zielmodelle und -systemfähigkeiten beeinflussen.
• Entwicklung neuartiger Qualitätsindikatoren: Gehen Sie über grundlegende Perplexitätsfilter hinaus. Forschen und entwickeln Sie fortschrittliche Algorithmen zur Bewertung und Auswahl von Daten, wie Einflussfunktionen, gradientenbasierte Übereinstimmung oder die Verwendung kleinerer Modelle zur Kurierung von Daten für größere.
• Interdisziplinäre Zusammenarbeit: Arbeiten Sie eng mit einem vielfältigen Team zusammen, um Ihre Forschung von Prototypen zu Pipelines im Billionen-Tokens-Maßstab zu skalieren, und arbeiten Sie mit dem Post-Training-Team zusammen, um sicherzustellen, dass die Pre-Training-Verteilungen die gezielte Feinabstimmung und Kundenanpassung effektiv unterstützen.

Ihr Profil

Grundqualifikationen:

• Ein tiefes Verständnis der Theorie des maschinellen Lernens, insbesondere in Bezug auf die Dynamik des Trainings von Fundamentmodellen, Skalierungsgesetze und datenzentriertes KI.
• Erfahrung in der Gestaltung und Bewertung komplexer ML-Experimente im Zusammenhang mit Datenzusammensetzung, Curriculum-Lernen oder Datenqualität beim Training von Sprachmodellen.
• Vertrautheit mit statistischen Methoden zur Bewertung und Versuchsplanung.
• Fähigkeit, über die informationstheoretischen Eigenschaften eines Datensatzes und dessen prädiktive Kraft für bewertete Aufgaben nachzudenken: nicht nur Daten zu verarbeiten, sondern deren Signal zu verstehen.
• Starke Python-Kenntnisse und Vertrautheit mit ML-Tools und Deep-Learning-Frameworks (insbesondere PyTorch).
• Bereitschaft, nach Heidelberg umzuziehen oder mindestens alle zwei Wochen zu reisen.

Bevorzugte Qualifikationen:

• Doktortitel in maschinellem Lernen, NLP oder gleichwertige Forschungserfahrung mit Schwerpunkt auf großangelegtem Sprachmodellieren oder Datenkuratierung.
• Eine Geschichte von Beiträgen zu erstklassigen Veranstaltungen (NeurIPS, ICML, ICLR, ACL usw.) speziell in Bezug auf Datenkuratierung, Skalierungsgesetze, synthetische Daten oder LLM-Vortraining.
• Erfahrung im Training von Fundamentmodellen von Grund auf und Diagnose von dateninduzierten Trainingspathologien.
• Bonus, aber nicht erforderlich: Deutschkenntnisse können hilfreich sein, um deutschsprachige Daten zu kuratieren und zu bewerten.

Vergütung und Leistungen:

• Werden Sie Teil einer KI-Revolution!
• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Unterstützung der psychischen Gesundheit durch nilo.health
• Substantielle Subventionierung der betrieblichen Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad® Fahrrad-Leasing