Senior AI Researcher - Pre-training Data

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, den europäischen Vorschriften entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.

Wir erweitern unser Vortrainingsteam und suchen jemanden, der leidenschaftlich an Daten arbeitet: definiert, was in unsere Modelle eingeht, baut die Systeme, die diese beschaffen und vorbereiten, und stellt sicher, dass unser Trainingsteam die qualitativ hochwertigsten Daten hat, um die Modellfähigkeiten voranzutreiben.

Teamkultur

Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl von gemeinsamem Zweck ermöglicht.

Über die Rolle

Als Senior AI Researcher für Vortraining Daten werden Sie die zugrunde liegende wissenschaftliche Methodik hinter unseren Vortraining-Korpora gestalten und verbessern, während Sie auch die Software und Systeme mitentwickeln, die dies ermöglichen. Sie arbeiten mit Ingenieuren und anderen Forschern zusammen, um skalierbare Pipelines zu erstellen, und konzentrieren sich auf relevante theoretische und empirische Forschung, um zu verstehen, welche Daten die Modelle am besten auf unsere angestrebten Fähigkeiten bringen.

Diese Rolle ist für Sie geeignet, wenn Sie über einen starken Hintergrund im großangelegten Sprachmodellieren verfügen und den wissenschaftlichen Antrieb haben, komplexe Fragen zu Daten-Skalierungsgesetzen, synthetischer Datengenerierung und Curriculum-Lernen zu beantworten.

In Ihrem Alltag werden Sie gezielte Ablationsstudien über verschiedene Skalen entwerfen, Hypothesen aus Trainingsdynamiken ableiten und testen, neuartige Algorithmen zur Schätzung der Datenqualität und zur Durchführung der Datenkuratierung entwickeln sowie zu einer Reihe von Ingenieuraufgaben beitragen, die diese Forschungsrichtungen erleichtern. Zusammen mit einem kollaborativen Team von Ingenieuren und Forschern werden Sie direkten Einfluss auf das grundlegende Wissen und die Fähigkeiten der Modelle haben, die wir bereitstellen. Sie werden auch helfen oder die Erstellung technischer Berichte für interne und externe Leser leiten sowie nach Bedarf an technischen Meetings und Konferenzen teilnehmen und dazu beitragen.

Ihre Verantwortlichkeiten

• Innovation in datenorientierter KI: Bleiben Sie an der Spitze der Grundlagenforschung. Identifizieren, implementieren und iterieren Sie neuartige Ansätze zur Schätzung der Datenqualität, zur synthetischen Datengenerierung, zum Curriculum-Lernen und zu fortgeschrittenen Kuratierungstechniken.
• Daten-zu-Leistung-Wissenschaft: Entwerfen und leiten Sie rigorose Ablationsstudien über verschiedene Skalen. Analysieren Sie systematisch, wie Änderungen in der Datenzusammensetzung, Strategien zur Duplikatseliminierung, heuristische und modellbasierte Kuratierung sowie Skalierungsgesetze die Trainingsdynamik und die Zielmodelle und -systemfähigkeiten beeinflussen.
• Entwicklung neuartiger Qualitätsindikatoren: Gehen Sie über grundlegendes Perplexitätsfiltern hinaus. Forschen und entwickeln Sie fortschrittliche Algorithmen zur Bewertung und Auswahl von Daten, wie Einflussfunktionen, gradientenbasierte Übereinstimmung oder die Verwendung kleinerer Modelle zur Kuratierung von Daten für größere.
• Interdisziplinäre Zusammenarbeit: Arbeiten Sie eng mit einem vielfältigen Team zusammen, um die Forschung von Prototypen zu Pipelines im Trillionen-Tokens-Maßstab zu skalieren, und arbeiten Sie mit dem Nachtrainingsteam zusammen, um sicherzustellen, dass die Vortraining-Verteilungen die gezielte Feinabstimmung und Kundenanpassung effektiv unterstützen.

Ihr Profil

Grundqualifikationen:

• Ein tiefes Verständnis der maschinellen Lernens-Theorie, insbesondere in Bezug auf die Dynamik des Trainings von Grundlagenmodellen, Skalierungsgesetze und datenorientierte KI.
• Erfahrung in der Gestaltung und Bewertung komplexer ML-Experimente im Zusammenhang mit Datenzusammensetzung, Curriculum-Lernen oder Datenqualität beim Training von Sprachmodellen.
• Vertrautheit mit statistischen Methoden zur Bewertung und Versuchsplanung.
• Fähigkeit, über die informationstheoretischen Eigenschaften eines Datensatzes und dessen prädiktive Kraft für bewertete Aufgaben nachzudenken: nicht nur Daten zu verarbeiten, sondern deren Signal zu verstehen.
• Starke Python-Kenntnisse und Vertrautheit mit ML-Tools und Deep-Learning-Frameworks (insbesondere PyTorch).
• Bereitschaft, nach Heidelberg umzuziehen oder mindestens alle zwei Wochen zu reisen.

Bevorzugte Qualifikationen:

• PhD in maschinellem Lernen, NLP oder gleichwertige Forschungserfahrung mit Fokus auf großangelegtes Sprachmodellieren oder Datenkuratierung.
• Eine Geschichte von Beiträgen zu erstklassigen Veranstaltungen (NeurIPS, ICML, ICLR, ACL usw.) speziell in Bezug auf Datenkuratierung, Skalierungsgesetze, synthetische Daten oder LLM-Vortraining.
• Erfahrung im Training von Grundlagenmodellen von Grund auf und Diagnose von datengestützten Trainingspathologien.
• Bonus, aber nicht erforderlich: Deutschkenntnisse können hilfreich sein, um deutsche Sprachdaten zu kuratieren und zu bewerten.

Vergütung und Vorteile:

• Werden Sie Teil einer KI-Revolution!
• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Psychische Gesundheitsunterstützung durch nilo.health
• Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing