Senior AI Researcher - Pre-training (f/m/d)

Unsere Mission: Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, europäischen regulatorischen Anforderungen entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.

Wir suchen einen Senior AI Researcher, der unserem Pre-training-Team beitritt und die Architektur und das Training unserer nächsten Generation von Grundlagenmodellen vorantreibt. Wenn Sie begeistert sind von der Gestaltung von inference-effizienten Architekturen, der Optimierung von Trainingsrezepten, die zuverlässig skalieren, und dem Training von Modellen auf einem großen Cluster (tausende von NVIDIA Blackwell GPUs), würden wir uns freuen, von Ihnen zu hören.

Teamkultur: Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht. Wir arbeiten eng an komplexen technischen Problemen zusammen, arbeiten in Paaren oder nutzen Mob-Programmierung, um herausfordernde Probleme zu lösen.

Über die Rolle: Als Senior AI Researcher im Pre-training werden Sie an den zentralen technischen Problemen arbeiten, die darüber entscheiden, ob das großangelegte Vortraining erfolgreich ist: Architektur, Optimierung, Stabilität und Skalierung. Sie werden an der Schnittstelle von Modellarchitektur, Trainingsdynamik und großangelegtem verteiltem Training arbeiten und empirische Beobachtungen in fundierte Trainingsentscheidungen umsetzen. Von kleinen Proxy-Experimenten bis hin zu Multi-Thousand-GPU-Läufen werden Sie sicherstellen, dass unsere Modelle wie erwartet konvergieren und effizient skalieren.

Wir suchen jemanden, der umfangreiche Forschungserfahrung mit starker Ingenieursfähigkeit kombiniert. Sie sollten in der Lage sein, mathematisch über das Trainingsverhalten zu argumentieren, rigorose Experimente zu entwerfen und einen qualitativ hochwertigen Produktionscode zu pflegen.

Ihre Verantwortlichkeiten:

• Training Recipe Optimisation: Besitzen und verbessern Sie zentrale Elemente des Trainingsrezepts, einschließlich Optimierer-Einstellungen, Lernratenpläne, Initialisierung, Regularisierung und andere Entscheidungen, die die Konvergenz, Stabilität und die endgültige Modellqualität wesentlich beeinflussen.
• Scaling Strategy and Hyperparameter Transfer: Entwickeln und validieren Sie Skalierungsstrategien für Modelle und Trainingsrezepte, einschließlich Hyperparameter-Skalierung, Scale-up-Methodik und empirische Skalierungsgesetze.
• Model Architecture Development: Entwerfen, implementieren und bewerten Sie architektonische Verbesserungen in PyTorch, mit Fokus auf Trainingsstabilität, Skalierbarkeit, Effizienz im Training und Inferenz sowie Gesamtmodellleistung.
• Training Stability and Diagnostics: Untersuchen und beheben Sie Konvergenzprobleme wie Verlustspitzen, Divergenz, Optimiererpathologien oder numerische Instabilität und entwickeln Sie Diagnosen, die die Sichtbarkeit in die Trainingsgesundheit verbessern.
• System-Model Co-Design: Arbeiten Sie mit den Teams für Compute Performance, Daten, Evaluierung und Post-Training zusammen, um eine vollständige Pipeline-Ausrichtung über den gesamten Modelllebenszyklus hinweg sicherzustellen, während Sie Leistungsanforderungen und Hardwarebeschränkungen (z.B. Speicherbandbreite und Kommunikationstopologie) erfüllen.
• Distributed Training Debugging: Diagnostizieren und beheben Sie komplexe Fehler in großangelegten verteilten Läufen, einschließlich Kommunikationsfehlern, Race Conditions, Synchronisationsproblemen und anderen schwer reproduzierbaren Problemen.

Core Qualifications:

• Sie sind versiert in Python und bestens mit PyTorch-basierten Trainingsabläufen vertraut.
• Sie haben eine starke Erfolgsbilanz in der maschinellen Lernforschung und Softwareentwicklung, die durch ausgelieferte Modelle, wirkungsvolle Open-Source-Beiträge oder veröffentlichte Forschung nachgewiesen wird.
• Sie haben eine starke mathematische Grundlage und sind in der Lage, formal über Optimierung, Skalierungsverhalten und Trainingsdynamik zu argumentieren.
• Sie verstehen tiefgehend die Trainingsdynamik von Transformatoren, Optimierung und das Verhalten großer verteilter Trainingsjobs.
• Sie können rigorose Experimente entwerfen, klar aus verrauschten Ergebnissen argumentieren und empirische Beobachtungen in robuste Trainingsentscheidungen umsetzen.
• Sie wenden starke Software-Engineering-Praktiken an, einschließlich der Erstellung wartbarer, gut getesteter Codes und der Unterstützung reproduzierbarer Experimentierabläufe.
• Sie sind in der Lage, komplexe Modellarchitekturen effizient und zuverlässig zu implementieren und komplexe Probleme im Modellcode, in den Trainingsdynamiken und in verteilten Systemen zu debuggen.
• Sie arbeiten effektiv innerhalb eines Forschungs- und Ingenieurteams und kommunizieren klar über Ihre Arbeit im Pre-training und der breiteren AAR/AA-Organisation.
• Sie sind in der Lage, in Deutschland zu arbeiten und regelmäßig vor Ort in Heidelberg als Teil des Pre-training-Teams zusammenzuarbeiten.

Bevorzugte Qualifikationen:

• Sie haben Erfahrung im Training großer Sprachmodelle (LLMs) oder multimodaler Modelle auf großen GPU-Clustern.
• Sie haben Erfahrung mit verteilten Trainingsframeworks wie torchtitan, Megatron-LM oder DeepSpeed.
• Sie haben Erfahrung mit Skalierungsgesetzen, Hyperparameterübertragung oder anderen Methoden zur Vorhersage des Verhaltens großangelegter Trainings aus kleineren Experimenten.
• Sie haben Erfahrung in der Diagnose und Verbesserung der Trainingsstabilität in großen Läufen, einschließlich Divergenz, numerischer Instabilität oder Optimiererpathologien.
• Sie haben Erfahrung im Profiling, Debugging oder in der Verbesserung der Leistung großer verteilter Trainingsjobs.
• Sie sind mit sparsamen Trainingsansätzen wie Mixture-of-Experts und den damit verbundenen System- und Routing-Abwägungen vertraut.
• Sie haben eine Erfolgsbilanz in der Forschungsexzellenz, die durch Veröffentlichungen in erstklassigen Konferenzen (z.B. NeurIPS, ICML, ICLR), wirkungsvolle Open-Source-Beiträge oder andere bedeutende technische Arbeiten nachgewiesen wird.

Wir verlangen keine vorherige Erfahrung in der Low-Level-Kernel-Optimierung für diese Rolle, schätzen jedoch Neugier auf die Hardware- und Systembeschränkungen, die das Design und das Training von Modellen in großem Maßstab prägen.

Was wir bieten: Werden Sie Teil einer KI-Revolution! 30 Tage bezahlter Urlaub, Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub, psychologische Unterstützung durch nilo.health, erheblich subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit, subventioniertes deutschlandweites Verkehrsticket, Budget für zusätzliche technische Ausrüstung, flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell, Virtual Stock Option Plan, JobRad® Fahrrad-Leasing.