Senior AI Researcher – Pre-training (f/m/d)

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, den europäischen Vorschriften entsprechen und zuverlässig in hochriskanten Umgebungen arbeiten. Wir bauen das in Heidelberg.

Teamkultur

Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl für gemeinsame Ziele ermöglicht. Wir arbeiten eng an komplexen technischen Problemen zusammen, entweder in Paaren oder durch Mob-Programmierung, um herausfordernde Probleme zu lösen.

Über die Rolle

Als Senior AI Researcher im Bereich Pre-Training arbeiten Sie an den zentralen technischen Problemen, die darüber entscheiden, ob das großangelegte Vortraining erfolgreich ist: Architektur, Optimierung, Stabilität und Skalierung. Sie arbeiten an der Schnittstelle von Modellarchitektur, Trainingsdynamik und großangelegtem verteiltem Training und übersetzen empirische Beobachtungen in fundierte Trainingsentscheidungen. Von kleinen Proxy-Experimenten bis hin zu mehrtausend-GPU-Läufen stellen Sie sicher, dass unsere Modelle wie erwartet konvergieren und effizient skalieren.

Wir suchen jemanden, der umfangreiche Forschungserfahrung mit starker Ingenieursfähigkeit kombiniert. Sie sollten in der Lage sein, mathematisch über das Trainingsverhalten nachzudenken, rigorose Experimente zu entwerfen und einen qualitativ hochwertigen Produktionscode aufrechtzuerhalten.

Ihre Verantwortlichkeiten

• Optimierung des Trainingsrezepts: Übernehmen und verbessern Sie zentrale Elemente des Trainingsrezepts, einschließlich Optimierer-Einstellungen, Lernratenpläne, Initialisierung, Regularisierung und andere Entscheidungen, die die Konvergenz, Stabilität und die endgültige Modellqualität wesentlich beeinflussen.
• Skalierungsstrategie und Hyperparameter-Transfer: Entwickeln und validieren Sie Skalierungsstrategien für Modelle und Trainingsrezepte, einschließlich Hyperparameter-Skalierung, Skalierungs-Methodologie und empirischen Skalierungsgesetzen.
• Modellarchitektur-Entwicklung: Entwerfen, implementieren und bewerten Sie architektonische Verbesserungen in PyTorch, mit Fokus auf Trainingsstabilität, Skalierbarkeit, Effizienz im Training und in der Inferenz sowie der Gesamtleistung des Modells.
• Trainingsstabilität und Diagnostik: Untersuchen und beheben Sie Konvergenzprobleme wie Verlustspitzen, Divergenz, Optimiererpathologien oder numerische Instabilität und entwickeln Sie Diagnosen, die die Sichtbarkeit in die Trainingsgesundheit verbessern.
• System-Modell-Co-Design: Arbeiten Sie mit den Teams für Compute Performance, Daten, Evaluierung und Post-Training zusammen, um eine vollständige Pipeline-Ausrichtung über den gesamten Lebenszyklus des Modells sicherzustellen, während Sie die Leistungsanforderungen und Hardwarebeschränkungen (z.B. Speicherbandbreite und Kommunikationstopologie) erfüllen.
• Debugging des verteilten Trainings: Diagnostizieren und beheben Sie komplexe Fehler in großangelegten verteilten Läufen, einschließlich Kommunikationsfehlern, Wettlaufbedingungen, Synchronisationsproblemen und anderen schwer reproduzierbaren Problemen.

Wesentliche Qualifikationen

• Sie sind versiert in Python und bestens mit PyTorch-basierten Trainingsabläufen vertraut.
• Sie haben eine starke Erfolgsbilanz in der Forschung im Bereich maschinelles Lernen und Softwareengineering, die durch ausgelieferte Modelle, wirkungsvolle Open-Source-Beiträge oder veröffentlichte Forschung belegt ist.
• Sie haben eine starke mathematische Grundlage und sind in der Lage, formal über Optimierung, Skalierungsverhalten und Trainingsdynamik nachzudenken.
• Sie verstehen die Trainingsdynamik von Transformatoren, Optimierung und das Verhalten großer verteilter Trainingsjobs tiefgehend.
• Sie können rigorose Experimente entwerfen, klar aus verrauschten Ergebnissen argumentieren und empirische Beobachtungen in robuste Trainingsentscheidungen übersetzen.
• Sie wenden starke Praktiken im Softwareengineering an, einschließlich des Schreibens wartbarer, gut getesteter Codes und der Unterstützung reproduzierbarer Experimentierabläufe.
• Sie sind in der Lage, komplexe Modellarchitekturen effizient und zuverlässig zu implementieren und komplexe Probleme im Modellcode, in den Trainingsdynamiken und in verteilten Systemen zu debuggen.
• Sie arbeiten effektiv innerhalb eines Forschungs- und Ingenieurteams und kommunizieren klar über Ihre Arbeit im Bereich Pre-Training und der breiteren AAR/AA-Organisation.
• Sie sind in der Lage, in Deutschland zu arbeiten und regelmäßig vor Ort in Heidelberg als Teil des Pre-Training-Teams zusammenzuarbeiten.

Bevorzugte Qualifikationen

• Sie haben Erfahrung im Training großer Sprachmodelle (LLMs) oder multimodaler Modelle auf großen GPU-Clustern.
• Sie haben Erfahrung mit verteilten Trainingsframeworks wie torchtitan, Megatron-LM oder DeepSpeed.
• Sie haben Erfahrung mit Skalierungsgesetzen, Hyperparameter-Transfer oder anderen Methoden zur Vorhersage des Verhaltens großangelegter Trainings aus kleineren Experimenten.
• Sie haben Erfahrung in der Diagnose und Verbesserung der Trainingsstabilität in großen Läufen, einschließlich Divergenz, numerischer Instabilität oder Optimiererpathologien.
• Sie haben Erfahrung im Profiling, Debugging oder in der Verbesserung der Leistung großer verteilter Trainingsjobs.
• Sie sind mit sparsamen Trainingsansätzen wie Mixture-of-Experts und den damit verbundenen Systemen und Routing-Abwägungen vertraut.
• Sie haben eine Erfolgsbilanz in der Forschungsexzellenz, die durch Veröffentlichungen in erstklassigen Konferenzen (z.B. NeurIPS, ICML, ICLR), wirkungsvolle Open-Source-Beiträge oder andere bedeutende technische Arbeiten belegt ist.
• Wir verlangen keine vorherige Erfahrung in der Optimierung von Low-Level-Kernen für diese Rolle, schätzen jedoch Neugier auf die Hardware- und Systembeschränkungen, die das Design und das Training von Modellen in großem Maßstab prägen.

Was wir bieten

• Werden Sie Teil einer KI-Revolution!
• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Psychische Gesundheitsunterstützung durch nilo.health
• Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing