Senior AI Researcher - Pre-training (f/m/d)

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, den europäischen Vorschriften entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.

Wir suchen einen Senior AI Researcher, der unserem Pre-Training-Team beitritt und die Architektur und das Training unserer nächsten Generation von Grundlagenmodellen vorantreibt. Wenn Sie begeistert sind von der Gestaltung von inference-effizienten Architekturen, der Optimierung von Trainingsrezepten, die zuverlässig skalieren, und dem Training von Modellen auf einem großen Cluster (tausende von NVIDIA Blackwell GPUs), würden wir uns freuen, von Ihnen zu hören.

Teamkultur

Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl für gemeinsame Ziele ermöglicht. Wir arbeiten eng an komplexen technischen Problemen zusammen, arbeiten in Paaren oder nutzen Mob-Programmierung, um herausfordernde Probleme zu lösen.

Über die Rolle

Als Senior AI Researcher im Pre-Training werden Sie an den zentralen technischen Problemen arbeiten, die darüber entscheiden, ob das großangelegte Vortraining erfolgreich ist: Architektur, Optimierung, Stabilität und Skalierung. Sie werden an der Schnittstelle von Modellarchitektur, Trainingsdynamik und großangelegtem verteiltem Training arbeiten und empirische Beobachtungen in fundierte Trainingsentscheidungen umsetzen. Von kleinen Proxy-Experimenten bis hin zu mehr als tausend GPU-Läufen werden Sie sicherstellen, dass unsere Modelle wie erwartet konvergieren und effizient skalieren.

Wir suchen jemanden, der umfangreiche Forschungserfahrung mit starker Ingenieursfähigkeit kombiniert. Sie sollten in der Lage sein, mathematisch über das Trainingsverhalten nachzudenken, rigorose Experimente zu entwerfen und einen qualitativ hochwertigen Produktionscode zu pflegen. Ihre Arbeit hat hohen Einfluss: Die Trainingsentscheidungen, die Sie treffen, bestimmen direkt die Modellqualität, die Zuverlässigkeit der Ausführung, die Effizienz der Inferenz und wie schnell wir die nächste Generation von Modellen verbessern können. Sie haben direkten Einfluss auf die Modelle, die wir ausliefern.

Ihre Verantwortlichkeiten

• Optimierung des Trainingsrezepts: Besitzen und verbessern Sie zentrale Elemente des Trainingsrezepts, einschließlich Optimierer-Einstellungen, Lernratenpläne, Initialisierung, Regularisierung und andere Entscheidungen, die die Konvergenz, Stabilität und die endgültige Modellqualität wesentlich beeinflussen.
• Skalierungsstrategie und Hyperparameter-Transfer: Entwickeln und validieren Sie Skalierungsstrategien für Modelle und Trainingsrezepte, einschließlich Hyperparameter-Skalierung, Skalierungs-Methodologie und empirischen Skalierungsgesetzen. Sie werden sorgfältig gestaltete Experimente nutzen, um das Verhalten im großen Maßstab aus kleineren Läufen vorherzusagen und die Unsicherheit bei wichtigen Trainingsentscheidungen zu reduzieren.
• Entwicklung der Modellarchitektur: Entwerfen, implementieren und bewerten Sie architektonische Verbesserungen in PyTorch, mit Fokus auf Trainingsstabilität, Skalierbarkeit, Effizienz im Training und in der Inferenz sowie der Gesamtleistung des Modells.
• Trainingsstabilität und Diagnostik: Untersuchen und beheben Sie Konvergenzprobleme wie Verlustspitzen, Divergenz, Optimiererpathologien oder numerische Instabilität und entwickeln Sie Diagnosen, die die Sichtbarkeit in die Trainingsgesundheit verbessern.
• System-Modell-Co-Design: Arbeiten Sie mit den Teams für Compute Performance, Daten, Evaluierung und Nachtraining zusammen, um eine vollständige Pipeline-Ausrichtung über den gesamten Lebenszyklus des Modells sicherzustellen, während Sie die Leistungsanforderungen und Hardwarebeschränkungen (z.B. Speicherbandbreite und Kommunikationstopologie) erfüllen.
• Debugging des verteilten Trainings: Diagnostizieren und beheben Sie komplexe Fehler in großangelegten verteilten Läufen, einschließlich Kommunikationsfehlern, Race Conditions, Synchronisationsproblemen und anderen schwer reproduzierbaren Problemen.

Wesentliche Qualifikationen

• Sie sind versiert in Python und bestens vertraut mit PyTorch-basierten Trainingsabläufen.
• Sie haben eine starke Erfolgsbilanz in der Forschung im Bereich maschinelles Lernen und Softwareengineering, die durch ausgelieferte Modelle, wirkungsvolle Open-Source-Beiträge oder veröffentlichte Forschung belegt ist.
• Sie haben eine starke mathematische Grundlage und sind in der Lage, formal über Optimierung, Skalierungsverhalten und Trainingsdynamik nachzudenken.
• Sie verstehen die Trainingsdynamik von Transformern, Optimierung und das Verhalten großer verteilter Trainingsjobs tiefgehend.
• Sie können rigorose Experimente entwerfen, klar aus verrauschten Ergebnissen argumentieren und empirische Beobachtungen in robuste Trainingsentscheidungen umsetzen.
• Sie wenden starke Praktiken im Softwareengineering an, einschließlich der Erstellung wartbarer, gut getesteter Codes und der Unterstützung reproduzierbarer Experimentierabläufe.
• Sie sind in der Lage, komplexe Modellarchitekturen effizient und zuverlässig zu implementieren und komplexe Probleme im Modellcode, in den Trainingsdynamiken und in verteilten Systemen zu debuggen.
• Sie arbeiten effektiv innerhalb eines Forschungs- und Ingenieurteams und kommunizieren klar über Ihre Arbeit im Pre-Training und der breiteren AAR/AA-Organisation.
• Sie sind in der Lage, in Deutschland zu arbeiten und regelmäßig vor Ort in Heidelberg als Teil des Pre-Training-Teams zusammenzuarbeiten.

Bevorzugte Qualifikationen

• Sie haben Erfahrung im Training großer Sprachmodelle (LLMs) oder multimodaler Modelle auf großen GPU-Clustern.
• Sie haben Erfahrung mit verteilten Trainingsframeworks wie torchtitan, Megatron-LM oder DeepSpeed.
• Sie haben Erfahrung mit Skalierungsgesetzen, Hyperparameter-Transfer oder anderen Methoden zur Vorhersage des Verhaltens im großen Maßstab aus kleineren Experimenten.
• Sie haben Erfahrung in der Diagnose und Verbesserung der Trainingsstabilität in großen Läufen, einschließlich Divergenz, numerischer Instabilität oder Optimiererpathologien.
• Sie haben Erfahrung im Profiling, Debugging oder in der Verbesserung der Leistung großer verteilter Trainingsjobs.
• Sie sind mit sparsamen Trainingsansätzen wie Mixture-of-Experts und den damit verbundenen System- und Routing-Abwägungen vertraut.
• Sie haben eine Erfolgsbilanz in der Forschungsexzellenz, die durch Veröffentlichungen in erstklassigen Konferenzen (z.B. NeurIPS, ICML, ICLR), wirkungsvolle Open-Source-Beiträge oder andere bedeutende technische Arbeiten belegt ist.
• Wir verlangen keine vorherige Erfahrung in der Optimierung von Low-Level-Kernen für diese Rolle, schätzen jedoch Neugier auf die Hardware- und Systembeschränkungen, die das Design und das Training von Modellen im großen Maßstab prägen.

Was wir bieten

• Werden Sie Teil einer KI-Revolution!
• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Psychische Gesundheitsunterstützung durch nilo.health
• Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing