AI Researcher - Pre-training (f/m/d) in Heidelberg

Unsere Mission

Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings wie unser kürzlich veröffentlichtes Kolibri-1-Modell durchführt. Unsere Kunden - in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung - benötigen Modelle, die Deutsch verstehen, europäischen regulatorischen Anforderungen entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.

Wir suchen einen AI Researcher (f/m/d), der unser Pre-training-Team verstärkt und dazu beiträgt, die Architektur und das Training unserer nächsten Generation von Grundlagenmodellen voranzutreiben. Wenn Sie begeistert sind, wie große Modelle lernen, Experimente durchführen möchten, die direkt in Produktionslauftrainings einfließen, und praktische Erfahrungen mit großangelegten Clustern (Tausende von NVIDIA Blackwell GPUs) sammeln möchten, würden wir uns freuen, von Ihnen zu hören.

Teamkultur

Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht. Wir arbeiten eng an komplexen technischen Problemen zusammen, arbeiten in Paaren oder nutzen Mob-Programmierung, um herausfordernde Probleme zu lösen. Neue Teammitglieder lernen durch echte Arbeit: In den ersten Wochen werden Sie mit erfahrenen Forschern an aktuellen Problemen zusammenarbeiten und im Laufe der Zeit mehr Verantwortung übernehmen.

Über die Rolle

Als AI Researcher im Pre-training (f/m/d) arbeiten Sie an den technischen Hebeln, die den Erfolg unserer nächsten Generation von Modellen bestimmen: Architektur, Optimierung, Stabilität und Skalierung. Sie arbeiten an der Schnittstelle von Forschung und Ingenieurwesen und lernen, mathematische Überlegungen und empirische Beobachtungen in fundierte Trainingsentscheidungen zu übersetzen, von kleinen Proxy-Experimenten bis hin zu Multi-Thousand-GPU-Läufen. Sie beginnen mit gut definierten Problemen zusammen mit erfahrenen Forschern und übernehmen schrittweise die Verantwortung für größere Teile des Trainingsrezepts.

Wir suchen jemanden mit starken Grundlagen, scharfen experimentellen Instinkten, außergewöhnlichen Fähigkeiten und dem Antrieb, schnell tief einzutauchen. Sie lernen ebenso viel aus einem fehlgeschlagenen Lauf wie aus einem Papier, schreiben Code, auf dem andere aufbauen können, und möchten ein Experte im großangelegten Vortraining werden.

Ihre Verantwortlichkeiten

• Rezept & Architektur-Experimente: Entwerfen und Durchführen von Ablationen zu Kernelementen des Trainingsrezepts (Optimierer, Zeitpläne, Initialisierung) und Implementierung von PyTorch-basierten architektonischen Änderungen. Bewerten Sie deren Auswirkungen auf Konvergenz, Stabilität und Trainingseffizienz.
• Skalierungs-Experimente: Durchführen und Analysieren von kleinen Proxy-Experimenten und Mitwirken an den Hyperparameter-Skalierungsgesetzen und Skalierungsmethoden, die wir verwenden, um das Verhalten bei Multi-Thousand-GPU-Skalen vorherzusagen.
• Überwachung & Debugging: Helfen Sie bei der Überwachung großangelegter Trainingsläufe und untersuchen Sie Konvergenzprobleme wie Verlustspitzen und Divergenz. Arbeiten Sie mit dem Team zusammen, um verteilte Trainingsfehler zu identifizieren.
• Forschung in die Praxis: Verfolgen Sie die Literatur, reproduzieren Sie vielversprechende Ergebnisse im kleinen Maßstab und bringen Sie Ideen, die es wert sind, getestet zu werden, ins Team.
• Teamübergreifende Zusammenarbeit: Arbeiten Sie mit den Teams für Compute Performance, Daten, Evaluation und Post-Training zusammen, um zu verstehen, wie Hardwarebeschränkungen und der Rest des Modelllebenszyklus die Vorentscheidungen beeinflussen.

Wesentliche Qualifikationen

• Sie sind versiert in Python und haben praktische Erfahrung mit PyTorch.
• Sie haben eine starke Grundlage im maschinellen Lernen, die durch Forschung (z.B. eine Promotion, eine starke Masterarbeit oder Veröffentlichungen), Open-Source-Beiträge oder umfangreiche berufliche oder persönliche Projekte nachgewiesen wird.
• Sie haben einen soliden mathematischen Hintergrund (lineare Algebra, Wahrscheinlichkeit, Optimierung) und genießen es, formal darüber nachzudenken, warum Modelle so trainieren, wie sie es tun.
• Sie verstehen, wie Transformer funktionieren und haben selbst LLMs von Grund auf trainiert, auch im kleinen Maßstab.
• Sie entwerfen Experimente sorgfältig, berichten ehrlich über rauschige und negative Ergebnisse und können klar erklären, was Ihre Beweise zeigen und was nicht.
• Sie haben eine Erfolgsbilanz darin, sich schnell in unbekannte technische Bereiche einzuarbeiten und tief einzutauchen, z.B. durch die Neimplementierung von Papieren, das Einarbeiten in einen großen neuen Codebestand oder das Debuggen eines Problems außerhalb Ihrer Komfortzone.
• Sie schreiben sauberen, wartbaren Code und legen Wert auf reproduzierbare Experimente.
• Sie kommunizieren klar, sprechen Probleme frühzeitig an und suchen aktiv nach Feedback und handeln entsprechend.

Bevorzugte Qualifikationen

• Verteiltes Training: Erfahrung im Training von Modellen auf Multi-GPU- oder Multi-Node-Setups oder Vertrautheit mit verteilten Frameworks (z.B. Megatron-LM, DeepSpeed, torchtitan) und Parallelitätsstrategien (Daten-, Tensor-, Pipeline-, Experten).
• Training Dynamics: Vertrautheit mit Skalierungsgesetzen, Hyperparameter-Transfer (z.B. µP) oder aktuelle Arbeiten zu Optimierern und Trainingsstabilität.
• Effiziente Architekturen: Erfahrung mit Mixture-of-Experts, effizienten Aufmerksamkeitsvarianten oder anderen inference-effizienten Designs.
• Forschungsausgaben: Veröffentlichungen in erstklassigen Fachzeitschriften (NeurIPS, ICML, ICLR) oder Beiträge zu Open-Source-ML-Trainingsbibliotheken.
• Systeminteresse: Eine tiefgehende Neugier auf die Hardware- und Systembeschränkungen, die die Skalierung prägen, wird sehr geschätzt, auch wenn eine tiefgehende Kernel-Optimierung nicht erforderlich ist.