Auf einen Blick
- Aufgaben: Optimiere KI-Modelle für maximale Effizienz und Leistung in einem dynamischen Team.
- Unternehmen: Aleph Alpha, ein führendes Unternehmen in der KI-Forschung in Heidelberg.
- Vorteile: 30 Tage Urlaub, Fitnessangebote, mentale Gesundheitsunterstützung und flexible Arbeitszeiten.
- Weitere Informationen: Flache Hierarchien und eine Kultur der Eigenverantwortung fördern kreatives Arbeiten.
- Warum dieser Job: Sei Teil einer KI-Revolution und arbeite an innovativen Projekten mit modernster Technologie.
- Qualifikationen: Erfahrung in Python, PyTorch und verteilten Systemen erforderlich.
Das prognostizierte Gehalt liegt zwischen 75000 - 100000 € pro Jahr.
Unsere Mission
Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Vortrainings durchführt. Unsere Kunden - in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung - benötigen Modelle, die Deutsch verstehen, die europäischen regulatorischen Anforderungen entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf. Wir stellen einen Senior AI R&D Engineer mit Schwerpunkt Performance ein, um unser Team für die Effizienz des Vortrainings zu erweitern. Wenn Sie begeistert sind, Modelle schneller zu machen, ist dies die richtige Rolle für Sie!
Teamkultur
Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl für gemeinsame Ziele ermöglicht.
Über die Rolle:
Sie werden die Systeme entwickeln, die erforderlich sind, um Grundlagenmodelle in großem Maßstab zu trainieren. Ihr Ziel ist es, die Hardwareauslastung und den Trainingsdurchsatz auf unseren großen GPU-Clustern (Tausende von NVIDIA Blackwell GPUs) zu maximieren. Sie arbeiten an der Schnittstelle von Deep-Learning-Frameworks, verteilten Systemen und GPU-Mikroarchitekturen und beseitigen Engpässe von der Python-Schicht bis zum GPU-Kernel.
Ihre Verantwortlichkeiten:
- End-to-End-Optimierung: Profilieren von Trainingsschleifen mit PyTorch Profiler, Nsight Systems und Nsight Compute, um System- und Kernel-Engpässe zu identifizieren und den Modell-Durchsatz zu maximieren.
- Verteilte Strategie und Topologie: Konfigurieren und Abstimmen von zusammengesetzten Parallelitätsstrategien (z.B. TP, DP, HSDP/FSDP, EP), Optimierung der Lastenverteilung, Minimierung kritischer Engpässe und Verwaltung von Kommunikations-zu-Berechnungs-Handelsmöglichkeiten für das Training großer LLMs.
- Hardware-bewusste Modellierung: Zusammenarbeit mit KI-Forschern zur Definition von Modellarchitekturen für Hardwareeffizienz, ohne die Konvergenz zu beeinträchtigen.
Ihr Profil
Grundlegende Qualifikationen:
- Sie sind versiert in Python und der PyTorch-Bibliothek.
- Sie haben einen starken Ingenieurhintergrund in parallelen und/oder verteilten Systemen mit nachweislicher Exzellenz.
- Sie haben praktische Erfahrung mit modernen maschinellen Lerntechniken (insbesondere großen Sprachmodellen und ihrem Lebenszyklus).
- Sie verstehen das CUDA-Programmiermodell tiefgehend.
- Sie haben Erfahrung in der verteilten Programmierung mit APIs wie NCCL oder MPI.
- Sie haben Erfahrung in der Analyse von Profilierungsdaten mit Tools wie PyTorch Profiler und Nvidia Nsight.
Bitte beachten Sie, dass diese Rolle regelmäßige persönliche Zusammenarbeit in Heidelberg als Mitglied des Training Efficiency Teams erfordert.
Bevorzugte Qualifikationen:
- Beiträge zu modernen verteilten Trainingsframeworks (z.B. TorchTitan, Megatron-LM, DeepSpeed).
- Vertrautheit mit Low-Precision-Trainingsformaten (MXFP4, MXFP8) und deren Auswirkungen auf numerische Stabilität und Durchsatz.
- Ein tiefes Verständnis der NCCL-Kommunikationsprimitive, NVSHMEM oder CUDA IPC und deren Leistung.
- Eine nachweisliche Erfolgsbilanz bei der Implementierung und Optimierung des Trainings moderner transformerbasierter Modelle.
- Eine nachweisliche Erfolgsbilanz bei der Arbeit an der NVIDIA Blackwell-Architektur.
Vergütung und Vorteile:
- Werden Sie Teil einer KI-Revolution!
- 30 Tage bezahlter Urlaub
- Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
- Psychische Gesundheitsunterstützung über nilo.health
- Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
- Subventioniertes deutschlandweites Verkehrsticket
- Budget für zusätzliche technische Ausrüstung
- Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
- Virtuelles Aktienoptionsprogramm
- JobRad Fahrrad-Leasing
Senior AI R&D Engineer - Performance - Pre-training (f/m/d) Arbeitgeber: Aleph Alpha
Aleph Alpha Research ist ein hervorragender Arbeitgeber, der eine Kultur der Eigenverantwortung und Autonomie fördert. Mit einem flachen Hierarchiemodell und einem unterstützenden Management ermöglicht das Unternehmen schnelle Entscheidungen und offene Kommunikation, was zu einem starken Gemeinschaftsgefühl führt. Die Möglichkeit zur persönlichen und beruflichen Weiterentwicklung sowie die Teilnahme an einer revolutionären AI-Innovation machen Aleph Alpha zu einem attraktiven Arbeitsplatz in Deutschland, insbesondere in den dynamischen Städten Heidelberg und Berlin.
