Auf einen Blick
- Aufgaben: Optimiere KI-Modelle und entwickle innovative Architekturen für die nächste Generation von Foundation Models.
- Unternehmen: Aleph Alpha, ein führendes Unternehmen in der KI-Forschung in Europa.
- Vorteile: 30 Tage Urlaub, Fitnessangebote, mentale Gesundheitsunterstützung und flexible Arbeitszeiten.
- Weitere Informationen: Flache Hierarchien und eine Kultur der Eigenverantwortung fördern kreatives Arbeiten.
- Warum dieser Job: Sei Teil einer KI-Revolution und gestalte die Zukunft der Technologie mit.
- Qualifikationen: Erfahrung in Python, PyTorch und maschinellem Lernen erforderlich.
Das prognostizierte Gehalt liegt zwischen 49500 - 60500 € pro Jahr.
Unsere Mission Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Vortrainings von Fundamentmodellen durchführt. Unsere Kunden – in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung – benötigen Modelle, die Deutsch verstehen, die europäischen regulatorischen Anforderungen entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.
Wir suchen einen Senior AI Researcher, der unserem Pre-training-Team beitritt und die Architektur und das Training unserer nächsten Generation von Fundamentmodellen vorantreibt. Wenn Sie begeistert sind von der Gestaltung von inference-effizienten Architekturen, der Optimierung von Trainingsrezepten, die zuverlässig skalieren, und dem Training von Modellen auf einem großen Cluster (tausende von NVIDIA Blackwell GPUs), würden wir uns freuen, von Ihnen zu hören.
Teamkultur Wir fördern eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl des gemeinsamen Zwecks ermöglicht. Wir arbeiten eng an komplexen technischen Problemen zusammen, arbeiten in Paaren oder nutzen Mob-Programmierung, um herausfordernde Probleme zu lösen.
Über die Rolle Als Senior AI Researcher im Pre-training (f/m/d) besitzen Sie die kritischen technischen Hebel, die den Erfolg unserer nächsten Generation von Modellen bestimmen: Architektur, Optimierung, Stabilität und Skalierung. An der hochwirksamen Schnittstelle von Forschung und Ingenieurwesen übersetzen Sie mathematische Überlegungen und empirische Beobachtungen in fundierte Trainingsentscheidungen - von kleinen Proxy-Experimenten bis hin zu Multi-Thousand-GPU-Läufen. Wir suchen einen Experten, der rigoroses experimentelles Design mit qualitativ hochwertigem Produktionscode kombinieren kann, um direkt die Modellqualität, die Laufzuverlässigkeit und die Effizienz der Modelle, die wir ausliefern, zu beeinflussen.
Ihre Verantwortlichkeiten:
- Rezept- & Architekturoptimierung: Besitzen Sie zentrale Elemente des Trainingsrezepts (Optimierer, Zeitpläne, Initialisierung) und entwerfen Sie PyTorch-basierte architektonische Verbesserungen, um Konvergenz, Stabilität und Trainingseffizienz zu maximieren.
- Skalierungsstrategie & Vorhersagbarkeit: Entwickeln Sie Hyperparameter-Skalierungsgesetze und Skalierungsmethoden, verwenden Sie kleine Proxy-Experimente, um das Verhalten von Multi-Thousand-GPU zuverlässig vorherzusagen und wichtige Trainingsentscheidungen abzusichern.
- Stabilität, Diagnostik & Debugging: Untersuchen Sie komplexe Konvergenzprobleme (Verlustspitzen, Divergenz) und beheben Sie schwer reproduzierbare Fehler in verteilten Systemen wie Kommunikationsengpässen, Wettlaufbedingungen und Synchronisierungsfehlern.
- System-Modell Co-Design: Arbeiten Sie mit den Teams für Compute Performance, Daten, Evaluierung und Post-Training zusammen, um den Lebenszyklus des Modells mit Hardwarebeschränkungen, Speicherbandbreite und Kommunikationstopologien in Einklang zu bringen.
Wesentliche Qualifikationen:
- Sie sind versiert in Python und bestens mit PyTorch-basierten Trainingsabläufen vertraut.
- Sie haben eine starke Erfolgsbilanz in der Forschung im Bereich maschinelles Lernen und Softwareengineering, die durch ausgelieferte Modelle, wirkungsvolle Open-Source-Beiträge oder veröffentlichte Forschung nachgewiesen wird.
- Sie haben eine starke mathematische Grundlage und sind in der Lage, formal über Optimierung, Skalierungsverhalten und Trainingsdynamik zu argumentieren.
- Sie verstehen die Trainingsdynamik von Transformatoren, Optimierung und das Verhalten großer verteilter Trainingsjobs tiefgehend.
- Sie können rigorose Experimente entwerfen, klar aus verrauschten Ergebnissen argumentieren und empirische Beobachtungen in robuste Trainingsentscheidungen umsetzen.
- Praktische Erfahrung im Vortraining großer Modelle (z.B. 7B+ Parameter) auf umfangreicher Infrastruktur (z.B. 100+ GPU-Cluster).
- Sie wenden starke Praktiken im Softwareengineering an, einschließlich der Erstellung wartbarer, gut getesteter Codes und der Unterstützung reproduzierbarer Experimentierabläufe.
- Sie sind in der Lage, komplexe Modellarchitekturen effizient und zuverlässig zu implementieren und komplexe Probleme im Modellcode, in den Trainingsdynamiken und in verteilten Systemen zu debuggen.
- Sie arbeiten effektiv innerhalb eines Forschungs- und Ingenieurteams und kommunizieren klar über Ihre Arbeit im Pre-training und der breiteren AAR/AA-Organisation.
- Sie sind in der Lage, in Deutschland zu arbeiten und regelmäßig vor Ort in Heidelberg als Teil des Pre-training-Teams zusammenzuarbeiten.
Bevorzugte Qualifikationen:
- Großangelegtes Training: Praktische Erfahrung im Training von LLMs oder multimodalen Modellen auf großen GPU-Clustern unter Verwendung verteilter Frameworks (z.B. Megatron-LM, DeepSpeed, torchtitan).
- Vorhersagende Skalierung: Vertrautheit mit Skalierungsgesetzen, Hyperparameterübertragung oder Methoden zur Vorhersage des Verhaltens des großangelegten Trainings aus kleineren Proxy-Läufen.
- Stabilität & Leistung: Erfahrung in der Profilerstellung verteilter Jobs und der Diagnose von Trainingsanomalien wie Verlustspitzen, numerischer Instabilität oder Pathologien des Optimierers.
- Fortgeschrittene Architekturen: Kenntnisse über sparse Trainingsansätze (z.B. Mixture-of-Experts) und ein Verständnis ihrer Routing- und Systemtrade-offs.
- Nachweislicher Einfluss: Nachgewiesene Forschungsexzellenz durch Veröffentlichungen in erstklassigen Zeitschriften (NeurIPS, ICML, ICLR), wirkungsvolle Open-Source-Beiträge oder bedeutende technische Arbeiten.
- Systeminteresse: Low-Level-Kernel-Optimierung ist nicht erforderlich, aber wir schätzen eine starke Neugier auf die Hardware- und Systembeschränkungen, die das Maß bestimmen.
Was wir bieten:
- Werden Sie Teil einer KI-Revolution!
- 30 Tage bezahlter Urlaub
- Zugang zu einer Vielzahl von Fitness- & Wellnessangeboten über Wellhub
- Unterstützung der psychischen Gesundheit durch nilo.health
- Substanziell subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
- Subventioniertes deutschlandweites Verkehrsticket
- Budget für zusätzliche technische Ausrüstung
- Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
- JobRad® Fahrrad-Leasing
Senior AI Researcher- Pre-training (f/m/d) in Heidelberg Arbeitgeber: Aleph Alpha
Aleph Alpha Research ist ein hervorragender Arbeitgeber, der eine Kultur der Eigenverantwortung und Autonomie fördert. Mit einem flachen Hierarchiemodell und einem unterstützenden Management ermöglicht das Unternehmen schnelle Entscheidungen und offene Kommunikation, was zu einem starken Gemeinschaftsgefühl führt. Die Möglichkeit zur persönlichen und beruflichen Weiterentwicklung sowie die Teilnahme an einer revolutionären AI-Innovation machen Aleph Alpha zu einem attraktiven Arbeitsplatz in Deutschland, insbesondere in den dynamischen Städten Heidelberg und Berlin.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass du so Senior AI Researcher- Pre-training (f/m/d) in Heidelberg erhalten könntest
✨Wende dich an die richtigen Communities
Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.
✨Präsentiere deine Daten-Projekte
Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!
✨Nimm an Meetups und Hackathons teil
Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.
✨Direkte Bewerbungen über unsere Seite
Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei Aleph Alpha zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior AI Researcher- Pre-training (f/m/d) in Heidelberg mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.
Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!
Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!
Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Senior AI Researcher- Pre-training (f/m/d) bei Aleph Alpha gut geeignet bist.
Wie man sich auf ein Vorstellungsgespräch bei Aleph Alpha vorbereitet
✨Bereite deine technischen Skills vor
In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!
✨Verschaffe dir einen Überblick über Projekte
Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!
✨Vorbereitung auf case studies
In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!
✨Zeige deine Leidenschaft für Daten
Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für Aleph Alpha entscheidend sein!
