Auf einen Blick
- Aufgaben: Optimiere Systeme für das Training von KI-Modellen und steigere die Effizienz.
- Unternehmen: Aleph Alpha, ein innovatives Unternehmen in Heidelberg, das an der Spitze der KI-Forschung steht.
- Vorteile: 30 Tage Urlaub, Fitnessangebote, mentale Gesundheitsunterstützung und flexible Arbeitszeiten.
- Weitere Informationen: Flache Hierarchien und ein unterstützendes Team für schnelles Entscheiden und Wachstum.
- Warum dieser Job: Werde Teil einer KI-Revolution und arbeite an spannenden Projekten mit modernster Technologie.
- Qualifikationen: Erfahrung in Python, PyTorch und verteilten Systemen ist erforderlich.
Das prognostizierte Gehalt liegt zwischen 60000 - 80000 € pro Jahr.
Unsere Mission
Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Vortrainings von Fundamentmodellen durchführt. Unsere Kunden - in den Bereichen Finanzen, Fertigung und öffentliche Verwaltung - benötigen Modelle, die Deutsch verstehen, die europäischen regulatorischen Anforderungen entsprechen und zuverlässig in risikobehafteten Umgebungen arbeiten. Wir bauen das in Heidelberg auf.
Wir stellen einen Performance Engineer ein, um unser Team für die Effizienz des Vortrainings zu erweitern. Wenn Sie begeistert sind, Modelle schneller zu machen, ist dies die richtige Rolle für Sie!
Teamkultur
Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden vertraut, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.
Über die Rolle:
Sie werden die Systeme entwickeln, die erforderlich sind, um Fundamentmodelle in großem Maßstab zu trainieren. Ihr Ziel ist es, die Hardwareauslastung und den Trainingsdurchsatz auf unseren großen GPU-Clustern (Tausende von NVIDIA Blackwell GPUs) zu maximieren. Sie arbeiten an der Schnittstelle von Deep-Learning-Frameworks, verteilten Systemen und GPU-Mikroarchitekturen und beseitigen Engpässe von der Python-Schicht bis zum GPU-Kernel.
Ihre Verantwortlichkeiten:
- End-to-End-Optimierung: Profilieren von Trainingsschleifen mit PyTorch Profiler, Nsight Systems und Nsight Compute, um System- und Kernel-Engpässe zu identifizieren und den Modell-Durchsatz zu maximieren.
- Verteilte Strategie und Topologie: Konfigurieren und Abstimmen von zusammengesetzten Parallelitätsstrategien (z.B. TP, DP, HSDP/FSDP, EP), Optimierung des Lastenausgleichs, Minimierung kritischer Engpässe und Verwaltung von Kommunikations-zu-Berechnungs-Handelsmöglichkeiten für das Training großer LLMs.
- Hardware-bewusstes Modellieren: Zusammenarbeit mit KI-Forschern zur Definition von Modellarchitekturen für Hardwareeffizienz, ohne die Konvergenz zu beeinträchtigen.
Ihr Profil
Grundlegende Qualifikationen:
- Sie sind versiert in Python und der PyTorch-Bibliothek.
- Sie haben einen starken Ingenieurhintergrund in parallelen und/oder verteilten Systemen mit nachweislicher Erfolgsbilanz.
- Sie haben praktische Erfahrung mit modernen maschinellen Lerntechniken (insbesondere großen Sprachmodellen und ihrem Lebenszyklus).
- Sie verstehen das CUDA-Programmiermodell tiefgehend.
- Sie haben Erfahrung in der verteilten Programmierung mit APIs wie NCCL oder MPI.
- Sie haben Erfahrung in der Analyse von Profilierungsdaten mit Tools wie PyTorch Profiler und Nvidia Nsight.
Bitte beachten Sie, dass diese Rolle regelmäßige persönliche Zusammenarbeit in Heidelberg als Mitglied des Training Efficiency Teams erfordert.
Bevorzugte Qualifikationen:
- Beiträge zu modernen verteilten Trainingsframeworks (z.B. TorchTitan, Megatron-LM, DeepSpeed).
- Vertrautheit mit Formaten für niedrigpräzises Training (MXFP4, MXFP8) und deren Auswirkungen auf numerische Stabilität und Durchsatz.
- Ein tiefes Verständnis der NCCL-Kommunikationsprimitive, NVSHMEM oder CUDA IPC und deren Leistung.
- Eine nachweisliche Erfolgsbilanz bei der Implementierung und Optimierung des Trainings moderner transformerbasierter Modelle.
- Eine nachweisliche Erfolgsbilanz bei der Arbeit an der NVIDIA Blackwell-Architektur.
Vergütung und Vorteile:
- Werden Sie Teil einer KI-Revolution!
- 30 Tage bezahlter Urlaub
- Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
- Unterstützung der psychischen Gesundheit durch nilo.health
- Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
- Subventioniertes deutschlandweites Verkehrsticket
- Budget für zusätzliche technische Ausrüstung
- Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
- Virtuelles Aktienoptionsprogramm
- JobRad® Fahrrad-Leasing
Senior Performance Engineer- Pre-training(f/m/d) Arbeitgeber: Aleph Alpha
Aleph Alpha ist ein herausragender Arbeitgeber, der eine Kultur der Eigenverantwortung und Autonomie fördert. Mit einem flachen Organisationsaufbau und einem unterstützenden Management ermöglicht das Unternehmen schnelle Entscheidungen und offene Kommunikation. Die Mitarbeiter profitieren von 30 Tagen Urlaub, flexiblen Arbeitszeiten, umfangreichen Gesundheitsangeboten und einer attraktiven Altersvorsorge, während sie an der Spitze der KI-Revolution in Heidelberg arbeiten.
StudySmarter Expertenrat🤫
Wir sind der Meinung, dass Sie so Senior Performance Engineer- Pre-training(f/m/d) erhalten könnten
✨Wende dich an die richtigen Communities
Schau dir Online-Communities und Foren an, die sich um Data Science drehen, wie Kaggle oder GitHub. Engagiere dich dort aktiv, teile deine Projekte und lerne von anderen – das wird dir helfen, nicht nur einen Fuß in die Tür zu bekommen, sondern auch wertvolle Kontakte zu knüpfen.
✨Präsentiere deine Daten-Projekte
Baue ein Portfolio auf, das deine besten Projekte zeigt. Nutze Plattformen wie GitHub oder eine persönliche Webseite, um deine Arbeiten zu veröffentlichen. Arbeitgeber im Data Science-Bereich schauen oft direkt auf praktische Erfahrungen, also zeig, was du drauf hast!
✨Nimm an Meetups und Hackathons teil
Besuche lokale Data Science-Meetups oder nehme an Hackathons teil. Diese Veranstaltungen sind nicht nur super, um dein Wissen zu erweitern, sondern auch Gold wert für Networking. Du lernst Fachkollegen kennen und kannst auf Lockere Art und Weise Eventualjobs ergattern.
✨Direkte Bewerbungen über unsere Seite
Vergiss nicht, direkt auf unserer Website nach Stellenangeboten bei Aleph Alpha zu schauen. Hier kannst du dich auf offene Datenwissenschaftsstellen bewerben und zeigst damit direktes Interesse, das viele Arbeitgeber schätzen!
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior Performance Engineer- Pre-training(f/m/d) mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Lass deine Daten sprechen!:In einem Bereich wie Data Science ist es entscheidend, dass du deine praktischen Fähigkeiten präsentierst. Wenn du an Projekten gearbeitet hast, die deine Analysefähigkeiten oder dein Wissen über Machine Learning demonstrieren, teile sie in deinem Lebenslauf oder füge einen Link zu deinem GitHub-Portfolio bei. Die Daten, die du analysiert hast, und die Tools, die du verwendest, sollten klar hervorgehoben werden.
Ergebnisse quantifizieren!:Unterstütze deine Erfahrung mit quantifizierbaren Ergebnissen. Zeige, wie du durch deine Analysen oder Modelle zur Entscheidungsfindung beigetragen hast oder wie deine Berechnungen den Rohdaten neue Erkenntnisse entlockt haben. Arbeitgeber in der Data Science sind oft an konkreten Verbesserungen und Effizienzsteigerungen interessiert!
Erläutere deine Lernbereitschaft!:Da es sich um eine Vollzeitstelle handelt, zeige in deinem Anschreiben, dass du bereit bist, zu lernen und dich weiterzuentwickeln. Sprich über deine Neugier für neue Technologien oder Methoden im Data Science Bereich. Vielleicht hast du auch Kurse besucht oder Zertifikate erworben, die deine Begeisterung zeigen!
Die richtige technische Sprache!:Achte darauf, dass deine Bewerbung alle relevanten technischen Begriffe enthält, die in der Data Science gebräuchlich sind. Nenne spezifische Programmier- und Analysetools wie Python, R oder SQL, die du beherrschst. Dies macht es für die Rekrutierer einfacher, schnell zu erkennen, dass du für die Rolle als Senior Performance Engineer- Pre-training(f/m/d) bei Aleph Alpha gut geeignet bist.
Wie man sich auf ein Vorstellungsgespräch bei Aleph Alpha vorbereitet
✨Bereite deine technischen Skills vor
In einem Vorstellungsgespräch für eine Data-Science-Position wird oft dein Wissen über Tools wie Python, R oder SQL getestet. Mach dich mit gängigen Algorithmen und deren Einsatzmöglichkeiten vertraut, denn technische Fragen können schnell kommen. Lass uns sicherstellen, dass du in diesen Bereichen glänzt!
✨Verschaffe dir einen Überblick über Projekte
Da es sich um eine Vollzeitstelle handelt, ist es wichtig, dass du konkrete Erfahrungen und Projekte vorweisen kannst. Wenn du bereits an Data-Science-Projekten gearbeitet hast, sei bereit, diese in der Tiefe zu erläutern und zu diskutieren, wie du die Probleme gelöst hast. Dein Portfolio kann hier einen echten Unterschied machen!
✨Vorbereitung auf case studies
In Data-Science-Interviews sind case studies und praktische Probleme häufig Teil des Gesprächs. Übe, wie du strukturiert und logisch an solche Aufgaben herangehst. Arbeitgeber möchten sehen, wie du Daten analysierst und Lösungen entwickelst – bring also deine analytischen Fähigkeiten mit!
✨Zeige deine Leidenschaft für Daten
Mehr denn je geht es bei einer Vollzeitstelle darum, dass du nicht nur die Skills hast, sondern auch wirklich für das Feld brennst. Teile Anekdoten oder Erfahrungen, die zeigen, wie du zur Datenwissenschaft gekommen bist und was dich fasziniert. Diese Begeisterung kann für Aleph Alpha entscheidend sein!
