Senior AI Software Engineer – Model Training (f/m/d)

Unsere Mission: Aleph Alpha ist eines der wenigen Unternehmen in Europa, das ernsthafte Grundlagenmodell-Pre- und Post-Training durchführt. Wir bauen Modelle mit allgemeinen Fähigkeiten, die speziell darauf ausgelegt sind, die Bedürfnisse unserer Kunden zu erfüllen.

Teamkultur: Bei Aleph Alpha fördern wir eine Kultur, die auf Eigenverantwortung, Autonomie und Empowerment basiert. Teams und Einzelpersonen werden ermutigt, Verantwortung für ihre Arbeit zu übernehmen und einen bedeutenden Einfluss auszuüben. Wir pflegen eine flache Organisationsstruktur mit effizientem, unterstützendem Management, das schnelle Entscheidungen, offene Kommunikation und ein starkes Gefühl gemeinsamer Ziele ermöglicht.

Über die Rolle: Als Software Engineer im Bereich Model Training arbeiten Sie über unseren gesamten Stack. Einige Wochen optimieren Sie möglicherweise, wie Trainingslasten in unserem Cluster geplant werden, und machen die Pipeline robuster und leistungsfähiger, damit wir schneller iterieren können. An anderen Wochen ermöglichen Sie die großflächige Codeausführung für Reinforcement Learning. Und manchmal tauchen Sie tief in unseren Evaluierungscode ein, um den Inferenzdurchsatz bei Auswertungen zu steigern. Kein Tag ist wie der andere. Die Dinge bewegen sich schnell, und Ihre Fähigkeit, sich zu konzentrieren und Prioritäten zu setzen, ermöglicht es Ihnen, das Team täglich zu entlasten, während Sie qualitativ hochwertige Werkzeuge und Infrastrukturen entwerfen, die uns langfristig beschleunigen. Wir bauen weiterhin unsere Trainingspipeline und Infrastruktur aus. Einige Teile existieren, einige nicht, und Sie haben echten Einfluss darauf, was gebaut wird und wie. Ihre Arbeit prägt direkt, wie schnell wir experimentieren und unsere Modelle verbessern können.

Ihre Verantwortlichkeiten:

• Co-Ownership der Trainingspipeline von Anfang bis Ende.
• Entwurf, Aufbau und Wartung der Infrastruktur und Komponenten, die es uns ermöglichen, schnell an Experimenten zu iterieren.
• Aufbau hochwertiger Werkzeuge.
• Modelltraining ist ein kontinuierlicher Prozess, und wir investieren absichtlich in unsere Werkzeuge und Infrastruktur, um langfristig erfolgreich zu bleiben.
• Zusammenarbeit über Disziplinen hinweg.
• Wir glauben an funktionsübergreifende Teams. Ingenieure und Forscher arbeiten eng zusammen, damit wir voneinander lernen und schneller iterieren können.
• Förderung guter Ingenieurpraktiken.
• Inkrementelles Arbeiten, Aufrechterhaltung schneller Feedbackschleifen und kontinuierliches Refactoring halten ein Team langfristig erfolgreich, insbesondere wenn man schnell vorankommt.
• Gestaltung der Richtung des Teams.
• Unsere Kultur ermächtigt Einzelpersonen, Verantwortung zu übernehmen. Wenn Sie sehen, dass wir mehr GPUs, ein anderes Speichersystem oder eine Änderung der Teamstruktur benötigen, sollten Sie diese Veränderung vorantreiben.

Ihr Profil: Im Model Training-Team stellen wir langsam und gezielt ein. Wir erkennen an, dass wir Top-Talente benötigen, um die besten Modelle zu liefern, und wir schätzen Fähigkeit über Erfahrung: Wenn Sie denken, dass Sie gut zu dieser Rolle passen und das Training eines LLM in Europa Sie begeistert, möchten wir von Ihnen hören.

Anforderungen:

• Eine Erfolgsbilanz in der Eigeninitiative zur Lieferung von hochwirksamer Arbeit.
• Erfahrung in leistungsstarken Teams.
• Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich.
• Bereitschaft, nach Deutschland umzuziehen.
• Unsere Hauptarbeitsorte sind Heidelberg (bevorzugt) und Berlin, obwohl es etwas Flexibilität gibt, von anderen Standorten in Deutschland aus zu arbeiten, mit regelmäßigen Reisen nach Heidelberg (potenziell wöchentlich).
• Fähigkeit, Software zu schreiben, die andere starke Ingenieure lesen und darauf aufbauen möchten.
• Wunsch, Verantwortung für Probleme zu übernehmen und mit anderen Teams zusammenzuarbeiten, um diese zu lösen.
• Tiefes Interesse daran, wie moderne Grundlagenmodelle funktionieren.
• Starke Kommunikationsfähigkeiten, mit der Fähigkeit, technische Lösungen an unterschiedliche Zielgruppen zu vermitteln.

Nice-to-haves:

• Erfahrung in der Arbeit mit verteilten Systemen.
• Erfahrung in der Arbeit mit Kubernetes.

Wir verlangen keine vorherige Erfahrung im maschinellen Lernen für diese Rolle, aber wir schätzen Ihre Lernbereitschaft. Wenn Sie bereits Erfahrung im ML haben, sind wir besonders begeistert von:

• Erfahrung in der Umsetzung von AI-Forschungsinnovationen in die Produktion.
• Erfahrung in Bereichen wie großflächige Datenverarbeitung oder verteilte Berechnung für das Training oder die Inferenz von Grundlagenmodellen.
• Erfahrung in der Leistungsoptimierung: Profiling, Benchmarking und Optimierung von Code für Durchsatz, Latenz oder Speicher.

Vergütung und Vorteile:

• 30 Tage bezahlter Urlaub
• Zugang zu einer Vielzahl von Fitness- und Wellnessangeboten über Wellhub
• Psychische Gesundheitsunterstützung über nilo.health
• Substantielle subventionierte betriebliche Altersvorsorge für Ihre zukünftige Sicherheit
• Subventioniertes deutschlandweites Verkehrsticket
• Budget für zusätzliche technische Ausrüstung
• Flexible Arbeitszeiten für eine bessere Work-Life-Balance und hybrides Arbeitsmodell
• Virtuelles Aktienoptionsprogramm
• JobRad Fahrrad-Leasing