Apertus Engineer: Post-training

Wir suchen einen qualifizierten Ingenieur, der sich dem Apertus-Post-Training-Projekt anschließt. Der ideale Kandidat wird die SFT- und Reinforcement-Learning-Pipelines entwickeln, ausführen und bewerten, die verwendet werden, um die Apertus-Basismodelle in fähige Assistenten zu verwandeln. Diese Rolle erfordert einen starken Hintergrund im LLM-Post-Training, solide Software-Engineering-Fähigkeiten und die Fähigkeit, in einer forschungsorientierten HPC-Umgebung zusammenzuarbeiten.

Wir trainieren offene Grundmodelle mit Hunderten von Milliarden von Parametern auf Tausenden von GPUs auf einem der größten AI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeitingenieuren, die Seite an Seite mit führenden Forschern von EPFL und ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um vollständig offene (Open Source), verantwortungsvoll trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen.

Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizerischen Nationalen Supercomputing-Zentrums, trainiert und entwickelt. Die Rolle erfordert jemanden, der sich in einer HPC-Umgebung wohlfühlt und mit Forschern und Infrastruktur-Ingenieuren zusammenarbeitet.

Der Ingenieur wird zur Entwicklung, Ausführung und Bewertung skalierbarer Post-Training-Workflows für Apertus beitragen.

• Containerisierte Umgebungen für LLM-Post-Training und RL-Workloads aufbauen und pflegen
• Container und Abhängigkeiten für die Ausführung auf der Alps/CSCS-Infrastruktur anpassen
• Slurm-basierte Trainings- und Evaluierungsjobs ausführen und überwachen
• Fehler im Zusammenhang mit verteilter Ausführung, Checkpointing, Dateisystemleistung, Netzwerk und GPU-Nutzung debuggen
• Reproduzierbare Trainingsrezepte, Konfigurationsdateien, Startskripte und Dokumentation pflegen
• Mit Forschern und CSCS-Ingenieuren zusammenarbeiten, um die Zuverlässigkeit und Leistung großangelegter Experimente zu verbessern

• SFT, Präferenzoptimierung und Reinforcement-Learning-Workflows unterstützen
• RL-Umgebungen für Aufgaben mit überprüfbaren Ergebnissen, wie Mathematik, Programmierung, Werkzeugnutzung und Schlussfolgerungen, aufbauen und ausführen
• Belohnungsmodellierung, Belohnungskalibrierung und verifizierungsbasiertes Training implementieren und durchführen
• Synthetische oder Gym-Trainingsaufgaben generieren und validieren
• Ablationsstudien durchführen, die Algorithmen, Belohnungsfunktionen, Datenmischungen, Hyperparameter und Infrastruktureinstellungen vergleichen
• Modellverhalten in Bezug auf Schlussfolgerungen, Programmierung, Mathematik, Befolgen von Anweisungen, Mehrsprachigkeit, Werkzeugnutzung und Sicherheitsbenchmarks bewerten
• Häufige Probleme im Post-Training debuggen, einschließlich Optimierungsinstabilität, Belohnungshacking, Regressionen und Bewertungsfehler

Erforderlich:

• MSc oder PhD in Informatik, Datenwissenschaft, künstlicher Intelligenz, maschinellem Lernen oder einem verwandten Bereich
• Außergewöhnliche BSc-Kandidaten mit starker Ingenieurerfahrung werden ebenfalls berücksichtigt
• Erfahrung in KI und neuronalen Netzwerkarchitekturen
• Starke Zusammenarbeit und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Ingenieurteams hinweg zu arbeiten
• Praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich
• Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt
• Ein hohes Maß an Flexibilität: Prioritäten, Werkzeuge und tägliche Aufgaben ändern sich mit Trainingsplänen, Veröffentlichungen und einem sich schnell bewegenden Feld
• Praktische Erfahrung mit LLM-Post-Training, sei es Alignment (SFT, Präferenzoptimierung) oder Reinforcement Learning
• Dies bedeutet Erfahrung mit Frameworks wie veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang oder ähnlichen Tools

Stark bevorzugt:

• Vertrautheit mit Konzepten des verteilten Trainings wie Datenparallelismus, Tensorparallelismus, Pipelineparallelismus, Checkpointing und GPU-Kommunikation
• Erfahrung mit Slurm oder einem anderen HPC-Workload-Manager
• Erfahrung im Aufbau oder in der Anpassung von Containern für HPC- oder GPU-Cluster

Wünschenswert:

• Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen
• Erfahrung in der Erstellung überprüfbarer Aufgaben für Mathematik, Programmierung, Schlussfolgerungen oder Werkzeugnutzung
• Vertrautheit mit niedrigstufigen GPU-/verteilten Bibliotheken wie NCCL, Transformer Engine, FlashAttention oder Kommunikations-Backends
• Erfahrung mit großangelegten Evaluierungs-Pipelines

Wir bieten:

• Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten
• Die Möglichkeit, mit modernster Supercomputing-Infrastruktur und bahnbrechender KI-Forschung zu arbeiten
• Zusammenarbeit mit führenden Forschern und Ingenieuren von EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen
• Flexible Arbeitsbedingungen, einschließlich Optionen für Remote-Arbeit
• Berufliche Entwicklungsmöglichkeiten, einschließlich Teilnahme an Konferenzen und spezialisierter Schulungen
• Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen
• Zugang zum breiteren Schweizer akademischen Ökosystem und zu Industriepartnerschaften
• Teil der souveränen KI-Entwicklung der Schweiz zu sein und an Technologien mit nationaler Bedeutung zu arbeiten
• Die Rolle kann entweder in Lausanne an der EPFL oder in Zürich an der ETH Zürich angesiedelt sein

ETH Zürich fördert eine inklusive Kultur. Wir setzen uns für Chancengleichheit ein, schätzen Vielfalt und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und die Würde aller Mitarbeiter und Studierenden respektiert werden. Nachhaltigkeit ist ein Kernwert für uns – wir arbeiten kontinuierlich auf eine klimaneutrale Zukunft hin.

Wir freuen uns auf Ihre Online-Bewerbung mit den folgenden Unterlagen:

• CV/Lebenslauf
• Anschreiben, das Ihr Interesse und Ihre Qualifikationen erklärt
• Akademische Transkripte
• Links zu GitHub-Repositories oder anderen Beispielen Ihrer Programmierarbeit (sofern verfügbar)

Weitere Informationen über das ETH AI Center und die Schweizer AI-Initiative finden Sie auf unserer Website.