Apertus Engineer: Post-training

Wir suchen einen qualifizierten Ingenieur, der sich dem Apertus-Post-Training-Team anschließt. Der ideale Kandidat wird die SFT- und Reinforcement-Learning-Pipelines entwickeln, ausführen und evaluieren, die verwendet werden, um die Apertus-Basismodelle in fähige Assistenten zu verwandeln. Diese Rolle erfordert einen starken Hintergrund im LLM-Post-Training, solide Software-Engineering-Fähigkeiten und die Fähigkeit, in einer forschungsorientierten HPC-Umgebung zusammenzuarbeiten.

Projekt Hintergrund

Wir trainieren offene Fundamentmodelle mit Hunderten von Milliarden von Parametern auf Tausenden von GPUs auf einem der größten AI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Ingenieuren, die Seite an Seite mit führenden Forschern von EPFL und ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um vollständig offene (Open Source), verantwortungsvoll trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps, der Supercomputing-Infrastruktur des Schweizerischen Nationalen Supercomputing-Zentrums, trainiert und entwickelt. Die Rolle erfordert jemanden, der sich in einer HPC-Umgebung wohlfühlt und mit Forschern und Infrastruktur-Ingenieuren zusammenarbeitet.

Jobbeschreibung

Der Ingenieur wird zur Entwicklung, Ausführung und Evaluierung skalierbarer Post-Training-Workflows für Apertus beitragen.

• Infrastruktur- und Systemengineering
• Containerisierte Umgebungen für LLM-Post-Training und RL-Workloads aufbauen und pflegen
• Container und Abhängigkeiten für die Ausführung auf der Alps / CSCS-Infrastruktur anpassen
• Slurm-basierte Trainings- und Evaluierungsjobs ausführen und überwachen
• Fehler im Zusammenhang mit verteilter Ausführung, Checkpointing, Dateisystemleistung, Netzwerk und GPU-Nutzung debuggen
• Reproduzierbare Trainingsrezepte, Konfigurationsdateien, Startskripte und Dokumentation pflegen
• Mit Forschern und CSCS-Ingenieuren zusammenarbeiten, um die Zuverlässigkeit und Leistung großangelegter Experimente zu verbessern
• LLM-Post-Training und Reinforcement Learning
• SFT, Präferenzoptimierung und Reinforcement-Learning-Workflows unterstützen
• RL-Umgebungen für Aufgaben mit überprüfbaren Ergebnissen aufbauen und ausführen, wie Mathematik, Programmierung, Werkzeugnutzung und Schlussfolgerungen
• Belohnungsmodellierung, Belohnungskalibrierung und verifizierungsbasiertes Training implementieren und ausführen
• Synthetische oder Gym-Trainingsaufgaben generieren und validieren
• Ablationsstudien durchführen, die Algorithmen, Belohnungsfunktionen, Datenmischungen, Hyperparameter und Infrastruktureinstellungen vergleichen
• Modellverhalten in Bezug auf Schlussfolgerungen, Programmierung, Mathematik, Befolgen von Anweisungen, Mehrsprachigkeit, Werkzeugnutzung und Sicherheitsbenchmarks bewerten
• Häufige Probleme im Post-Training debuggen, einschließlich Optimierungsinstabilität, Belohnungshacking, Regressionen und Evaluierungsfehler

Profil

• Erforderlich
• MSc oder PhD in Informatik, Datenwissenschaft, Künstlicher Intelligenz, Maschinellem Lernen oder einem verwandten Bereich
• Außergewöhnliche BSc-Kandidaten mit starker Ingenieurerfahrung werden ebenfalls berücksichtigt
• Erfahrung in KI und neuronalen Netzwerkarchitekturen
• Starke Zusammenarbeit und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Ingenieurteams hinweg zu arbeiten
• Praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich
• Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt
• Ein hohes Maß an Flexibilität: Prioritäten, Werkzeuge und tägliche Aufgaben ändern sich mit Trainingsplänen, Veröffentlichungen und einem sich schnell bewegenden Feld
• Praktische Erfahrung mit LLM-Post-Training, sei es Alignment (SFT, Präferenzoptimierung) oder Reinforcement Learning
• Dies bedeutet Erfahrung mit Frameworks wie veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang oder ähnlichen Tools
• Stark bevorzugt
• Vertrautheit mit Konzepten des verteilten Trainings wie Datenparallelismus, Tensorparallelismus, Pipelineparallelismus, Checkpointing und GPU-Kommunikation
• Erfahrung mit Slurm oder einem anderen HPC-Workload-Manager
• Erfahrung im Aufbau oder in der Anpassung von Containern für HPC- oder GPU-Cluster
• Wünschenswert
• Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen
• Erfahrung in der Erstellung überprüfbarer Aufgaben für Mathematik, Programmierung, Schlussfolgerungen oder Werkzeugnutzung
• Vertrautheit mit niedrigstufigen GPU/verteilen Bibliotheken wie NCCL, Transformer Engine, FlashAttention oder Kommunikations-Backends
• Erfahrung mit großangelegten Evaluierungs-Pipelines

Arbeitsplatz

Wir bieten:

• Eine anregende akademische Umgebung an einer der weltweit führenden technischen Universitäten
• Die Möglichkeit, mit modernster Supercomputing-Infrastruktur und bahnbrechender KI-Forschung zu arbeiten
• Zusammenarbeit mit führenden Forschern und Ingenieuren von EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen
• Flexible Arbeitsbedingungen, einschließlich Optionen für Remote-Arbeit
• Berufliche Entwicklungsmöglichkeiten, einschließlich Konferenzteilnahmen und spezialisierter Schulungen
• Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen
• Zugang zum breiteren Schweizer akademischen Ökosystem und zu Industriepartnerschaften
• Teil der souveränen KI-Entwicklung der Schweiz zu sein und an Technologien mit nationaler Bedeutung zu arbeiten
• Die Rolle kann entweder in Lausanne an der EPFL oder in Zürich an der ETH Zürich angesiedelt sein

Wir schätzen Vielfalt und Nachhaltigkeit. Im Einklang mit unseren Werten fördert die ETH Zürich eine inklusive Kultur. Wir setzen uns für Chancengleichheit ein, schätzen Vielfalt und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und die Würde aller Mitarbeiter und Studierenden respektiert werden. Nachhaltigkeit ist ein Kernwert für uns – wir arbeiten konsequent auf eine klimaneutrale Zukunft hin.

Bitte beachten Sie, dass wir ausschließlich Bewerbungen akzeptieren, die über unser Online-Bewerbungsportal eingereicht werden. Bewerbungen per E-Mail oder Post werden nicht berücksichtigt. Fragen zur Position richten Sie bitte an Dr. Imanol Schlag, E-Mail (keine Bewerbungen).