Senior Software Engineer, RL Post-Training Frameworks

Reinforcement Learning Post-Training treibt einige der bedeutendsten Leistungssteigerungen in der KI heute voran. Es ist der Prozess, der ein Modell lehrt, durch schwierige Probleme zu schlussfolgern, komplexe Anweisungen zu befolgen und als autonomer Agent zu agieren. Es ist auch eine der schwierigsten Infrastrukturherausforderungen in diesem Bereich. RL erfordert Inferenz, Rollout-Generierung und Training, die in einer kontinuierlichen Schleife ablaufen. Der Rollout-Schritt ist das, was es schwierig macht: Das Modell muss mit Umgebungen, Werkzeugen und anderen Modellen interagieren, um das Signal zu erzeugen, das das Lernen antreibt. Die Koordination von Actor-, Kritiker- und Belohnungsmodellen über heterogene Hardware im großen Maßstab überschreitet die Grenzen dessen, was verteilte Systeme leisten können.

NVIDIA baut ein Engineering-Team für RL-Frameworks auf, um die Open-Source-Tools und -Infrastruktur zu entwickeln, auf die KI-Forscher und Post-Training-Teams angewiesen sind. Das Team erstreckt sich über den gesamten Software-Stack, von der engen Zusammenarbeit mit den Forschern und Laboren, die die Grenzen verschieben, bis hin zu Beiträgen zu RL-Frameworks wie VeRL, Miles und TorchTitan sowie zur Verbesserung der verteilten Laufzeiten, auf die sie angewiesen sind, einschließlich Ray und Monarch.

Was Sie tun werden: Sie werden die RL-Post-Training-Infrastruktur entwerfen und aufbauen, die effizient von Experimenten auf einer einzelnen GPU bis zur Produktion über Tausende von Knoten skaliert. Dies bedeutet, dass Sie RL-Trainings-Inferenz-Rollout-Schleifen auf GPUs, CPUs und LPUs für die Leistung optimieren, zur Verbesserung der Leistung und Benutzerfreundlichkeit von Open-Source-RL-Frameworks beitragen und mit den Teams zusammenarbeiten, die diese besitzen. Die Rolle umfasst auch Fehlertoleranz, elastisches Skalieren und schnelle Neustarts, damit langlaufende verteilte Trainingsjobs Ausfälle, Verzögerungen und Ressourcenengpässe überstehen.

Über GPU-beschleunigtes Training hinaus umfasst diese Arbeit die Zusammenarbeit mit Teams, die CPU-gesteuerte Rollout-Workloads erstellen, einschließlich Werkzeugnutzung, Codeausführung und agentischer Umgebungen, und die Bereitstellung der Systeme und der Framework-Engineering, die benötigt werden, um sie effizient neben GPU- oder LPU-beschleunigter Generierung und GPU-beschleunigtem Training auszuführen. Es bedeutet auch, für die Bedürfnisse von Forschern und Partnern bei NVIDIAs Netzwerk-, Mathematikbibliotheks- und Compiler-Teams einzutreten, damit die Fähigkeiten, die RL-Workloads benötigen, priorisiert und bereitgestellt werden, und mit Hardware-Teams zusammenzuarbeiten, um die Möglichkeiten der nächsten Generation von Hardware in Post-Training-Workloads zu nutzen.

Was wir sehen müssen: MS oder PhD in Informatik, Computertechnik oder einem verwandten Bereich (oder gleichwertige Erfahrung), 5+ Jahre Berufserfahrung in verteilten Systemen, Hochleistungsrechnen, Deep-Learning-Infrastruktur oder ML-Systemengineering, starke Kenntnisse in Python und C/C++, nachgewiesene Erfahrung im Aufbau oder in der Mitwirkung an groß angelegten verteilten Systemen oder Laufzeit-Frameworks in der Produktion in einem führenden KI-Labor, Hyperscaler oder großen Technologieunternehmen, starke mündliche und schriftliche Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit über organisatorische und geografische Grenzen hinweg.

Tiefe in einem oder mehreren der folgenden technischen Bereiche: Reinforcement Learning für LLM-Post-Training (RLHF, PPO, GRPO, DPO, Belohnungsmodellierung), einschließlich wie Algorithmen auf verteilte Ausführung abgebildet werden und die Systemherausforderungen, die sie schaffen (heterogene Platzierung, Rollouts, Umgebungs-Ausführung, Resharding zwischen Training und Generierung), PyTorch-Interna, einschließlich verteilter Trainingsprimitive (FSDP, Tensorparallelismus, Pipeline-Parallelismus) und deren Zusammensetzung, Kubernetes-Laufzeit-Interna (Containerlebenszyklus, Pod-Planung, Ressourcenquoten, GPU-Zuweisung), End-to-End-Design verteilter Systeme (Dienstgrenzen, Datenflüsse, Konsistenzmodelle, Fehlermodi, Wiederherstellungsansätze).

Erfahrung in einem der folgenden Bereiche ist von Vorteil: Tiefe Expertise in Netzwerken (NCCL, NVLink, InfiniBand), fortgeschrittene multidimensionale Parallelismen (Megatron-LM, FSDP2, TP/DP/PP, MoE) oder Speicheroptimierungen (quantisierungsbewusstes Training, gemischte Präzision), Erfahrung in der Integration von Hochleistungsinferenz-Engines (vLLM, SGLang, TensorRT-LLM) in RL-Trainingsschleifen für GPU-beschleunigte Rollouts, starker Hintergrund in aktor- und aufgabenbasiertem verteiltem Programmieren (Ray, Monarch oder vergleichbare Systeme), Vertrautheit mit Multi-Turn-Training, Multi-Agenten-Ko-Evolution oder VLM-Post-Training.

Wege, sich von der Masse abzuheben: Open-Source-Beiträge zu RL-Post-Training oder verteilten Trainingsprojekten (z.B. VeRL, Miles, TorchTitan, OpenRLHF, NeMo-Aligner, DeepSpeed-Chat), einschließlich bedeutender Arbeiten an Framework-Interna, wo zutreffend, Kubernetes-Arbeiten über Routineoperationen hinaus (benutzerdefinierte Operatoren, GPU-Geräte-Plugins oder Planungsbeiträge), direkte Erfahrung im Betrieb von Frontier-Skalierungstraining (RL-Post-Training an Tausenden von GPUs und/oder großangelegtem LLM- oder multimodalen Pre-Training), praktische Erfahrung mit Produktionsausfällen im großen Maßstab (Verzögerungen, Ressourcenengpässe, Hardwarefehler).