Training Performance Engineer

Über das Team

Training Runtime entwirft die zentrale verteilte Machine-Learning-Trainingslaufzeit, die alles von frühen Forschungsversuchen bis hin zu Modellen in Grenzbereichen antreibt. Mit dem Ziel, Forscher zu beschleunigen und Grenzskalen zu ermöglichen, bauen wir eine einheitliche, modulare Laufzeit auf, die Forscher dort abholt, wo sie sind, und mit ihnen entlang der Skalierungskurve voranschreitet.

Unsere Arbeit konzentriert sich auf drei Säulen:

• Hochleistungs-, asynchrone, nullkopierte Tensor- und optimierungsstatusbewusste Datenbewegung;
• leistungsstarke, hochverfügbare, fehlertolerante Trainingsframeworks (Trainingsschleife, Zustandsmanagement, resilientes Checkpointing, deterministische Orchestrierung und Beobachtbarkeit);
• verteiltes Prozessmanagement für langanhaltende, jobspezifische und benutzerdefinierte Prozesse.

Wir integrieren bewährte Großskalierungsfähigkeiten in eine komponierbare, entwicklerorientierte Laufzeit, damit Teams schnell iterieren und zuverlässig in jedem Maßstab arbeiten können, wobei wir eng mit Modell-Stack-, Forschungs- und Plattformteams zusammenarbeiten. Unser Erfolg wird daran gemessen, sowohl den Trainingsdurchsatz (wie schnell Modelle trainiert werden) als auch den Forscherdurchsatz (wie schnell Ideen zu Experimenten und Produkten werden) zu steigern.

Über die Rolle

Als Training Performance Engineer werden Sie Effizienzverbesserungen in unserem verteilten Trainings-Stack vorantreiben. Sie analysieren großangelegte Trainingsläufe, identifizieren Nutzungslücken und entwerfen Optimierungen, die die Grenzen von Durchsatz und Verfügbarkeit verschieben. Diese Rolle verbindet tiefes Systemverständnis mit praktischer Leistungsoptimierung – Analyse der GPU-Kernel-Leistung, Durchsatz der kollektiven Kommunikation, Untersuchung von I/O-Flaschenhälsen und Sharding unserer Modelle, damit wir sie in großem Maßstab trainieren können.

Sie helfen sicherzustellen, dass unsere Cluster mit maximaler Leistung laufen, sodass OpenAI größere, leistungsfähigere Modelle mit demselben Rechenbudget trainieren kann.

In dieser Rolle werden Sie:

• End-to-End-Trainingsläufe profilieren, um Leistungsengpässe in Bezug auf Berechnung, Kommunikation und Speicherung zu identifizieren.
• GPU-Nutzung und Durchsatz für großangelegte verteilte Modelltrainings optimieren.
• Mit Runtime- und Systemingenieuren zusammenarbeiten, um die Effizienz von Kernen, Planung und kollektiver Kommunikationsleistung zu verbessern.
• Modellgraphtransformationen implementieren, um den End-to-End-Durchsatz zu verbessern.
• Werkzeuge zur Überwachung und Visualisierung von MFU, Durchsatz und Verfügbarkeit über Cluster hinweg entwickeln.
• Mit Forschern zusammenarbeiten, um sicherzustellen, dass neue Modellarchitekturen während des Pre-Trainings effizient skalieren.
• Zu Infrastrukturentscheidungen beitragen, die die Zuverlässigkeit und Effizienz großer Trainingsjobs verbessern.

Sie könnten in dieser Rolle gedeihen, wenn Sie:

• Leidenschaft für die Optimierung von Leistung haben und in Systeme eintauchen, um zu verstehen, wie jede Schicht interagiert.
• Starke Programmierkenntnisse in Python und C++ haben (Rust oder CUDA von Vorteil).
• Erfahrung mit der Ausführung verteilter Trainingsjobs auf Multi-GPU-Systemen haben.