Training, Process Management Engineer

Über das Team: Training Runtime entwirft die zentrale verteilte Laufzeit, die alles von frühen Forschungsversuchen bis hin zu Modellsimulationen im großen Maßstab antreibt. Wir arbeiten daran, robuste, skalierbare und leistungsstarke Komponenten zu entwickeln, um unsere verteilten Trainingslasten zu unterstützen. Unsere Prioritäten sind es, die Produktivität unserer Forscher und unserer Hardware zu maximieren, mit dem Ziel, den Fortschritt in Richtung AGI zu beschleunigen. Innerhalb von Training Runtime entwickelt das Process Management-Team das verteilte Betriebssystem, das für das Starten, Koordinieren und Überwachen der großen Anzahl von Prozessen verantwortlich ist, die moderne Trainingslasten ausmachen. Unsere Laufzeit sitzt unter Trainingsframeworks und über Forschungsinfrastrukturen und sorgt dafür, dass Jobs zuverlässig über massive Cluster ausgeführt werden, während Leistung, Stabilität und Beobachtbarkeit aufrechterhalten werden. Der Erfolg wird sowohl an der Systemzuverlässigkeit als auch an der Geschwindigkeit der Forscher gemessen – Ideen von Experimenten bis hin zu Produktions-Trainingsläufen zu skalieren.

Über die Rolle: Als Process Management Engineer im Training Runtime werden Sie an der Software arbeiten, die Tausende von Computern miteinander verbindet und sie als ein einheitliches System präsentiert. Dieses System muss einzelnen Forschern dienen, die mehrere parallele Experimente durchführen, sowie unseren größten Trainingsläufen, die Hunderte von Tausenden und sogar Millionen von Maschinen und Beschleunigern umfassen. Dies erfordert benutzerfreundliche, introspektive Systeme, die einen schnellen Debugging- und Entwicklungszyklus fördern können, sowie unermüdliche Optimierung für Skalierung bei gleichzeitiger Aufrechterhaltung von Stabilität und Leistung. Sie werden hauptsächlich in Rust arbeiten und hochleistungsfähige asynchrone Systeme mit starkem Fokus auf Leistung, Korrektheit und Skalierbarkeit entwickeln. Die Arbeit in diesem Maßstab und an der Spitze der KI-Entwicklung bringt neuartige Herausforderungen mit sich. Vorgefertigte Ansätze funktionieren oft nicht. Die Probleme, an denen Sie arbeiten werden, sind hochgradig mehrdeutig und erfordern starkes Designurteil sowie kompetente Ausführung, um den Stand unserer Infrastruktur voranzutreiben. Wir suchen Menschen, die es lieben, eine End-to-End-Plattform zu optimieren und hochleistungsfähige Architekturen zu verstehen, um sowohl die lokale als auch die verteilte Leistung über unsere Supercomputer zu maximieren. Wir suchen Ingenieure, die begeistert sind von dem schnellen Tempo, mit dem auf die dynamischen und sich entwickelnden Bedürfnisse unserer Trainingslaufzeit und Compute-Stack reagiert wird.

In dieser Rolle werden Sie:

• Über unseren Python- und Rust-Stack arbeiten
• Software entwerfen, erstellen und warten, um maschinelles Lernen auf unseren größten Supercomputern zu orchestrieren und zu überwachen
• Unser Software-Stack profilieren und optimieren, um die Berechnungsorchestrierung im Grenzbereich zu unterstützen
• Die Zuverlässigkeit, Beobachtbarkeit und Fehlertoleranz für langlaufende Jobs verbessern
• Komplexe Probleme in verteilten Systemen über große Cluster debuggen
• Auf die sich ändernden Anforderungen der ML-Systeme reagieren, um unsere Ressourcen zu ermöglichen