GPU Cluster Engineer (human)

Ihre Mission & Herausforderungen

Sie sind der Ansprechpartner für die GPU-Cluster-Infrastruktur von NEURA - eine großangelegte AWS HyperPod-Umgebung, die modernste GPU-Instanzen für das Training von Grundmodellen und die Feinabstimmung von Kundenarbeitslasten nutzt. Sie entwerfen den operativen Rahmen, erstellen Self-Service-Tools für ML-Teams und arbeiten direkt mit AWS zusammen, um die Plattform auf Hyperscaler-Ebene zu beeinflussen.

Ihr Fokus liegt auf Cluster-Engineering und -Betrieb - nicht auf ML-Forschung selbst, sondern darauf, sicherzustellen, dass die Personen, die diese Forschung betreiben, über eine solide, effiziente und zugängliche Infrastruktur verfügen.

• Einrichten, Konfigurieren und kontinuierliche Weiterentwicklung der HyperPod-Cluster von NEURA, einschließlich HyperPod/Slurm und HyperPod/EKS-Orchestrierungsmodellen.
• Entwicklung und Implementierung von Strategien für die Cluster-Stabilität: Erkennung von Knotenfehlern, automatisierte Job-Wiederherstellung, Koordination von Checkpoints und fehlertolerante Multi-Knoten-Trainings-Workflows.
• Bereitstellung eines Workload-Prioritätsmanagementrahmens, der es mehreren Teams und Anwendungsfällen wie dem Pretraining von Grundmodellen, Feinabstimmung und Kundenarbeitslasten ermöglicht, die Clusterkapazität effizient und fair zu teilen.
• Optimierung der End-to-End-GPU-Nutzung: Identifizierung und Behebung von Engpässen in Bezug auf Rechenleistung, GPU-Speicher, EFA-Netzwerk und Speicher-Durchsatz.
• Enge Zusammenarbeit mit den Produkt- und Lösungsteams von AWS HyperPod, Eskalation von Betriebsproblemen, Teilen von Erkenntnissen aus einem der größten Bereitstellungen der Plattform und Festlegung konkreter Anforderungen auf der Roadmap.
• Bereitstellung von Self-Service-Tools, die es ML-Forschern und Ingenieuren ermöglichen, Trainingsjobs unabhängig zu starten, zu überwachen und zu verwalten, ohne dass eine Infrastrukturintervention für routinemäßige Operationen erforderlich ist.
• Entwicklung von Onboarding-Dokumentationen, Schulungsmaterialien und internen Workshops, die es den Benutzern ermöglichen, effizient zu arbeiten, bewährte Verfahren zu befolgen und die Kostenimplikationen ihrer Arbeitslasten zu verstehen.
• Infrastructure as Code ist für Sie selbstverständlich. Jede Clusterkonfiguration, jede betriebliche Änderung, jede neue Umgebung wird zuerst als Code behandelt.
• Verantwortung für die Kosten- und Kapazitätsstrategie: Verwaltung von Spot-Instanzen, Planung von reservierten Instanzen, Sparpläne und laufende Verhandlungen mit AWS.

Was wir erwarten können

• Über 5 Jahre Erfahrung in der Infrastruktur- oder Systemtechnik, mit starkem Fokus auf GPU-Cluster- oder HPC-Betrieb.
• Tiefgehende praktische Erfahrung mit AWS HyperPod und AWS-Instanzen; direkte vorherige Erfahrung mit HyperPod ist ein starkes Unterscheidungsmerkmal.
• Solides Verständnis sowohl von Slurm als auch von Kubernetes als Cluster-Orchestrierungsebenen und die Fähigkeit, deren Vor- und Nachteile für großangelegte GPU-Arbeitslasten zu bewerten.
• Praktisches Wissen über verteiltes Training - Sie verstehen, was den Durchsatz beeinflusst und wie man ihn debuggt.
• Erfahrung im Aufbau von Self-Service-Tools und operativen Dokumentationen für technische Endbenutzer.
• Sie machen komplexe Infrastruktur zugänglich, nicht nur funktional.
• Starkes Verständnis des Cloud-Kostenmanagements im großen Maßstab: Umgang mit Spot-Unterbrechungen, Kapazitätsreservierungen, Kostenattribution über Teams und Arbeitslasten.
• Komfortables Arbeiten über organisatorische Grenzen hinweg - Ihre Hauptpartner sind ML-Forscher, aber Sie werden auch eng mit Produkt-, Finanz- und Cloud-Anbieterteams zusammenarbeiten.
• Starke Englischkenntnisse. Deutsch ist von Vorteil.