GPU Cluster Engineer - Large-Scale AI Training Infrastructure (Human)

Verantwortlichkeiten

• Sie sind der Ansprechpartner für die GPU-Cluster-Infrastruktur von NEURA - eine großangelegte AWS HyperPod-Umgebung, die modernste GPU-Instanzen für das Training von Grundmodellen und Kundenanpassungsarbeiten betreibt.
• Sie entwerfen den operativen Rahmen, erstellen Self-Service-Tools für ML-Teams und arbeiten direkt mit AWS zusammen, um die Plattform auf Hyperscaler-Ebene zu beeinflussen.
• Ihr Fokus liegt auf Clusterengineering und -betrieb - nicht auf ML-Forschung selbst, sondern darauf, sicherzustellen, dass die Personen, die diese Forschung durchführen, über eine solide, effiziente und zugängliche Infrastruktur verfügen.
• Einrichten, Konfigurieren und kontinuierliches Weiterentwickeln der HyperPod-Cluster von NEURA, einschließlich HyperPod/Slurm- und HyperPod/EKS-Orchestrierungsmodellen.
• Entwerfen und Implementieren von Strategien für die Clusterstabilität: Erkennung von Knotenfehlern, automatisierte Jobwiederherstellung, Koordination von Checkpoints und fehlertolerante Multi-Knoten-Trainings-Workflows.
• Bereitstellung eines Workload-Prioritätsmanagementrahmens, der es mehreren Teams und Anwendungsfällen ermöglicht, die Clusterkapazität effizient und fair zu teilen.
• Optimierung der End-to-End-GPU-Nutzung: Identifizierung und Behebung von Engpässen in Bezug auf Rechenleistung, GPU-Speicher, EFA-Netzwerk und Speicher-Durchsatz.
• Enge Zusammenarbeit mit den Produkt- und Lösungsteams von AWS HyperPod, Eskalation von Betriebsproblemen, Teilen von Erkenntnissen aus einem der größten Bereitstellungen der Plattform und Festlegung konkreter Anforderungen auf der Roadmap.
• Bereitstellung von Self-Service-Tools, die es ML-Forschern und Ingenieuren ermöglichen, Trainingsjobs unabhängig zu starten, zu überwachen und zu verwalten, ohne dass eine Infrastrukturintervention für Routineoperationen erforderlich ist.
• Entwicklung von Onboarding-Dokumentationen, Schulungsmaterialien und internen Workshops, die es den Nutzern ermöglichen, effizient zu arbeiten, bewährte Verfahren zu befolgen und die Kostenimplikationen ihrer Workloads zu verstehen.
• Infrastructure as Code ist für Sie selbstverständlich. Jede Clusterkonfiguration, jede betriebliche Änderung, jede neue Umgebung wird zuerst in Code umgesetzt.
• Verantwortung für die Kosten- und Kapazitätsstrategie: Verwaltung von Spot-Instanzen, Planung von reservierten Instanzen, Sparpläne und laufende Verhandlungen mit AWS.

Qualifikationen

• Über 5 Jahre Erfahrung in der Infrastruktur- oder Systemtechnik, mit starkem Fokus auf GPU-Cluster- oder HPC-Betrieb.
• Tiefgehende praktische Erfahrung mit AWS HyperPod und AWS-Instanzen; direkte vorherige Erfahrung mit HyperPod ist ein starkes Unterscheidungsmerkmal.
• Solides Verständnis sowohl von Slurm als auch von Kubernetes als Cluster-Orchestrierungsebenen und die Fähigkeit, deren Vor- und Nachteile für großangelegte GPU-Workloads zu bewerten.
• Praktisches Wissen über verteiltes Training - Sie verstehen, was den Durchsatz beeinflusst und wie man ihn debuggt.
• Erfahrung im Aufbau von Self-Service-Tools und Betriebshandbüchern für technische Endbenutzer.
• Sie machen komplexe Infrastruktur zugänglich, nicht nur funktional.
• Starkes Verständnis des Cloud-Kostenmanagements im großen Maßstab: Umgang mit Spot-Unterbrechungen, Kapazitätsreservierungen, Kostenattribution über Teams und Workloads.
• Komfortables Arbeiten über organisatorische Grenzen hinweg - Ihre Hauptpartner sind ML-Forscher, aber Sie werden auch eng mit Produkt-, Finanz- und Cloud-Anbieterteams zusammenarbeiten.
• Starke Englischkenntnisse. Deutsch ist von Vorteil.

Vorteile

• Werden Sie Teil eines agilen Unternehmens, gestalten Sie aktiv Themen mit und profitieren Sie von flachen Hierarchien in einem hochmotivierten Team.
• Genießen Sie ein attraktives Gehalt, flexible Arbeitszeiten und 30 Tage Urlaub.
• Die Freiheit, eigene Ideen einzubringen und voranzutreiben.
• Gemeinsame Erfolge bei Unternehmensveranstaltungen feiern.
• Profitieren Sie von unserem Corporate Benefits-Programm.