GPU Cluster Engineer (human)

Gestalten Sie die Zukunft der Mensch-Roboter-Kollaboration. In der Softwareabteilung entwickeln Sie robotergestützte Lösungen, die die Zusammenarbeit zwischen Mensch und Maschine neu definieren. Sie arbeiten mit modernster Technologie und setzen branchenverändernde Standards. Sie helfen nicht nur bei der Entwicklung unserer Lösungen, sondern setzen auch neue Trends und treiben Innovationen voran. In einem agilen und interdisziplinären Team engagieren Sie sich in spannenden Projekten. Mit klaren Scrum-Prozessen wie täglichen Stand-ups, Sprint-Planung und Reviews bleiben Sie flexibel und effizient. Die enge Zusammenarbeit mit anderen Abteilungen ermöglicht es Ihnen, Softwarelösungen zu schaffen, die sowohl technisch fortschrittlich als auch praktisch effektiv sind.

Ihre Mission & Herausforderungen:

• Sie sind der Ansprechpartner für die GPU-Cluster-Infrastruktur von NEURA – eine großangelegte AWS HyperPod-Umgebung, die modernste GPU-Instanzen für das Training von Grundmodellen und Kundenanpassungsarbeiten betreibt.
• Sie entwerfen den operativen Rahmen, bauen Self-Service-Tools für ML-Teams und arbeiten direkt mit AWS zusammen, um die Plattform auf Hyperscaler-Ebene zu beeinflussen.
• Ihr Fokus liegt auf Clusterengineering und -betrieb – nicht auf ML-Forschung selbst, sondern darauf, sicherzustellen, dass die Forscher über eine solide, effiziente und zugängliche Infrastruktur verfügen.
• Einrichten, Konfigurieren und kontinuierliches Weiterentwickeln der HyperPod-Cluster von NEURA, einschließlich HyperPod/Slurm und HyperPod/EKS-Orchestrierungsmodellen.
• Entwicklung und Implementierung von Strategien zur Clusterstabilität: Erkennung von Knotenfehlern, automatisierte Jobwiederherstellung, Koordination von Checkpoints und fehlertolerante Multi-Knoten-Trainings-Workflows.
• Bereitstellung eines Workload-Prioritätsmanagementrahmens, der es mehreren Teams und Anwendungsfällen ermöglicht, die Clusterkapazität effizient und fair zu teilen.
• Optimierung der End-to-End-GPU-Nutzung: Identifizierung und Behebung von Engpässen in Bezug auf Rechenleistung, GPU-Speicher, EFA-Netzwerk und Speicher-Durchsatz.
• Enge Zusammenarbeit mit den Produkt- und Lösungsteams von AWS HyperPod, Eskalation von Betriebsproblemen, Teilen von Erkenntnissen aus einer der größten Bereitstellungen der Plattform und Festlegung konkreter Anforderungen an die Roadmap.
• Bereitstellung von Self-Service-Tools, die es ML-Forschern und Ingenieuren ermöglichen, Trainingsjobs unabhängig zu starten, zu überwachen und zu verwalten, ohne dass eine Infrastrukturintervention für Routineoperationen erforderlich ist.
• Entwicklung von Onboarding-Dokumentationen, Schulungsmaterialien und internen Workshops, die es den Nutzern ermöglichen, effizient zu arbeiten, bewährte Verfahren zu befolgen und die Kostenimplikationen ihrer Workloads zu verstehen.
• Infrastructure as Code ist für Sie selbstverständlich. Jede Clusterkonfiguration, jede betriebliche Änderung, jede neue Umgebung wird zuerst in Code umgesetzt.
• Verantwortung für die Kosten- und Kapazitätsstrategie: Verwaltung von Spot-Instanzen, Planung von reservierten Instanzen, Sparpläne und laufende Verhandlungen mit AWS.

Was wir erwarten:

• 5+ Jahre Erfahrung in der Infrastruktur- oder Systemtechnik mit starkem Fokus auf GPU-Cluster- oder HPC-Betrieb.
• Tiefe praktische Erfahrung mit AWS HyperPod und AWS-Instanzen; direkte vorherige Erfahrung mit HyperPod ist ein starkes Unterscheidungsmerkmal.
• Solides Verständnis von Slurm und Kubernetes als Cluster-Orchestrierungsebenen und die Fähigkeit, deren Vor- und Nachteile für großangelegte GPU-Workloads zu bewerten.
• Praktisches Wissen über verteiltes Training – Sie verstehen, was den Durchsatz beeinflusst und wie man ihn debuggt.
• Erfahrung in der Erstellung von Self-Service-Tools und Betriebshandbüchern für technische Endbenutzer.
• Sie machen komplexe Infrastruktur zugänglich, nicht nur funktional.
• Starkes Verständnis des Cloud-Kostenmanagements im großen Maßstab: Umgang mit Spot-Unterbrechungen, Kapazitätsreservierungen, Kostenattribution über Teams und Workloads.
• Komfortable Zusammenarbeit über organisatorische Grenzen hinweg – Ihre Hauptpartner sind ML-Forscher, aber Sie arbeiten auch eng mit Produkt-, Finanz- und Cloud-Anbieterteams zusammen.
• Starke Englischkenntnisse. Deutsch ist von Vorteil.

Was Sie erwarten können:

• Kreative Freiheit und Agilität: Genießen Sie eine dynamische, selbstständige Arbeitskultur mit flachen Hierarchien, flexiblen Arbeitszeiten und 30 Urlaubstagen.
• Leidenschaft für den Erfolg: Ein leidenschaftliches und hochqualifiziertes Team internationaler Experten, das darauf abzielt, Roboterassistenten neu zu definieren.
• Attraktive Vergütung: Genießen Sie ein wettbewerbsfähiges Gehaltspaket sowie exklusive Mitarbeiterrabatte.
• Ein Team: Ob Sommerfest oder Unternehmensversammlungen, wir feiern unsere Erfolge gemeinsam.
• Berufliches Wachstum: Unterstützung für Ihre persönliche und berufliche Entwicklung.