Senior Solutions Architect, HPC and AI

Wir suchen einen Senior Solutions Architect mit umfangreicher praktischer Erfahrung in der Bereitstellung, Fehlersuche und Optimierung von Trainings- und Inferenz-Workloads auf großflächigen GPU-Clustern. Da wir Kunden und Partner in ganz Europa bei der Schulung von Modellen auf bahnbrechender GPU-Infrastruktur unterstützen, suchen wir jemanden, der gerne komplexe Herausforderungen an der Schnittstelle von Hochleistungsrechnen und KI löst. Ebenso nimmt die Komplexität der Inferenz mit der Explosion von MOE-Modellen und der disaggregierten Ausführung zu, was die Inferenz zu einer echten HPC-Arbeitslast macht. Sie müssen nicht in jedem genannten Bereich Expertise haben, aber wir sind besonders an Kandidaten interessiert, die tiefes Wissen in mindestens einigen Schlüsselbereichen mitbringen, um groß angelegte KI-Workloads zu ermöglichen. Wenn Sie praktische Erfahrung nachweisen können, würden wir uns freuen, von Ihnen zu hören.

Was Sie tun werden:

• Zusammenarbeit mit den Entwicklern des Trainingsrahmenwerks von NVIDIA und den Produktteams, um über die neuesten Funktionen informiert zu bleiben und Partner bei deren effektiver Annahme zu unterstützen.
• Unterstützung bei der Bereitstellung, Fehlersuche und Verbesserung der Effizienz von KI-Workloads auf umfangreichen NVIDIA-Plattformen.
• Benchmarking neuer Rahmenfunktionen, Analyse der Leistung und Weitergabe umsetzbarer Erkenntnisse an Kunden und interne Teams.
• Direkte Zusammenarbeit mit externen Kunden zur Lösung von Leistungs- und Stabilitätsproblemen von Clustern, Identifizierung von Engpässen und Implementierung effektiver Lösungen.
• Aufbau von Fachwissen und Anleitung der Kunden beim effizienten und zuverlässigen Skalieren von Workloads auf der neuesten Generation von NVIDIA-GPUs.
• Beitrag zur europäischen Sovereign AI-Initiative, indem Kunden bei der Implementierung fortschrittlicher Resilienzfunktionen innerhalb von KI-Trainingspipelines unterstützt werden.

Was wir sehen müssen:

• BS, MS, PhD oder gleichwertige Erfahrung in Informatik, Elektrotechnik/Informatik, Physik, Mathematik oder einem verwandten Ingenieurfeld – oder gleichwertige praktische Erfahrung.
• Über 8 Jahre Erfahrung in beschleunigten Computing-Technologien auf Clustergröße, idealerweise einschließlich Arbeit mit NVIDIA-Plattformen.
• Starke Programmierkenntnisse in mindestens einer der folgenden Sprachen: C, C++ oder Python.
• Praktische Erfahrung in der Identifizierung und Behebung von Engpässen in großflächigen Trainings-Workloads oder parallelen Anwendungen.
• Praktische Erfahrung in der Profilerstellung und Fehlersuche großer paralleler Anwendungen.
• Solides Verständnis von CPU- und GPU-Architekturen, CUDA, parallelen Dateisystemen und Hochgeschwindigkeitsverbindungen.
• Erfahrung in der Arbeit mit großen Rechenclustern mit Verständnis ihrer internen Planungs- und Ressourcenmanagementmechanismen (z.B. SLURM oder cloudbasierte Cluster).
• Fundierte Kenntnisse von Trainingspipelines und -rahmenwerken, einschließlich ihrer internen Abläufe und Leistungsmerkmale.

Wie Sie sich von der Masse abheben können:

• Erfahrung in der Fehlersuche von Trainingspipelines, die in Produktionsumgebungen auf Tausenden von GPUs laufen.
• Praktische Erfahrung mit Leistungsprofilierung und Optimierungen unter Verwendung von Tools wie Nsight Systems, Nsight Compute und gutes Verständnis von NCCL, MPI und Low-Level-Kommunikationsbibliotheken.
• Fähigkeit, Stabilitätsprobleme über den gesamten Stack hinweg zu debuggen: parallele Anwendung, Trainingsrahmenwerke, Laufzeitbibliotheken, Scheduler und Hardware.
• Solides Verständnis der internen Funktionsweise von LLM-Rahmenwerken wie PyTorch, Megatron-LM oder NeMo und wie sie die Compute-Schichten wie CPUs, GPUs, Netzwerk und Speicher beeinflussen oder Verständnis von Inferenztools wie vLLM, Dynamo, TensorRT-LLM, RedHat Inference Server oder SGLang.