GPU Networking Architect in Zürich

NVIDIA hat die Computergraphik, PC-Gaming und beschleunigtes Rechnen seit mehr als 25 Jahren transformiert. Heute nutzen wir das unbegrenzte Potenzial von KI, um die nächste Ära des Rechnens zu definieren. Wir suchen einen Senior GPU Networking Architect, der unserem Netzwerk-Softwareteam beitritt und starke GPU-Architektur- und Programmierkenntnisse mitbringt, um GPU-Kommunikationskerne zu entwickeln und zu verbessern.

Aufgaben:

• Entwickeln, implementieren und optimieren von GPU-Kommunikationskernen, die kollektive und Punkt-zu-Punkt-Operationen in großangelegten KI-Systemen unterstützen.
• Tiefes Wissen über GPU-Architektur nutzen, um die Effizienz der Kerne zu verbessern, Latenz zu minimieren und Berechnungen mit Kommunikation zu überlappen.
• Entwickeln von GPU-residenten Kommunikationsprimitive und geräteseitigen APIs, die eine feingranulare, kerninitiierte Datenbewegung über Knoten und Beschleuniger ermöglichen.
• Profilieren und Abstimmen von GPU-Kernen, um Engpässe an der Schnittstelle von Berechnung, Speicher und Netzwerk zu identifizieren und gezielte Optimierungen voranzutreiben.
• Zusammenarbeiten mit Netzwerksoftware-, Hardware- und KI-Framework-Teams, um Kommunikationsstrategien zu co-designen, die mit GPU-Ausführungsmustern und aufkommenden Modellarchitekturen übereinstimmen.
• Erstellen von Machbarkeitsstudien, Durchführung von Experimenten und quantitative Modellierung zur Bewertung und Validierung neuer Kommunikationsstrategien.
• Zur Evolution von Programmiermodellen beitragen, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler bereitstellen.

Was wir sehen möchten:

• Über 5 Jahre praktische CUDA-Programmierung, einschließlich Schreiben und Optimieren nicht-trivialer GPU-Kerne.
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computertechnik oder einem eng verwandten Bereich.
• Starkes Verständnis der Grundlagen der GPU-Architektur: Warp-Scheduling, Shared Memory, L2-Cache, Speicherkoaleszenz, Belegungsoptimierung und asynchrone Ausführung.
• Erfahrung mit systemnaher C/C++-Entwicklung in leistungsorientierten Umgebungen.
• Vertrautheit mit GPU-Datenbewegungsmechanismen wie GPUDirect RDMA und GPU-initiierten Kommunikationen.
• Fähigkeit, GPU-Leistungsprofile zu lesen und zu analysieren und Beobachtungen in umsetzbare Optimierungen zu übersetzen.
• Starke Zusammenarbeit in einem multinationalen, interdisziplinären Umfeld.

Erfahrungen:

• Erfahrung in der Entwicklung oder Optimierung von Kommunikationskernen in Bibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-bewussten Kommunikationsframeworks.
• Verständnis von Techniken des verteilten Deep Learning, einschließlich Datenparallelismus, Tensorparallelismus, Pipeline-Parallelismus, Expertenparallelismus und Mischexpertenparallelismus.
• Hintergrund in RDMA, InfiniBand, Hochgeschwindigkeitsnetzwerken und GPU-Systemtopologie, einschließlich NVLink, NVSwitch, PCIe und Netzwerkfabric.
• Erfahrung mit Überlappungstechniken wie Kernel-Pipelining, persistente Kerne oder kooperative Gruppen.
• Nachgewiesene Erfahrung in der Evaluierung und Optimierung von großangelegten LLM-Trainings- oder Inferenzlasten.

Bei NVIDIA arbeiten Sie mit Kollegen zusammen, die tiefes Fachwissen und innovative Denkweise in der Branche demonstrieren. NVIDIA bietet wettbewerbsfähige Gehälter und ein umfassendes Leistungspaket.