Senior GPU Networking Architect

NVIDIA hat die Computergraphik, das PC-Gaming und das beschleunigte Rechnen seit mehr als 25 Jahren transformiert. Heute nutzen wir das unbegrenzte Potenzial von KI, um die nächste Ära des Rechnens zu definieren. Wir suchen einen Senior GPU Networking Architect, der unserem Netzwerk-Softwareteam beitritt und starke GPU-Architektur- und Programmierkenntnisse mitbringt, um GPU-Kommunikationskerne zu entwickeln und zu verbessern.

Was Sie tun werden:

• GPU-Kommunikationskerne erstellen, implementieren und optimieren, die kollektive und Punkt-zu-Punkt-Operationen in großangelegten KI-Systemen unterstützen.
• Tiefes Wissen über GPU-Architektur nutzen, um die Effizienz der Kerne zu verbessern, Latenz zu minimieren und Berechnungen mit Kommunikation zu überlappen.
• GPU-residente Kommunikationsprimitive und geräteseitige APIs entwickeln, die eine feingranulare, kernelinitiierte Datenbewegung über Knoten und Beschleuniger ermöglichen.
• GPU-Kerne end-to-end profilieren und abstimmen, Engpässe an der Schnittstelle von Berechnung, Speicher und Netzwerk identifizieren und gezielte Optimierungen vorantreiben.
• Mit Netzwerksoftware-, Hardware- und KI-Framework-Teams zusammenarbeiten, um Kommunikationsstrategien zu co-designen, die mit GPU-Ausführungsmustern und aufkommenden Modellarchitekturen übereinstimmen.
• Proofs-of-Concept erstellen, Experimente durchführen und quantitative Modellierung zur Bewertung und Validierung neuer Kommunikationsstrategien durchführen.
• Zur Evolution von Programmiermodellen beitragen, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler zugänglich machen.

Was wir sehen müssen:

• 5+ Jahre praktische CUDA-Programmierung, einschließlich Schreiben und Optimieren nicht-trivialer GPU-Kerne.
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computertechnik oder einem eng verwandten Bereich.
• Starkes Verständnis der Grundlagen der GPU-Architektur: Warp-Scheduling, Shared Memory, L2-Cache, Speicherkoaleszenz, Belegungsoptimierung und asynchrone Ausführung.
• Erfahrung mit systemnaher C/C++-Entwicklung in leistungs-kritischen Umgebungen.
• Vertrautheit mit GPU-Datenbewegungsmechanismen wie GPUDirect RDMA und GPU-initiierten Kommunikationen.
• Fähigkeit, GPU-Leistungsprofile zu lesen und zu analysieren und Beobachtungen in umsetzbare Optimierungen zu übersetzen.
• Starke Zusammenarbeit in einem multinationalen, interdisziplinären Umfeld.

Herausstechen aus der Menge:

• Erfahrung in der Entwicklung oder Optimierung von Kommunikationskernen in Bibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-bewussten Kommunikationsframeworks.
• Verständnis von Techniken des verteilten Deep Learning, einschließlich Datenparallelismus, Tensorparallelismus, Pipeline-Parallelismus, Expertenparallelismus und Mischexperten-Parallelismus sowie der Kommunikationsmuster, die sie auf GPU-Kerne auferlegen.
• Hintergrund in RDMA, InfiniBand, Hochgeschwindigkeitsnetzwerken und GPU-Systemtopologie, einschließlich NVLink, NVSwitch, PCIe und Netzwerkfabriken, und deren Einfluss auf das Design von Kommunikationskernen.
• Erfahrung mit Überlappungstechniken wie Kernel-Pipelining, persistente Kerne oder kooperative Gruppen, um Kommunikationslatenz hinter Berechnungen zu verbergen.
• Nachgewiesene Erfahrung in der Evaluierung und Optimierung von großangelegten LLM-Trainings- oder Inferenzlasten, einschließlich praktischer Arbeit mit Frameworks wie PyTorch, TensorRT-LLM oder vLLM und Vertrautheit mit aufkommenden Servierungsarchitekturen.

Bei NVIDIA arbeiten Sie mit Kollegen zusammen, die tiefes Fachwissen und innovatives Denken in der Branche demonstrieren. Wenn Sie leidenschaftlich an GPU-Architektur, Low-Level-Kernel-Optimierung und dem Aufbau des Kommunikationsgewebes für die nächste Generation von KI interessiert sind, möchten wir von Ihnen hören!