Senior GPU Networking Architect

NVIDIA hat die Computergraphik, PC-Gaming und beschleunigtes Rechnen seit mehr als 25 Jahren transformiert. Heute nutzen wir das unbegrenzte Potenzial von KI, um die nächste Ära des Rechnens zu definieren. Wir suchen einen Senior GPU Networking Architect, der unserem Netzwerk-Softwareteam beitritt und starke GPU-Architektur- und Programmierkenntnisse mitbringt, um GPU-Kommunikationskerne zu entwickeln und zu verbessern.

Was Sie tun werden:

• GPU-Kommunikationskerne erstellen, implementieren und optimieren, die kollektive und Punkt-zu-Punkt-Operationen in großangelegten KI-Systemen unterstützen.
• Tiefes Wissen über GPU-Architektur nutzen, um die Effizienz der Kerne zu verbessern, Latenz zu minimieren und Berechnungen mit Kommunikation zu überlappen.
• GPU-residente Kommunikationsprimitive und geräteseitige APIs entwickeln, die eine feingranulare, kernelinitiierte Datenbewegung über Knoten und Beschleuniger ermöglichen.
• GPU-Kerne end-to-end profilieren und abstimmen, Engpässe an der Schnittstelle von Berechnung, Speicher und Netzwerk identifizieren und gezielte Optimierungen vorantreiben.
• Mit Netzwerksoftware-, Hardware- und KI-Framework-Teams zusammenarbeiten, um Kommunikationsstrategien zu entwerfen, die mit GPU-Ausführungsmustern und aufkommenden Modellarchitekturen übereinstimmen.
• Proofs-of-Concept erstellen, Experimente durchführen und quantitative Modellierung durchführen, um neue Kommunikationsstrategien zu bewerten und zu validieren, bevor sie in die Produktion gehen.
• Zur Weiterentwicklung von Programmiermodellen beitragen, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler bereitstellen.

Was wir sehen müssen:

• 5+ Jahre praktische CUDA-Programmierung, einschließlich Schreiben und Optimieren nicht-trivialer GPU-Kerne.
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computertechnik oder einem eng verwandten Bereich.
• Starkes Verständnis der Grundlagen der GPU-Architektur: Warp-Scheduling, Shared Memory, L2-Cache, Speicherkoaleszenz, Belegungsoptimierung und asynchrone Ausführung.
• Erfahrung mit systemnaher C/C++-Entwicklung in leistungs-kritischen Umgebungen.
• Vertrautheit mit GPU-Datenbewegungsmechanismen wie GPUDirect RDMA und GPU-initiierten Kommunikationen.
• Fähigkeit, GPU-Leistungsprofile zu lesen und zu analysieren und Beobachtungen in umsetzbare Optimierungen zu übersetzen.
• Starke Zusammenarbeit in einem multinationalen, interdisziplinären Umfeld.

Hervorstechen aus der Menge:

• Erfahrung in der Entwicklung oder Optimierung von Kommunikationskernen in Bibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-bewussten Kommunikationsframeworks.
• Verständnis von Techniken des verteilten Deep Learning, einschließlich Datenparallelismus, Tensorparallelismus, Pipeline-Parallelismus, Expertenparallelismus und Mischexperten-Parallelismus sowie der Kommunikationsmuster, die sie auf GPU-Kerne auferlegen.
• Hintergrund in RDMA, InfiniBand, Hochgeschwindigkeitsnetzwerken und GPU-Systemtopologie, einschließlich NVLink, NVSwitch, PCIe und Netzwerkfabriken, und deren Einfluss auf das Design von Kommunikationskernen.
• Erfahrung mit Überlappungstechniken wie Kernel-Pipelining, persistente Kerne oder kooperative Gruppen, um Kommunikationslatenz hinter Berechnungen zu verbergen.
• Nachgewiesene Erfahrung in der Bewertung und Optimierung von großangelegten LLM-Trainings- oder Inferenzlasten, einschließlich praktischer Arbeit mit Frameworks wie PyTorch, TensorRT-LLM oder vLLM und Vertrautheit mit aufkommenden Servierungsarchitekturen wie disaggregierter Servierung.

Bei NVIDIA arbeiten Sie mit Kollegen zusammen, die tiefes Fachwissen und innovative Denkweise in der Branche demonstrieren und die Grenzen dessen, was in KI und Hochleistungsrechnen möglich ist, erweitern. Wenn Sie leidenschaftlich an GPU-Architektur, Low-Level-Kernel-Optimierung und dem Aufbau des Kommunikationsgewebes für die nächste Generation von KI interessiert sind, möchten wir von Ihnen hören!

NVIDIA gilt weithin als einer der begehrtesten Arbeitgeber der Technologiebranche und bietet hoch wettbewerbsfähige Gehälter sowie ein umfassendes Leistungspaket.