Senior GPU Networking Architect

NVIDIA hat die Computergraphik, PC-Gaming und beschleunigtes Rechnen seit über 25 Jahren transformiert. Heute nutzen wir das unbegrenzte Potenzial von KI, um die nächste Ära des Rechnens zu definieren. Wir suchen einen Senior GPU Networking Architect, der unserem Netzwerk-Softwareteam beitritt und starke GPU-Architektur- und Programmierkenntnisse mitbringt, um GPU-Kommunikationskerne zu entwickeln und zu verbessern.

Diese Rolle verbindet GPU-Computing mit Netzwerken, indem sichergestellt wird, dass Kommunikationsprimitive sorgfältig in Übereinstimmung mit den Hardwarefähigkeiten der GPU entwickelt werden. Schließen Sie sich unserem Team von Ingenieuren an, das die Softwaregrundlage für die größten KI-Systeme weltweit entwickelt.

Verantwortlichkeiten

• Entwickeln, implementieren und optimieren Sie GPU-Kommunikationskerne, die kollektive und Punkt-zu-Punkt-Operationen in großangelegten KI-Systemen unterstützen.
• Nutzen Sie tiefes Wissen über GPU-Architektur – Thread-Planung, Speicherhierarchie, Ausführungspipelines – um die Effizienz der Kerne zu verbessern, Latenz zu minimieren und Berechnungen mit Kommunikation zu überlappen.
• Entwickeln Sie GPU-residente Kommunikationsprimitive und geräteseitige APIs, die eine feinkörnige, kernelinitiierte Datenbewegung über Knoten und Beschleuniger ermöglichen.
• Profilieren und optimieren Sie GPU-Kerne end-to-end, identifizieren Sie Engpässe an der Schnittstelle von Berechnung, Speicher und Netzwerk und treiben Sie gezielte Optimierungen voran.
• Zusammenarbeiten mit Netzwerksoftware-, Hardware- und KI-Framework-Teams, um Kommunikationsstrategien zu co-designen, die mit GPU-Ausführungsmustern und aufkommenden Modellarchitekturen übereinstimmen.
• Erstellen Sie Machbarkeitsstudien, führen Sie Experimente durch und erstellen Sie quantitative Modelle zur Bewertung und Validierung neuer Kommunikationsstrategien, bevor Sie diese in die Produktion überführen.
• Tragen Sie zur Weiterentwicklung von Programmiermodellen bei, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler zugänglich machen.

Qualifikationen

• Über 5 Jahre praktische Erfahrung in der CUDA-Programmierung, einschließlich Schreiben und Optimieren nicht-trivialer GPU-Kerne.
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computertechnik oder einem eng verwandten Bereich.
• Starkes Verständnis der Grundlagen der GPU-Architektur: Warp-Planung, Shared Memory, L2-Cache, Speicherkoaleszenz, Belegungsoptimierung und asynchrone Ausführung.
• Erfahrung in der systemnahen C/C++-Entwicklung in leistungskritischen Umgebungen.
• Vertrautheit mit Mechanismen der GPU-Datenbewegung wie GPUDirect RDMA und GPU-initiierten Kommunikation.
• Fähigkeit, GPU-Leistungsprofile zu lesen und zu analysieren (z.B. Nsight Compute, Nsight Systems) und Beobachtungen in umsetzbare Optimierungen zu übersetzen.
• Starke Zusammenarbeit in einem multinationalen, interdisziplinären Umfeld.

Besondere Merkmale

• Erfahrung in der Entwicklung oder Optimierung von Kommunikationskernen in Bibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-bewussten Kommunikationsframeworks.
• Verständnis von Techniken des verteilten Deep Learning, einschließlich Datenparallelismus, Tensorparallelismus, Pipeline-Parallelismus, Expertenparallelismus und Mischexperten-Parallelismus sowie der Kommunikationsmuster, die sie auf GPU-Kerne ausüben.
• Hintergrund in RDMA, InfiniBand, Hochgeschwindigkeitsnetzwerken und GPU-Systemtopologie, einschließlich NVLink, NVSwitch, PCIe und Netzwerkfabric, und deren Einfluss auf das Design von Kommunikationskernen.
• Erfahrung mit Überlappungstechniken wie Kernel-Pipelining, persistente Kerne oder kooperative Gruppen, um Kommunikationslatenz hinter Berechnungen zu verbergen.
• Nachgewiesene Erfahrung in der Bewertung und Optimierung von großangelegten LLM-Trainings- oder Inferenzlasten, einschließlich praktischer Arbeit mit Frameworks wie PyTorch, TensorRT-LLM oder vLLM und Vertrautheit mit aufkommenden Servierungsarchitekturen wie disaggregierter Servierung.

Bei NVIDIA arbeiten Sie mit Kollegen zusammen, die tiefes Fachwissen und innovatives Denken in der Branche demonstrieren und die Grenzen dessen, was in KI und Hochleistungsrechnen möglich ist, erweitern. Ihr Grundgehalt wird basierend auf Ihrem Standort, Ihrer Erfahrung und dem Gehalt von Mitarbeitern in ähnlichen Positionen festgelegt. NVIDIA bietet wettbewerbsfähige Gehälter und ein umfassendes Leistungspaket.

Wenn Sie leidenschaftlich an GPU-Architektur, Low-Level-Kernel-Optimierung und dem Aufbau des Kommunikationsgewebes für KI der nächsten Generation interessiert sind, möchten wir von Ihnen hören!