Senior HPC and AI Networking Performance Research and Analysis Engineer

NVIDIA sucht einen talentierten Performance Research and Analysis Engineer zur Verstärkung unseres Performance-Teams. Der ideale Kandidat wird AI-Workloads auf großen GPU- und CPU-Skalen-Clustern für verteiltes Deep Learning LLM-Training und Inferenz analysieren, mit Fokus auf Kommunikationsmuster, kollektive Kommunikation, RDMA, Netzwerk- und Systemleistung.

Sie werden mit vielen Arten von Hardware-Plattformen wie HCAs, Switches, CPUs, GPUs und Systemen sowie mit verschiedenen Software-Schichten und -Funktionen arbeiten. Sie werden Erfahrung mit Simulatoren und der Entwicklung von Performance-Analysetools und -methoden sammeln, um tief in die Details einzutauchen, Leistungserwartungen, Einschränkungen und Engpässe im Rahmen der Ursachenanalyse dieser Jobs zu verstehen.

• Erfahrung und Forschung zu AI-Workloads und DL-Modellen, die speziell für das großangelegte Deep Learning LLM-Training auf NVIDIA-Supercomputern mit Fokus auf Hochleistungsnetzwerke zugeschnitten sind.
• Benchmarking, Profilierung und Analyse der Leistung, um Engpässe zu finden und Verbesserungs- und Optimierungsbereiche zu identifizieren, mit starkem Fokus auf Netzwerkaspekte.
• Implementierung von Performance-Analysetools.
• Zusammenarbeit mit vielen Teams von Hardware bis Software, um Einblicke in die Leistungsanalyse zu bieten.
• Definition von Leistungstestplänen, Festlegung von Leistungserwartungen für neue Technologien und Lösungen und Arbeit zur Erreichung der Leistungsziele.

• B.Sc in Informatik oder Software Engineering
• 6+ Jahre Erfahrung mit Hochleistungsnetzwerken (RDMA, MPI, NCCL)
• Nachgewiesene Fähigkeiten und Methoden in der Leistungsanalyse.
• Erfahrung mit NVIDIA GPUs, CUDA-Bibliothek, Deep-Learning-Frameworks wie TensorFlow oder PyTorch.
• Kombiniert mit Fachwissen in kollektiven Kommunikationsbibliotheken (wie NCCL) und Protokollen (wie RoCE und RDMA).
• Schnelle und selbstständige Lernfähigkeiten mit starken analytischen und problemlösenden Fähigkeiten.
• Programmiersprachen: Python, Bash und C.
• Erfahrung mit Linux-OS-Distributionen.
• Teamplayer mit guten Kommunikations- und zwischenmenschlichen Fähigkeiten.

• Tiefgehendes Wissen und Erfahrung mit Benchmarking von AI-Workloads für verteiltes LLM-Training, CUDA und NCCL-Bibliotheken.
• Tiefgehendes Systemwissen und Verständnis (Intel / AMD / ARM CPUs, NVIDIA GPUs, HCA, Speicher, PCI).
• Kenntnisse in Algorithmen zur Staukontrolle.

NVIDIA setzt sich für ein vielfältiges Arbeitsumfeld ein und ist stolz darauf, ein Arbeitgeber mit Chancengleichheit zu sein. Wir schätzen Vielfalt bei unseren aktuellen und zukünftigen Mitarbeitern und diskriminieren nicht (einschließlich unserer Einstellungs- und Beförderungspraktiken) aufgrund von Rasse, Religion, Hautfarbe, nationaler Herkunft, Geschlecht, Geschlechtsidentität, sexueller Orientierung, Alter, Familienstand, Veteranenstatus, Behinderungsstatus oder einer anderen durch das Gesetz geschützten Eigenschaft.