Senior Systems Software Engineer, Kubernetes Scale - DGX Cloud

Die DGX Cloud-Organisation bei NVIDIA vereint modernste Hardware- und Software-Innovationen, um branchenführendes beschleunigtes Computing für die abenteuerlichsten KI-Workloads der Welt bereitzustellen. Wir sind ein Team innovativer Ingenieure, das sich der Lösung einiger der größten Herausforderungen der Welt widmet, ständig Fortschritte vorantreibt und Millionen von Leben weltweit beeinflusst! Wir suchen einen herausragenden Senior Systems Software Engineer mit umfassender Erfahrung in verteilten Systemen, Open-Source-Technologien wie Kubernetes und Containern sowie einem starken Hintergrund in Systemleistung und Skalierbarkeit.

Der ideale Kandidat bringt umfassende Erfahrungen über den gesamten Stack hinweg mit – von GPU-Operatoren und Geräte-Plugins bis hin zu verteiltem Inferenz-Serving und Cloud-Plattformen – sowie die technische Tiefe, um spannende, reale Probleme im großen Maßstab zu untersuchen und anzugehen. In dieser entscheidenden Rolle werden Sie die Herausforderung annehmen, die KI-Infrastruktur zu skalieren und gleichzeitig die Gesamtkosten zu optimieren, um die Kosten pro Token zu senken und die nächste Generation von KI-Innovationen und KI-Fabriken freizuschalten!

Was Sie tun werden:

• End-to-End-Leistung und Skalierungscharakterisierung für den NVIDIA DGX Cloud-Software-Stack vorantreiben, von Kubernetes-Kontroll- und Datenebenen bis hin zu NVIDIA-Komponenten wie GPU-Operator, Netzwerk-Operator, DCGM, NIM und verteiltem Inferenz-Serving, wobei Probleme von der Orchestrierung bis zum Metall verfolgt werden.
• Mit KI-Forschern, Entwicklern und Kunden zusammenarbeiten, um innovative, automatisierte Tests zu entwickeln, die reale Benutzer-Workloads mit maßgeschneiderten und führenden Open-Source-Tools und -Frameworks simulieren.
• In Leistungs- und Skalierungsprobleme in komplexen verteilten Systemen eintauchen, einschließlich der Interaktionen zwischen Kubernetes und dem NVIDIA-Software-Stack, um die Ursachen zu identifizieren und zu beheben.
• Überwachungs-, Reporting- und Analysetools für Leistungs- und Skalierungstests über Software-, GPU- und CPU-Ressourcen entwerfen und entwickeln.
• Probleme im Zusammenhang mit dem Betrieb von Kubernetes-Clustern in ultra-großem Maßstab triagieren, debuggen und die Ursachen ermitteln, um Zuverlässigkeit und Effizienz sicherzustellen.
• Ein hochdynamisches Framework aufbauen und pflegen, das kontinuierliche, immer verfügbare Leistungs- und Skalierungstests über eine moderne CI/CD-Pipeline ermöglicht.
• Forschung, Methoden und Ergebnisse klar und präzise dokumentieren und Ergebnisse intern und extern präsentieren, einschließlich Community-Konferenzen wie KubeCon und GTC.
• Effizient mit upstream-Communities – einschließlich Kubernetes, CNCF und NVIDIA Open-Source-Projekten – interagieren, um die Leistung und Skalierbarkeit von KI-Workloads frühzeitig zu validieren und Design- und Entwicklungsentscheidungen zu beeinflussen.

Was wir sehen möchten:

• Über 8 Jahre Erfahrung in Computerarchitektur, Netzwerken, Speichersystemen, Beschleunigern und einen Bachelor/Master in Ingenieurwissenschaften (vorzugsweise Elektrotechnik, Computertechnik oder Informatik) oder gleichwertige Erfahrung.
• Expertise in Kubernetes und Vertrautheit mit verwandten CNCF-Projekten.
• Hintergrund in der Arbeit mit großflächigen parallelen und verteilten beschleunigerbasierten Systemen.
• Expertise in der Optimierung von Leistung und KI-Workloads auf großflächigen Systemen.
• Erfahrung mit Leistungsmodellierung und Benchmarking im großen Maßstab.
• Kenntnisse in Golang/Python.
• Hintergrund im NVIDIA-Software-Ökosystem sowohl im Trainings- als auch im Inferenzbereich.
• Expertise mit mindestens einer öffentlichen CSP-Infrastruktur (z.B. GCP, AWS, Azure, OCI).

Wie Sie sich von der Masse abheben können:

• Starke operative Erfahrung mit einer der Kubernetes-Distributionen.
• Frühere Erfahrung in der Skalierung von Kubernetes-Clustern auf ultra-große Knoten- und Objektzahlen.
• Nachgewiesene Geschichte der Arbeit in der Open-Source-Community.
• Exzellente Kommunikations- und zwischenmenschliche Fähigkeiten.
• Doktorgrad in relevanten Bereichen.

NVIDIA wird weithin als einer der begehrtesten Arbeitgeber der Technologiebranche angesehen. Wir haben einige der fortschrittlichsten und fleißigsten Menschen der Welt, die für uns arbeiten. Wenn Sie kreativ und autonom sind, möchten wir von Ihnen hören!