Senior Software Engineer, AI Inference Systems

Wir suchen hochqualifizierte und motivierte Software-Ingenieure, die uns dabei unterstützen, KI-Inferenzsysteme zu entwickeln, die großangelegte Modelle mit extremer Effizienz bedienen. Sie werden Hochleistungs-Inferenzstacks entwerfen und implementieren, GPU-Kerne und Compiler optimieren, Branchenbenchmarks vorantreiben und Workloads über Multi-GPU-, Multi-Node- und Multi-Cloud-Umgebungen skalieren. Sie werden mit Teams aus den Bereichen Inferenz, Compiler, Planung und Leistung zusammenarbeiten, um die Grenzen des beschleunigten Rechnens für KI zu erweitern.

Was Sie tun werden:

• Funktionen zu vLLM beitragen, die die neuesten Modelle mit den neuesten NVIDIA-GPU-Hardwarefunktionen ausstatten; das Inferenz-Framework (vLLM) mit Methoden wie spekulativer Dekodierung, Daten-/Tensor-/Experten-/Pipeline-Parallele und Prefill-Dekodierungsdisaggregation profilieren und optimieren.
• GPU-Kerne (handoptimiert und vom Compiler generiert) mit Techniken wie Fusion, Autotuning und Speicher-/Layout-Optimierung entwickeln, optimieren und benchmarken; hochrangige DSLs und Compiler-Infrastruktur aufbauen und erweitern, um die Produktivität der Kernel-Entwickler zu steigern und gleichzeitig eine maximale Hardwareauslastung zu erreichen.
• Methoden und Werkzeuge zur Inferenz-Benchmarking definieren und erstellen; sowohl neue Benchmarks als auch NVIDIA-Beiträge zur branchenführenden MLPerf Inferenz-Benchmarking-Suite beisteuern.
• Die Planung und Orchestrierung containerisierter großangelegter Inferenzbereitstellungen auf GPU-Clustern über Clouds architektonisch gestalten.
• Originalforschung durchführen und veröffentlichen, die die Pareto-Grenze im Bereich der ML-Systeme verschiebt; aktuelle Veröffentlichungen durchsehen und einen Weg finden, Forschungsansätze und Prototypen in die Softwareprodukte von NVIDIA zu integrieren.

Was wir sehen möchten:

• Abschluss (oder gleichwertige Erfahrung) in Informatik (CS), Computertechnik (CE) oder Softwaretechnik (SE) mit mehr als 7 Jahren Erfahrung; alternativ Master-Abschluss in CS/CE/SE mit mehr als 5 Jahren Erfahrung; oder Doktortitel mit der Dissertation und erstklassigen Veröffentlichungen in ML-Systemen, GPU-Architektur oder Hochleistungsrechnen.
• Starke Programmierkenntnisse in Python und C/C++; Erfahrung mit Go oder Rust ist von Vorteil; solide Grundlagen in der Informatik: Algorithmen & Datenstrukturen, Betriebssysteme, Computerarchitektur, paralleles Programmieren, verteilte Systeme, Theorien des tiefen Lernens.
• Kenntnis und Leidenschaft für Performance Engineering in ML-Frameworks (z.B. PyTorch) und Inferenz-Engines (z.B. vLLM und SGLang).
• Vertrautheit mit GPU-Programmierung und -Leistung: CUDA, Speicherhierarchie, Streams, NCCL; Kenntnisse in Profilierungs-/Debugging-Tools (z.B. Nsight Systems/Compute).
• Erfahrung mit Containern und Orchestrierung (Docker, Kubernetes, Slurm); Vertrautheit mit Linux-Namensräumen und cgroups.
• Ausgezeichnete Debugging-, Problemlösungs- und Kommunikationsfähigkeiten; Fähigkeit, in einem schnelllebigen, multifunktionalen Umfeld zu glänzen.

Wie Sie sich von der Masse abheben können:

• Erfahrung im Aufbau und in der Optimierung von LLM-Inferenz-Engines (z.B. vLLM, SGLang).
• Praktische Erfahrung mit ML-Compilern und DSLs (z.B. Triton, TorchDynamo/Inductor, MLIR/LLVM, XLA), GPU-Bibliotheken (z.B. CUTLASS) und Funktionen (z.B. CUDA Graph, Tensor Cores).
• Erfahrung mit Containerisierungs-/Virtualisierungstechnologien wie containerd/CRI-O/CRIU.
• Erfahrung mit Cloud-Plattformen (AWS/GCP/Azure), Infrastruktur als Code, CI/CD und Produktionsbeobachtbarkeit.
• Beiträge zu Open-Source-Projekten und/oder Veröffentlichungen; bitte Links zu GitHub-Pull-Requests, veröffentlichten Arbeiten und Artefakten beifügen.

Bei NVIDIA glauben wir, dass künstliche Intelligenz (KI) grundlegend verändern wird, wie Menschen leben und arbeiten. Unsere Mission ist es, die KI-Forschung und -Entwicklung voranzutreiben, um bahnbrechende Technologien zu schaffen, die es jedem ermöglichen, die Kraft der KI zu nutzen und von ihrem Potenzial zu profitieren. Unser Team besteht aus Experten für KI, Systeme und Leistungsoptimierung. Unsere Führung umfasst weltweit anerkannte Experten in KI-Systemen, die mehrere akademische und industrielle Forschungsawards erhalten haben. Wenn Sie begeistert sind, Systeme, Kerne und Werkzeuge zu entwickeln, die großangelegte KI schneller, effizienter und einfacher bereitstellen, würden wir uns freuen, von Ihnen zu hören.

Ihr Grundgehalt wird basierend auf Ihrem Standort, Ihrer Erfahrung und dem Gehalt von Mitarbeitern in ähnlichen Positionen festgelegt. Für Polen: Die Grundgehaltsspanne liegt bei 292.500 PLN - 507.000 PLN für Level 4 und 375.000 PLN - 650.000 PLN für Level 5.