Staff Machine Learning Engineer, LLM Inference Optimization in Berlin

Über Nebius:

Nebius führt eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft an. Wir bauen eine Full-Stack-AI-Cloud-Plattform, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und die Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen.

Von Ingenieuren für Ingenieure gebaut. Von der großflächigen GPU-Orchestrierung bis zur Inferenzoptimierung lösen wir die schwierigen Probleme in den Bereichen Rechenleistung, Speicherung, Netzwerk und angewandte KI.

Mit Sitz in Amsterdam und an der Nasdaq (NBIS) gelistet, haben wir einen globalen Fußabdruck mit F&E-Zentren in Europa, Großbritannien, Nordamerika und Israel. Unser Team von über 1.500 Mitarbeitern umfasst Hunderte von Ingenieuren mit tiefem Fachwissen in Hardware, Software und KI-Forschung und -Entwicklung.

Rollenübersicht:

Nebius Token Factory entwickelt produktionsfähige Inferenz für Open-Source-, Kunden- und intern optimierte Modelle. Diese Rolle verantwortet den Weg vom Modellartefakt zu einem schnellen, zuverlässigen und kosteneffizienten Endpunkt. Die Arbeit befindet sich an der Schnittstelle von Modellinternas, Inferenzmaschinen, Bereitstellungsarchitektur, Benchmarking und Produktionsbereitstellung.

Was Sie tun werden:

• Verantwortung für einen plattformweiten Optimierungsbereich wie Quantisierung, spekulative Dekodierung, KV-Cache-Optimierung, Motorenauswahl oder Long-Context-Serving.
• Erstellung wiederverwendbarer Evaluierungs-, Benchmarking- und Rollout-Frameworks über mehrere Modellfamilien hinweg.
• Technische Anleitung für MLEs, angewandte Wissenschaftler, GPU-Kernel-Ingenieure und Infrastruktur-Ingenieure zu gemeinsamen Leistungszielen.
• Optimierung von LLM- und VLM-Endpunkten hinsichtlich Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.
• Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Inferenzmaschinen wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo oder ähnlichen Systemen.
• Aufbau und Produktionsreife von Workflows zur Modellkompression, einschließlich Quantisierung, quantisierungsbewusstem Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung.
• Implementierung oder Integration von spekulativer Dekodierung, Entwurf-Modellansätzen, KV-Cache-Optimierung, Präfix-Caching, chunked Prefill, kontinuierlichem Batching und disaggregiertem Prefill/Dekodierungs-Serving.
• Aufbau reproduzierbarer Benchmark-Harnesse für TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.
• Zusammenarbeit mit GPU-Kernel-Ingenieuren und Plattformingenieuren zur Diagnose von Engpässen im Modellcode, in Kernen, Laufzeit, Scheduler, Gateway und Cluster-Ebenen.
• Schreiben klarer Entwurfsdokumente, Leistungsberichte, Rollout-Pläne und kundenorientierte technische Erklärungen.

Erforderliche Qualifikationen:

• Starke Python- und PyTorch-Engineering-Fähigkeiten.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM-, VLM- oder Hochdurchsatz-Transformer-Inferenzsystemen.
• Praktisches Wissen über mindestens einen modernen Inferenz-Stack wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder gleichwertige interne Systeme.
• Starkes Verständnis von Inferenzengpässen bei Transformatoren, einschließlich KV-Cache, Aufmerksamkeit, Speicherbandbreite, Batching, Parallelität und Long-Context-Serving.
• Fähigkeit, quantitativ über Latenz, Durchsatz, Qualität, Auslastung und Kosten-Nutzen-Abwägungen nachzudenken.
• Starke Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kunden-Teams.

Bevorzugte Qualifikationen:

• Erfahrung mit quantisierungsbewusstem Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant oder verwandten Techniken.
• Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder anderen Methoden zur Beschleunigung der Inferenz.
• Erfahrung mit agentischen Arbeitslasten, einschließlich Tool-Calling, strukturierten Ausgaben, Streaming-APIs, hoher Parallelität und mehrstufiger Orchestrierung.
• CUDA- oder Triton-Vertrautheit, auch wenn die Rolle nicht primär eine Kernel-Engineering-Rolle ist.
• Open-Source-Beiträge zu vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe oder verwandten Projekten.

Wettbewerbsfähige Vergütung

Karrierewachstum und Lernmöglichkeiten