Senior Machine Learning Engineer, LLM Inference Optimization in Zürich

Nebius ist führend in einer neuen Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft. Wir bauen eine Full-Stack-AI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen.

Als Senior Machine Learning Engineer im Applied AI-Team bei Nebius Token Factory sind Sie verantwortlich für die Optimierung von Modellen und Endpunkten von Modellartefakten bis zur Produktionsbereitstellung. Ihre Arbeit umfasst Modellinternas, Quantisierung und Modellkompression, spekulatives Decoding, KV-Cache-Optimierung, Inferenz-Engines, Servierungsarchitektur und Benchmarking zur Verbesserung von Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung und Kosten pro Token, während Qualität und Zuverlässigkeit erhalten bleiben.

Sie arbeiten mit Kernel- und Plattformingenieuren zusammen, um Servierungsprobleme zu untersuchen, Konfigurationen zu vergleichen und Leistungs- und Qualitätsregressionen zu beheben. Ihre Verbesserungen werden durch reproduzierbare Benchmarks und sichere Produktionsrollouts unter realen Arbeitslasten validiert.

Ihre Verantwortlichkeiten:

• Eigenverantwortliche Optimierungsprojekte für spezifische Modellfamilien, Kundenendpunkte oder Servierungs-Backends.
• Vergleich von Inferenz-Engines und Empfehlung geeigneter Servierungskonfigurationen für individuelle Arbeitslasten.
• Diagnose von Modellqualitäts- und Leistungsregressionen während der Produktionsrollouts.
• Verbesserung der LLM- und VLM-Endpunktlatenz, des Durchsatzes, der Speichereffizienz, der GPU-Auslastung, der Qualität und der Kosten pro Token.
• Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server und NVIDIA Dynamo.
• Entwicklung von Produktionsmodellen zur Kompression von Workflows, die Quantisierung, quantisierungsbewusstes Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung abdecken.
• Implementierung oder Integration von spekulativem Decoding, Entwurf-Modellansätzen, KV-Cache-Optimierung, Präfix-Caching, chunked Prefill, kontinuierlichem Batching und disaggregierter Prefill/Decode-Servierung.
• Entwicklung und Verbesserung von LLM-Anforderungsroutern und Planungsrichtlinien, die die Auslastung der Arbeiter, Warteschlangen, Anforderungsmerkmale und die KV-Cache-Lokalität ausbalancieren, während sie Latenz- und Zuverlässigkeitsziele erreichen.
• Skalierung der dichten und Mischung-von-Experten-Inferenz über mehrere GPU-Knoten.
• Erstellung reproduzierbarer Benchmark-Harnesse zur Messung von TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.
• Zusammenarbeit mit GPU-Kernel- und Plattformingenieuren zur Verfolgung von Engpässen über Modellcode, Kerne, Laufzeit, Scheduler, Gateway und Cluster-Ebenen.
• Erstellung von Entwurfsdokumenten, Leistungsberichten, Rollout-Plänen und technischen Erklärungen für Kunden.

Must-haves:

• Starke Ingenieursfähigkeiten in Python und PyTorch.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM, VLM oder hochdurchsatzfähiger Transformer-Inferenz.
• Praktisches Wissen über mindestens einen modernen Inferenz-Stack, wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder ein gleichwertiges internes System.
• Ein starkes Verständnis von Inferenzengpässen bei Transformatoren, die KV-Cache, Aufmerksamkeit, Speicherbandbreite, Batching, Parallelität und Long-Context-Serving betreffen.
• Fähigkeit, Trade-offs zwischen Latenz, Durchsatz, Qualität, Auslastung und Kosten zu quantifizieren.
• Erfahrung in der Gestaltung oder Optimierung der Architektur verteilter Inferenzsysteme mit praktischer Arbeit in einem oder mehreren Bereichen wie Anforderungsrouting, verteilte Planung, PDD, Multi-Node-Inferenz oder Expertenparallelismus.
• Starke Kommunikations- und Kollaborationsfähigkeiten über Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kunden-Teams hinweg.

Nice-to-haves:

• Erfahrung mit quantisierungsbewusstem Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ oder SmoothQuant.
• Erfahrung mit Destillation, spekulativem Decoding, EAGLE, Medusa, Multi-Token-Vorhersage oder verwandten Methoden zur Beschleunigung der Inferenz.
• Erfahrung in der Unterstützung agentischer Arbeitslasten, die Tool-Calling, strukturierte Ausgaben, Streaming-APIs, hohe Parallelität und mehrstufige Orchestrierung umfassen.
• Vertrautheit mit CUDA oder Triton; die Rolle erfordert nicht, dass das Kernel-Engineering die primäre Spezialisierung des Kandidaten ist.
• Beiträge zu Open-Source-Projekten wie vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray oder KServe.
• Implementierungserfahrung mit cache-bewusstem Anforderungsrouting, PDD oder WideEP, einschließlich der Diagnose von Kommunikationsengpässen und Lastungleichgewicht.
• Vertrautheit mit GPU-Kommunikationsbibliotheken und -verbindungen wie NCCL, NVLink, InfiniBand oder RoCE.

Benefits & Perks:

• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur
• Gelegenheit, an bedeutenden KI-Projekten zu arbeiten
• Internationales Umfeld und talentierte Teams

Was es bedeutet, bei Nebius zu arbeiten:

• Schnelles Tempo
• Mutiges Denken
• Ständiges Wachstum
• Bedeutungsvolle Auswirkungen
• Vertrauen und echte Eigenverantwortung
• Gelegenheit, die Zukunft der KI zu gestalten

Gleichstellungserklärung:

Nebius ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns dafür ein, ein integratives und diverses Arbeitsumfeld zu fördern und Chancengleichheit in allen Aspekten der Beschäftigung zu gewährleisten. Wir diskriminieren nicht aufgrund von Rasse, Farbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder einer anderen durch geltendes Recht geschützten Eigenschaft.

Die Bewerber müssen berechtigt sein, in dem Land zu arbeiten, in dem sie sich bewerben, und müssen als Bedingung für die Einstellung einen Nachweis über die Beschäftigungsberechtigung vorlegen.

Wenn Sie während des Bewerbungsprozesses Unterstützung benötigen, lassen Sie es uns bitte wissen.