Senior Applied Scientist, Efficient LLM Inference & Model Optimization in Zürich

Nebius ist führend in einer neuen Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft. Wir bauen eine Full-Stack-AI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und die Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen.

Die Nebius Token Factory sucht Wissenschaftler, die Engpässe bei der LLM- und VLM-Inferenz in Forschungsfragen umwandeln, rigorose Experimente durchführen und ihre Ergebnisse in Produktionsfähigkeiten übersetzen können. Sie werden fokussierte Forschungs- und Optimierungsprojekte leiten, starken Code schreiben und Prototypen, Veröffentlichungen und technische Artefakte erstellen, auf denen Ingenieure aufbauen können.

Ihre Forschung wird Quantisierung, Destillation, spekulative Dekodierung, KV-Cache-Optimierung und Modell-/Laufzeit-Kooptimierung umfassen, neben Inferenz-Engines und verteilten Inferenzarchitekturen. Sie werden untersuchen, wie diese Ansätze interagieren, ihre Trade-offs in Bezug auf Modellqualität, Latenz, Durchsatz, Speicherbedarf und Kosten pro Token bewerten und mit Ingenieurteams zusammenarbeiten, um vielversprechende Ergebnisse in die Produktion zu bringen.

Ihre Verantwortlichkeiten:

• Leitung von Forschungsprojekten in effizienter LLM- und VLM-Inferenz, von Hypothesen und Experimenten über Ablationen, Prototypen bis hin zur Übergabe an die Produktion.
• Entwicklung und Bewertung von Methoden, die Quantisierung, quantisierungsbewusstes Training (QAT), Destillation, spekulative Dekodierung, KV-Cache-Wiederverwendung, KV-Cache-Kompression, Langkontext-Inferenz, MoE-Routing und Modell-/Laufzeit-Kooptimierung umfassen.
• Erstellung von Prototypen mit PyTorch, Triton, CUDA-nahen Werkzeugen oder Inferenz-Servierungs-Frameworks und Zusammenarbeit mit MLEs und Plattformingenieuren, um sie in Produktionskomponenten umzuwandeln.
• Forschung zu LLM-Anforderungsrouting und -planungsstrategien, einschließlich cache-bewusster Lastenverteilung und Prefill-Dekodierungs-Disaggregation (PDD).
• Untersuchung der Multi-Knoten-Inferenz für dichte und Mischexpertenmodelle, einschließlich breiter Expertenparallelität (WideEP).
• Entwicklung rigoroser Bewertungen, die Qualität, Latenz, Durchsatz, numerische Stabilität, Speicherbedarf, Tail-Latenz und Kosten pro Token abdecken.
• Zusammenarbeit mit MLE, GPU-Kernel-, Backend-Infrastruktur-, Produkt- und Kunden-Teams zur Auswahl von Forschungsprioritäten mit messbarem Produktionseinfluss.
• Teilen von Ergebnissen durch interne Berichte, technische Blogs, Veröffentlichungen und Open-Source-Artefakte sowie Mentoring von Ingenieuren und Wissenschaftlern zu experimentellem Design, wissenschaftlicher Strenge und Modell-/Systemtrade-offs.

Must-haves:

• Ein PhD in Informatik, Maschinenlernen, ML-Systemen, Computersystemen, Computerarchitektur, Elektrotechnik, angewandter Mathematik oder einem eng verwandten Fachgebiet.
• Ein starkes Publikationsverzeichnis oder gleichwertige Forschungsartefakte in ML, ML-Systemen, effizienter Inferenz, Modellkompression, Quantisierung, Destillation, Servierungssystemen oder verwandten Bereichen.
• Starke Python- und PyTorch-Implementierungsfähigkeiten.
• Tiefes Wissen über LLMs, VLMs, Transformer-Inferenz, Dekodierungsalgorithmen, Modellkompression, Quantisierung und Produktionsservierungs-Trade-offs.
• Starke Fähigkeiten im experimentellen Design.
• Ausgezeichnete schriftliche und mündliche Kommunikation.

Nice-to-haves:

• Erstautor-Publikationen in Fachzeitschriften wie NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA oder HPCA.
• Erfahrung in der Bereitstellung von ML-Modellen oder Inferenzoptimierungen in der Produktion.
• Erfahrung mit vLLM, SGLang, TensorRT-LLM, NVIDIA Dynamo, FlashAttention, FlashInfer, Triton, CUDA oder PyTorch-Interna.
• Erfahrung in der Anwendung von Post-Training, SFT, DPO, RLHF, RLAIF, Präferenzoptimierung oder synthetischer Datengenerierung zur Verbesserung der Inferenzqualität oder -effizienz.
• Open-Source-Forschungsartefakte, weit verbreitete Benchmarks, technische Blogs oder eingeladene Vorträge, die Beiträge zu effizienten KI-Systemen demonstrieren.
• Forschung oder Implementierungserfahrung in einem oder mehreren Bereichen der Architektur verteilter Inferenzsysteme.

Vorteile & Anreize:

• Wettbewerbsfähige Vergütung.
• Karrierewachstum und Lernmöglichkeiten.
• Flexibilität und Eigenverantwortung.
• Kollaborative und innovative Kultur.
• Gelegenheit, an bedeutenden KI-Projekten zu arbeiten.
• Internationales Umfeld und talentierte Teams.

Was es bedeutet, bei Nebius zu arbeiten:

• Schnelles Tempo.
• Mutiges Denken.
• Ständiges Wachstum.
• Bedeutungsvolle Auswirkungen.
• Vertrauen und echte Verantwortung.
• Gelegenheit, die Zukunft der KI zu gestalten.

Gleichstellungserklärung:

Nebius ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns dafür ein, einen integrativen und vielfältigen Arbeitsplatz zu fördern und Chancengleichheit in allen Aspekten der Beschäftigung zu gewährleisten.