Research Engineer, Inference Foundation in München

Über Mistral

Mistral bietet Full-Stack-AI-Lösungen: von Frontier-Modellen bis hin zu Entwickler-Tools, Anwendungen und Rechenleistung. Wir arbeiten mit Unternehmen zusammen, die die schwierigsten Probleme in kritischen Branchen wie Finanzen, Fertigung, Verteidigung, Gesundheitswesen und dem öffentlichen Sektor angehen, und entwickeln maßgeschneiderte KI-Systeme, die sie nach ihren eigenen Vorgaben betreiben können.

Wir sind ein dynamisches, kollaboratives Team, das leidenschaftlich an KI und ihrem Potenzial zur Transformation der Gesellschaft interessiert ist. Unsere vielfältige Belegschaft gedeiht in wettbewerbsintensiven Umgebungen und ist bestrebt, Innovationen voranzutreiben. Unsere Teams sind zwischen Europa, Nordamerika, Asien und dem Nahen Osten verteilt. Wir sind kreativ, egoarm und teamorientiert.

Die Rolle

Das Inference Foundation-Team ist für den Kern des Inference-Stacks von Mistral verantwortlich: die Inferenz-Engine und deren Orchestrierung, von der Funktionalität und Konfiguration, die unsere Modelle in der Produktion bedienen, bis hin zur Release-Mechanik, die den Stack aktuell und produktionsbereit hält.

Dies ist eine hybride Position, die sich über die Produktion von LLM-Diensten, Engine- und Plattformentwicklung sowie Kapazitätsengineering erstreckt. Sie werden an drei miteinander verbundenen Problemen arbeiten:

• Optimierung des Inference-Stacks im großen Maßstab – Entwicklung und Behebung von Funktionen in der Engine und dem Orchestrator, um mehr Durchsatz und geringere Latenz aus jeder GPU unter strengen Qualitätszielen herauszuholen.
• Kapazität elastisch machen – Hoch- und Herunterskalierung sollte kostengünstig und schnell sein, ohne Leistungseinbußen.
• Training unserer Frontier-Modelle unterstützen – Hochleistungsdienste, die RL- und Post-Training-Schleifen mit voller Geschwindigkeit am Laufen halten.

Was Sie tun werden

• Inferenz-Engine & Orchestrierung: Entwickeln und Beheben des Kerns des Inference-Stacks – Engine und Orchestrator – einschließlich Funktionsauswahl, Konfiguration und Tuning für maximale Leistung im großen Maßstab.
• Den Release-Prozess für den Serving-Stack besitzen: validierte, regressionsfreie Releases durch automatisierte Leistungsprüfungen und schrittweise Rollouts.
• Verbesserungen und Behebungen upstream vorantreiben, wenn die Open-Source-Engine der richtige Ort dafür ist.
• Leistung & Kapazität im großen Maßstab: Optimierung der Effizienz des Servings über die Flotte hinweg – Reduzierung der Pod-Startzeit, Bekämpfung von Cold-Cache-Regressions bei der Skalierung, intelligentes Caching und Offloading.
• Optimierung und Pflege der optimalen Serving-Topologie – Überlappung von Kommunikation und Transfers mit Berechnungen, Gewährleistung optimaler Platzierung, Konnektivität und Routing.
• Serving für Frontier-Training: Aufbau der Serving-Infrastruktur, die RL und Post-Training für unsere Frontier-Modelle unterstützt.
• Optimierung der Inferenzleistung über das gesamte Spektrum unserer Workloads.

Was wir suchen

• Erfahrung im Aufbau und Betrieb von ML/LLM-Diensten im großen Maßstab, mit klaren Latenz- und Verfügbarkeitszielen.
• Praktische Erfahrung mit Inferenz-Engines wie vLLM, SGLang, TensorRT-LLM oder anderen.
• Ein solides Verständnis der Inferenz-Interna: Prefill vs. Decode, KV-Cache-Verhalten, Batching, Scheduling, spekulative Dekodierung, Parallelismusstrategien.
• Vertrautheit mit verteilten und disaggregierten Serving-Architekturen.
• Komfortables Debugging über den gesamten Stack hinweg – CUDA/NCCL, Kerne, Container, Netzwerke, Speicher.
• Python für Systemwerkzeuge und Backend-Dienste; PyTorch.
• Kubernetes für den Betrieb von Infrastruktur im großen Maßstab.
• GPU- und Netzwerkgrundlagen: CUDA-Laufzeit, NCCL, InfiniBand/RDMA.

Es wäre großartig, wenn Sie haben

• Nachgewiesene vLLM/sglang-Kenntnisse – Beiträge upstream oder eine Erfolgsbilanz im Betrieb in anspruchsvollen Produktionsumgebungen.
• Hardwarebewusste Optimierung für verschiedene Modellarchitekturen.
• Erfahrung im Serving von MoE-Modellen im großen Maßstab (Expertenparallelismus, Expertenplatzierung/-lastenausgleich).
• CUDA/Triton-Kernelentwicklung; Nsight Systems/Compute-Profiling.
• Rust und/oder C++ in Produktionssystemen.

Was wir anbieten

Wir bieten ein umfassendes Leistungspaket, das darauf ausgelegt ist, Ihr Wohlbefinden, Wachstum und Ihre Work-Life-Balance zu unterstützen. Die Leistungen variieren je nach Land und können Krankenversicherungsdeckung, Elternzeit, Altersvorsorgepläne, Umzugshilfe, Wellness-Programme, Essens- und Transportzulagen sowie andere standortspezifische Vorteile umfassen. Für die aktuellsten Informationen zu den in Ihrem Standort verfügbaren Leistungen besuchen Sie bitte unsere Seite zu den Vorteilen.

Datenschutzrichtlinie: Ihre Privatsphäre ist uns wichtig. Sie können mehr darüber erfahren, wie wir Ihre persönlichen Daten in unserer Datenschutzrichtlinie für Bewerber behandeln.