Machine learning engineer in Berlin

Nebius führt eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft an. Wir bauen eine Full-Stack-AI-Cloud-Plattform auf, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen. Als Senior Machine Learning Engineer im Applied AI-Team bei Nebius Token Factory sind Sie verantwortlich für die Optimierung von Modellen und Endpunkten von Modellartefakten bis zur Produktionsbereitstellung.

Aufgaben:

• Eigentum an Optimierungsprojekten für spezifische Modellfamilien, Kundenendpunkte oder Bereitstellungsbackends.
• Vergleich von Inferenz-Engines und Empfehlung von Bereitstellungskonfigurationen, die auf individuelle Arbeitslasten zugeschnitten sind.
• Diagnose von Modellqualität und Leistungsregressionen während der Produktionsbereitstellungen.
• Verbesserung der LLM- und VLM-Endpunktlatenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.
• Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server und NVIDIA Dynamo.
• Entwicklung von Produktionsmodellen-Kompressions-Workflows, die Quantisierung, quantisierungsbewusstes Training, Destillation, Low-Bit-Bereitstellung und Genauigkeitswiederherstellung abdecken.
• Implementierung oder Integration von spekulativer Dekodierung, Entwurf-Modellansätzen, KV-Cache-Optimierung, Präfix-Caching, chunked Prefill, kontinuierlichem Batching und disaggregierter Prefill/Dekodierungsbereitstellung.
• Bewertung von KV-Cache-Übertragungen, Arbeitsplatzeinteilung und Kapazitätsausgleich zur Bestimmung, welche Arbeitslasten von der Architektur profitieren.
• Entwurf und Verbesserung von LLM-Anforderungsroutern und Planungsrichtlinien, die die Auslastung der Arbeiter, Warteschlangen, Anforderungsmerkmale und die Lokalität des KV-Caches ausbalancieren und gleichzeitig Latenz- und Zuverlässigkeitsziele erreichen.
• Skalierung der dichten und Mischung-von-Experten-Inferenz über mehrere GPU-Knoten.
• Auswahl und Feinabstimmung von Tensor-, Pipeline-, Daten- und Expertenparallelismus, einschließlich breitem Expertenparallelismus (WideEP), unter Berücksichtigung der Hardware-Topologie, der Lastenbalance der Experten und der Kommunikationsübertragung.
• Erstellung reproduzierbarer Benchmark-Harnesse zur Messung von TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.
• Validierung von Architekturentscheidungen unter repräsentativem Verkehr und konsistenten GPU-Budgets.
• Zusammenarbeit mit GPU-Kernel- und Plattformingenieuren zur Identifizierung von Engpässen in Modellcode, Kernen, Laufzeit, Planer, Gateway und Cluster-Schichten.
• Erstellung von Entwurfsdokumenten, Leistungsberichten, Rollout-Plänen und technischen Erklärungen für Kunden.

Anforderungen:

• Starke Ingenieursfähigkeiten in Python und PyTorch.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM, VLM oder hochdurchsatzfähiger Transformer-Inferenz.
• Praktisches Wissen über mindestens einen modernen Inferenz-Stack, wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder ein gleichwertiges internes System.
• Ein starkes Verständnis von Inferenzengpässen bei Transformatoren, die KV-Cache, Aufmerksamkeit, Speicherbandbreite, Batching, Parallelismus und langanhaltende Bereitstellung betreffen.
• Fähigkeit, Trade-offs zwischen Latenz, Durchsatz, Qualität, Auslastung und Kosten zu quantifizieren.
• Erfahrung in der Gestaltung oder Optimierung der Architektur verteilter Inferenzsysteme mit praktischer Arbeit in einem oder mehreren Bereichen wie Anforderungsrouting, verteilte Planung, PDD, Multi-Knoten-Inferenz oder Expertenparallelismus.
• Starke Kommunikations- und Zusammenarbeitfähigkeiten über Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kunden-Teams hinweg.

Wünschenswert:

• Erfahrung mit quantisierungsbewusstem Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ oder SmoothQuant.
• Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder verwandten Methoden zur Beschleunigung der Inferenz.
• Erfahrung in der Unterstützung agentischer Arbeitslasten, die Toolaufrufe, strukturierte Ausgaben, Streaming-APIs, hohe Parallelität und mehrstufige Orchestrierung umfassen.
• Vertrautheit mit CUDA oder Triton; die Rolle erfordert nicht, dass das Kernel-Engineering die primäre Spezialisierung des Kandidaten ist.
• Beiträge zu Open-Source-Projekten wie vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray oder KServe.
• Implementierungserfahrung mit cache-bewusstem Anforderungsrouting, PDD oder WideEP, einschließlich der Diagnose von Kommunikationsengpässen und Lastungleichgewicht.
• Vertrautheit mit GPU-Kommunikationsbibliotheken und -verbindungen wie NCCL, NVLink, InfiniBand oder RoCE.

Bedingungen:

• Wettbewerbsfähige Vergütung.
• Karrierewachstum und Lernmöglichkeiten.
• Flexibilität und Eigenverantwortung.
• Kollaborative und innovative Kultur.
• Gelegenheit, an bedeutenden KI-Projekten zu arbeiten.
• Internationales Umfeld und talentierte Teams.
• Schnelles Tempo - Mutiges Denken - Ständiges Wachstum - Bedeutender Einfluss - Vertrauen und echte Verantwortung - Gelegenheit, die Zukunft der KI zu gestalten.