Senior ML Engineer (Token Factory)

Nebius ist führend in einer neuen Ära des Cloud-Computing, um die globale KI-Wirtschaft zu bedienen. Wir schaffen die Werkzeuge und Ressourcen, die unsere Kunden benötigen, um reale Herausforderungen zu lösen und Branchen zu transformieren, ohne massive Infrastrukturkosten oder die Notwendigkeit, große interne KI/ML-Teams aufzubauen.

Das Token Factory-Team ist Teil von Nebius Cloud, einer der größten GPU-Clouds der Welt, die Zehntausende von GPUs betreibt. Wir bauen eine Hochleistungsplattform für Inferenz und Feinabstimmung, die darauf ausgelegt ist, Fundamentalmuster an ihre Hardwaregrenzen zu bringen. Unsere Mission ist es, den Durchsatz zu maximieren, die Latenz zu minimieren und die Kosten pro Token über Zehntausende von GPUs zu optimieren.

Einige Richtungen, an denen wir derzeit arbeiten und an denen Sie teilnehmen können:

• Inferenzoptimierung: Identifizierung von LLM-Inferenzengpässen zur Steigerung der Produktionsgeschwindigkeit.
• Inferenz-Engines: Implementierung neuartiger spekulativer Dekodierungsarchitekturen, Optimierung von Komponenten verschiedener LLM-Designs und Beitrag zu Open-Source-Inferenz-Engines.
• Niedrigpräzises Training & Inferenz: Entwurf und Produktion von niedrigpräzisen Trainings- und Inferenzpipelines mit messbaren Gewinnen in Durchsatz und Kosteneffizienz.

Wir erwarten von Ihnen:

• Ein tiefes Verständnis der theoretischen Grundlagen des maschinellen Lernens und der Transformer-Architektur.
• Erfahrung in der Profilerstellung von GPU-Workloads mit Nsight, PyTorch Profiler oder ähnlichen Tools.
• Verständnis der GPU-Speicherhierarchie und der Kompromisse zwischen Berechnung und Speicher.
• Vertrautheit mit wichtigen Ideen im LLM-Bereich, wie MHA, RoPE, KV-Cache, Flash Attention und Quantisierung.
• Verständnis der Leistungsaspekte des Trainings großer neuronaler Netzwerke.
• Starke Software-Engineering-Fähigkeiten (wir verwenden hauptsächlich Python).
• Tiefe Erfahrung mit modernen Deep-Learning-Frameworks.
• Beherrschung zeitgemäßer Software-Engineering-Ansätze, einschließlich CI/CD, Versionskontrolle und Unit-Tests.
• Starke Kommunikations- und Führungsfähigkeiten.

Wünschenswert:

• Erfahrung mit Open-Source-Inferenz-Engines.
• Erfahrung mit Kernelsprachen oder DSLs.
• Eine Erfolgsbilanz beim Aufbau und der Lieferung von Produkten in einem dynamischen, startup-ähnlichen Umfeld.
• Starke Ingenieursfähigkeiten, einschließlich Erfahrung in der Entwicklung großer verteilter Systeme oder hochbelasteter Webdienste.
• Open-Source-Projekte, die Ihr Ingenieurgeschick demonstrieren.
• Exzellente Englischkenntnisse sowie überlegene Schreib-, Ausdrucks- und Kommunikationsfähigkeiten.

Was wir bieten:

• Wettbewerbsfähiges Gehalt und umfassendes Leistungspaket.
• Chancen für berufliches Wachstum innerhalb von Nebius.
• Flexible Arbeitsbedingungen.
• Ein dynamisches und kollaboratives Arbeitsumfeld, das Initiative und Innovation schätzt.

Wenn Sie bereit für die Herausforderung sind und sich für KI und ML begeistern, schließen Sie sich uns an!