Senior ML Engineer (Token Factory)

Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen Senior ML Engineer (Token Factory) mit Sitz in der Schweiz. Diese Rolle bietet die Möglichkeit, an der Spitze von großangelegter KI-Infrastruktur und maschinellen Lernsystemen zu arbeiten. Sie werden Technologien für Inferenz und Feinabstimmung von Grundmodellen entwickeln, die Sprache, Vision, Audio und multimodale Architekturen umfassen.

Ihr Fokus liegt auf der Verbesserung der Modellqualität, der Trainingseffizienz, der Inferenzleistung und der Hardwareauslastung im großen Maßstab. Sie werden technisch herausfordernde Probleme im Zusammenhang mit verteiltem Training, Niedrigpräzisionsberechnungen, Optimierung und verstärkendem Lernen angehen. Hauptsächlich mit Python und JAX werden Sie fortschrittliche Forschungsideen in zuverlässige, produktionsreife Systeme umsetzen. Die Rolle kombiniert tiefes technisches Eigentum mit Möglichkeiten, Ingenieurpraktiken zu beeinflussen und zur Evolution von KI-Plattformen beizutragen. Sie werden mit hochqualifizierten Ingenieuren und Forschern in einem schnelllebigen, internationalen Umfeld zusammenarbeiten, in dem Ihre Arbeit erhebliche Auswirkungen haben kann.

Verantwortlichkeiten

• Entwicklung und Verbesserung fortschrittlicher Feinabstimmungsmethoden, einschließlich LoRA-basierter und vollparametrischer Ansätze, für modernste Grundmodelle.
• Optimierung der Modellqualität und Trainingseffizienz über großangelegte maschinelle Lernlasten.
• Identifizierung und Behebung von Engpässen in der Inferenz großer Sprachmodelle zur Verbesserung der Produktionsleistung und Ressourceneffizienz.
• Aufbau von Trainings- und Evaluierungs-Pipelines mit JAX für Techniken wie spekulative Dekodierung und fortschrittliche Inferenzoptimierung.
• Experimentieren mit verschiedenen Modellarchitekturen, einschließlich dichter Modelle und Mischmodelle sowie autoregressiven und parallelen Ansätzen.
• Entwicklung und Bewertung von Skalierungsgesetzen zur Information über Modellentwicklung, Leistungsoptimierung und Ressourcenallokation.
• Untersuchung von Niedrigpräzisionstraining und -inferenzansätzen, einschließlich FP8, NVFP4 und MXFP4, für überwachte Feinabstimmung und verstärkendes Lernen.
• Arbeiten mit verteilten Trainingsumgebungen, die sich über mehrere Rechenknoten und große GPU-Cluster erstrecken.
• Analyse von Leistungsüberlegungen wie Sharding-Strategien, benutzerdefinierten Kernen und modernen Hardwarefähigkeiten.
• Übersetzung von Forschungskonzepten und experimentellen Ergebnissen in robuste, skalierbare, produktionsreife maschinelle Lernsysteme.
• Anwendung starker Softwareengineering-Praktiken, einschließlich CI/CD, Versionskontrolle, Unit-Tests und wartbarem Code-Design.
• Zusammenarbeit zwischen Ingenieur- und Forschungsteams, während technische Konzepte klar kommuniziert werden und zur technischen Richtung beigetragen wird.

Anforderungen

• Tiefes Verständnis der theoretischen Grundlagen des maschinellen Lernens und des verstärkenden Lernens.
• Starke Expertise in modernen Deep-Learning-Techniken für Sprachverarbeitung und -generierung.
• Nachgewiesene Erfahrung im Training großer maschineller Lernmodelle über mehrere Rechenknoten.
• Solides Verständnis der Leistungsoptimierung für das Training großer neuronaler Netzwerke, einschließlich Sharding-Strategien, benutzerdefinierter Kerne und hardware-spezifischer Fähigkeiten.
• Starke Softwareengineering-Fähigkeiten, insbesondere mit Python.
• Umfangreiche Erfahrung mit modernen Deep-Learning-Frameworks, insbesondere JAX.
• Kenntnisse in zeitgemäßen Softwareentwicklungspraktiken, einschließlich CI/CD, Versionskontrolle, Unit-Tests und produktionsreifem Engineering.
• Starke Kommunikations-, Kollaborations- und technische Führungsfähigkeiten.
• Erfahrung mit Sprachmodellen oder verwandten NLP-Technologien ist sehr geschätzt.
• Vertrautheit mit Konzepten wie Multi-Head-Attention, RoPE, ZeRO/FSDP, Flash Attention und Quantisierung ist von Vorteil.
• Erfahrung in der Entwicklung und Bereitstellung von Produkten in dynamischen, startup-ähnlichen Umgebungen ist ein Plus.
• Starker Ingenieurhintergrund in verteilten Systemen oder hochbelasteten Webdiensten ist von Vorteil.
• Open-Source-Projekte, die fortgeschrittene Ingenieurfähigkeiten demonstrieren, sind wertvoll.
• Exzellente Englischkenntnisse, einschließlich starker technischer Schreib- und Ausdrucksfähigkeiten.

Vorteile

• Wettbewerbsfähige Vergütung.
• Karrierewachstum und kontinuierliche Lernmöglichkeiten.
• Flexibles Arbeitsumfeld mit hohem Maß an Eigenverantwortung.
• Gelegenheit, an wirkungsvollen, großangelegten KI- und maschinellen Lernprojekten zu arbeiten.
• Kollaborative Kultur mit erfahrenen Ingenieuren und Forschern.
• Internationales Umfeld mit vielfältigen und hochqualifizierten Teams.
• Gelegenheit, zur fortschrittlichen Ausbildung von Grundmodellen, Feinabstimmung, Inferenzoptimierung und KI-Infrastruktur beizutragen.
• Einblick in modernste GPU-Computing, verteilte Systeme und moderne Technologien des maschinellen Lernens.
• Inklusive Arbeitsplatz, der sich für Chancengleichheit einsetzt.
• Unterstützung und angemessene Vorkehrungen während des Einstellungsprozesses, wenn erforderlich.