VLA/WAM Research Engineer in Zürich

Bei Flexion bauen wir die Intelligenzschicht, die die nächste Generation humanoider Roboter antreibt. Unsere Mission ist es, den Übergang von fragilen Prototypen zur realen Bereitstellung humanoider Roboter zu beschleunigen. Wir wurden von führenden Wissenschaftlern im Bereich Robotik und Verstärkungslernen gegründet und von führenden internationalen VC-Firmen unterstützt.

In dieser Rolle als VLA/WAM Research Engineer entwickeln Sie die Grundmodelle, die unsere humanoiden Roboter antreiben. Dies umfasst die Modellarchitektur, das großangelegte Pre-Training, die Anpassung und das Post-Training. Sie arbeiten über den gesamten Lebenszyklus des Modells: Entwurf von VLA- und World-Action-Modellarchitekturen, Training von Grundmodellen auf großen und vielfältigen Datensätzen, Entwicklung von Methoden zur effizienten Anpassung an neue Aufgaben und Umgebungen sowie Nutzung der Robotererfahrung zur kontinuierlichen Verbesserung der Modellfähigkeiten.

Wir suchen insbesondere Forscher und Ingenieure mit tiefgehender Erfahrung in einem oder mehreren der folgenden Bereiche:

• VLA/VLM oder multimodale Modellarchitektur
• Großangelegtes Pre-Training von Grundmodellen
• Weltmodelle und prädiktives Lernen
• Robotiklernen
• Post-Training und kontinuierliches Lernen

Wenn Sie über fundierte Kenntnisse in einem dieser Bereiche verfügen und begeistert sind, an dem breiteren Problem des Aufbaus allgemeiner Robotik-Grundmodelle zu arbeiten, sind Sie eine starke Ergänzung für unser Team.

Hauptverantwortlichkeiten:

• VLA/WAM Architektur: Entwurf und Entwicklung multimodaler Grundmodelle, die Vision, Sprache, Roboterzustand, Aktionen und zeitlichen Kontext für die allgemeine Robotersteuerung kombinieren.
• Pretraining von Grundmodellen: Entwicklung und Durchführung von großangelegtem Pretraining über verschiedene Roboterembodiments, Teleoperation, egozentrische menschliche Daten und simulierte Erfahrungen.
• Training Rezepte & Skalierung: Verbesserung von Datenmischungen, Trainingszielen, Optimierungsstrategien und verteilten Trainingsabläufen, um zunehmend leistungsfähige Grundmodelle regelmäßig bereitzustellen.
• World-Action Modelle: Entwicklung prädiktiver Welt- und Aktionsmodelle für Repräsentationslernen, Zukunftsvorhersage, Planung und Verbesserung der Roboterpolitik.
• Anpassung & Mid-Training: Entwicklung von Methoden zur effizienten Anpassung vortrainierter Modelle an neue Aufgaben, Umgebungen, Embodiments und Fähigkeiten.
• Post-Training & Verstärkungslernen: Verbesserung von Modellen mithilfe von realen und simulierten Robotererfahrungen, einschließlich Imitationslernen, RL, belohnungs-/wertgesteuertem Lernen und Spezialisierung zu Generalisierung.
• Kontinuierliches Lernen: Entwicklung von Methoden zum Lernen aus autonomen Rollouts, Fehlern, Interventionen und Wiederherstellungen, während bestehende Fähigkeiten erhalten bleiben und katastrophales Vergessen vermieden wird.
• Evaluation & Forschung: Entwurf rigoroser Experimente, Bewertung von Modellen in Simulation und auf echten Robotern und Nutzung der Ergebnisse zur Steuerung von Architektur- und Trainingsentscheidungen.

Anforderungen:

• Starke Python- und PyTorch-Kenntnisse mit praktischer Erfahrung in der Entwicklung und dem Training moderner Deep-Learning-Modelle.
• Forschungs- oder Ingenieurerfahrung in einem oder mehreren der folgenden Bereiche: VLA/VLM-Architekturen, multimodale Grundmodelle, Weltmodelle, großangelegtes Pretraining, Robotiklernen oder RL/Post-Training.
• Erfahrung in der Verantwortung für wesentliche Modellentwicklungs- oder Trainingsexperimente, einschließlich Architekturentscheidungen, Trainingsziele, Optimierung und Bewertung.
• Solides Verständnis moderner Deep-Learning-Architekturen, Repräsentationslernen und der Beziehung zwischen Daten, Trainingszielen und Modellleistung.
• Fähigkeit, rigorose Experimente zu entwerfen, Trainingsfehler zu diagnostizieren und empirische Ergebnisse zur Steuerung von Forschungsentscheidungen zu nutzen.
• Vertrautheit mit großangelegten Datensätzen, Modelltrainingsabläufen und den Herausforderungen der Verallgemeinerung über Aufgaben, Umgebungen oder Embodiments hinweg.
• Fähigkeit, aktuelle Forschung kritisch zu bewerten und vielversprechende Ideen in funktionierende Modelle und Experimente zu übersetzen.
• Komfortables Arbeiten über Modellarchitektur, Training und Anpassung hinweg, wobei besondere Expertise in mindestens einem dieser Bereiche eingebracht wird.

Zusätzlich sind folgende Punkte von Vorteil, aber nicht erforderlich:

• Erfahrung im Training von VLA, VLM, Diffusion, Flow-Matching, Video/Weltmodellen oder anderen multimodalen generativen Architekturen.
• Erfahrung mit verteiltem Training, Multi-Node-GPU-Systemen, großangelegten Datenmischungen und der Optimierung des Trainings von Grundmodellen.
• Erfahrung mit Verstärkungslernen, Offline-RL, belohnungs-/wertgesteuertem Lernen, Spezialisierungsdistillation oder kontinuierlichem Lernen.
• Erfahrung mit prädiktiven Weltmodellen, Videoerzeugung, latenten Dynamiken oder selbstüberwachtem Repräsentationslernen.
• Erfahrung mit multi-embodiment Robotiklernen, Aktionsrepräsentationen oder der Anpassung von Politiken über verschiedene Roboterplattformen hinweg.
• Erfahrung in der Arbeit mit Teleoperation, egozentrischem Video, Simulation, autonomen Rollouts oder anderen großangelegten verkörperten Datensätzen.
• Erfahrung in der Bewertung gelernter Politiken auf echten Robotern, insbesondere humanoiden oder geschickten Manipulationssystemen.

Vorteile:

• Wettbewerbsfähige Vergütung
• Verbesserter Pensionsplan
• Verbesserte Urlaubs- und bezahlte Freistellungsleistungen
• Umzugs- und Genehmigungssponsoring
• Zentralbüro in Zürich mit erstklassigen Testeinrichtungen und Infrastruktur für Robotik
• Beitritt zu Europas führendem Robotikteam und Zugang zu noch nie dagewesener Forschung
• Energiegeladene, kollaborative Kultur mit Handlungsdrang und regelmäßigen Gemeinschaftsveranstaltungen