Member of Technical Staff - Pretraining

Wir bauen die Grundmodelle, die die nächste Welle der visuellen Intelligenz antreiben – und das Pretraining ist der Ausgangspunkt dieser Arbeit. Diese Rolle steht im Mittelpunkt unserer Forschungsanstrengungen. Sie werden Trainingsziele, Architekturen, Datenstrategien und Systeme hinter unseren gemeinsamen Bild-, Video- und Audio-Grundmodellen gestalten, mit einer direkten Verbindung von Ihrer Forschung zu Produkten, die von Millionen genutzt werden.

Dies ist eine Staff / Senior IC-Rolle. Wir suchen jemanden, der bereits das Pretraining an der Spitze geleitet hat und es erneut tun möchte.

Was Sie bearbeiten werden:

• Leitung großangelegter Pretraining-Experimente für unsere multimodalen (Bild, Video, Audio) Grundmodelle (Architektur, Zielsetzungen, Skalierungsstrategien)
• Entwicklung und Bewertung neuartiger Ideen in den Bereichen Architektur, Optimierer und Trainingsalgorithmen.
• Beitrag über den gesamten Stack: Low-Level-GPU- und Systemoptimierungen, Forschungs-Code und High-Level-Modell-Design
• Leitung fokussierter Forschungsprojekte unabhängig und vorantreiben größerer teamübergreifender Initiativen

Was wir suchen:

• Sie haben das Pretraining für ein Grundmodell (Bild, Video, LLM oder multimodal) geleitet oder mitverantwortet, das in die Produktion oder eine große Veröffentlichung ging.
• Verantwortung für architektonische Entscheidungen, die das Modell voranbringen: Aufmerksamkeitsmuster, Modulationsschemata, Verlustformulierung, Tokenisierungsstrategien
• Tiefe Erfahrung mit großangelegtem verteiltem Training: FSDP/TP/PP, Multi-Node-Läufe mit 500+ GPUs, Debugging von Verlustspitzen, NaNs, Durchsatzregressionen und stillen Korrektheitsproblemen im großen Maßstab
• Starke Intuition für Architektur- und Zielgestaltung – Sie haben Entscheidungen zu Aufmerksamkeitsmustern, Modulationsschemata oder Verlustformulierungen getroffen, die ein echtes Modell vorangebracht haben
• Nachweisliche Erfolge beim Veröffentlichen: Veröffentlichungen in Top-Venues (NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV) gepaart mit Produktionsauswirkungen oder unmissverständlichen Produktionsgewinnen in einem Spitzenlabor
• Tiefe Python- und PyTorch-Kenntnisse; sicher im Lesen und Modifizieren von Low-Level-Trainingscode
• Vertrautheit mit visuellen generativen Modellen ist ein Muss

Wie wir zusammenarbeiten:

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) bei uns in Freiburg oder SF sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir denken, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.