Member of Technical Staff - Pretraining

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Unsere Modelle treiben die Werkzeuge an, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden, und FLUX gehört zu den fortschrittlichsten generativen Systemen der Welt. Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco, wachsen wir schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Wir bauen die Grundmodelle, die die nächste Welle visueller Intelligenz antreiben – und das Pretraining ist der Ausgangspunkt dieser Arbeit. Diese Rolle steht im Zentrum unserer Forschungsanstrengungen. Sie werden Trainingsziele, Architekturen, Datenstrategien und Systeme hinter unseren gemeinsamen Bild-, Video- und Audio-Grundmodellen gestalten, mit einer direkten Verbindung von Ihrer Forschung zu Produkten, die von Millionen genutzt werden. Dies ist eine Staff / Senior IC-Rolle. Wir suchen jemanden, der bereits das Pretraining an der Spitze geleitet hat und es erneut tun möchte.

Woran Sie arbeiten werden

• Leitung großangelegter Pretraining-Experimente für unsere multimodalen (Bild, Video, Audio) Grundmodelle (Architektur, Zielsetzungen, Skalierungsstrategien)
• Entwicklung und Bewertung neuartiger Ideen in den Bereichen Architektur, Optimierer und Trainingsalgorithmen
• Beitrag über den gesamten Stack: Low-Level-GPU- und Systemoptimierungen, Forschungscode und High-Level-Modellgestaltung
• Leitung fokussierter Forschungsprojekte unabhängig und Vorantreiben größerer teamübergreifender Initiativen

Was wir suchen

• Sie haben das Pretraining für ein Grundmodell (Bild, Video, LLM oder multimodal) geleitet oder mitverantwortet, das in die Produktion oder eine große Veröffentlichung ging
• Verantwortung für architektonische Entscheidungen, die das Modell voranbringen: Aufmerksamkeitsmuster, Modulationsschemata, Verlustformulierung, Tokenisierungsstrategien
• Tiefe Erfahrung mit großangelegtem verteiltem Training: FSDP/TP/PP, Multi-Node-Läufe mit 500+ GPUs, Debugging von Verlustspitzen, NaNs, Durchsatzregressionen und stillen Korrektheitsproblemen im großen Maßstab
• Starkes Gespür für Architektur und Zielgestaltung – Sie haben Entscheidungen zu Aufmerksamkeitsmustern, Modulationsschemata oder Verlustformulierungen getroffen, die ein echtes Modell vorangebracht haben
• Nachweisbare Erfolge: Veröffentlichungen in Top-Venues (NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV) gepaart mit Produktionsauswirkungen oder unmissverständlichen Produktionsgewinnen in einem Spitzenlabor
• Tiefe Python- und PyTorch-Kenntnisse; sicher im Lesen und Modifizieren von Low-Level-Trainingscode
• Vertrautheit mit visuellen generativen Modellen ist ein Muss

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir glauben, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Forschungsinstitut an der Front. Die Wissenschaft muss stimmen, das Verständnis tief, das Produkt schön sein.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen das ehrgeizige Risiko ein. Wir versenden, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlung ohne Empathie schafft Chaos.

Wenn sich das nach Arbeit anhört, die Ihnen Freude bereiten würde, würden wir uns freuen, von Ihnen zu hören.