Member of Technical Staff - Pretraining

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Unsere Modelle treiben die Werkzeuge an, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden, und FLUX gehört zu den fortschrittlichsten generativen Systemen der Welt. Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco, wachsen wir schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Wir bauen die Grundmodelle, die die nächste Welle visueller Intelligenz antreiben – und das Pretraining ist der Ausgangspunkt dieser Arbeit. Diese Rolle befindet sich im Zentrum unserer Forschungsanstrengungen. Sie werden Trainingsziele, Architekturen, Datenstrategien und Systeme hinter unseren gemeinsamen Bild-, Video- und Audio-Grundmodellen gestalten, mit einer direkten Verbindung von Ihrer Forschung zu Produkten, die von Millionen genutzt werden.

Was Sie bearbeiten werden

• Leitung großangelegter Pretraining-Experimente für unsere multimodalen (Bild, Video, Audio) Grundmodelle (Architektur, Zielsetzungen, Skalierungsstrategien)
• Entwicklung und Bewertung neuartiger Ideen in den Bereichen Architektur, Optimierer und Trainingsalgorithmen.
• Beitrag über den gesamten Stack: Low-Level-GPU- und Systemoptimierungen, Forschungscode und High-Level-Modellgestaltung
• Leitung fokussierter Forschungsprojekte unabhängig und Vorantreiben größerer teamübergreifender Initiativen

Was wir suchen

• Sie haben das Pretraining für ein Grundmodell (Bild, Video, LLM oder multimodal) geleitet oder mitverantwortet, das in die Produktion oder eine große Veröffentlichung ging.
• Verantwortung für architektonische Entscheidungen, die das Modell voranbringen: Aufmerksamkeitsmuster, Modulationsschemata, Verlustformulierungen, Tokenisierungsstrategien.
• Tiefe Erfahrung mit großangelegtem verteiltem Training: FSDP/TP/PP, Multi-Node-Läufe mit 500+ GPUs, Debugging von Verlustspitzen, NaNs, Durchsatzregressionen und stillen Korrektheitsproblemen im großen Maßstab.
• Starkes Gespür für Architektur und Zielgestaltung – Sie haben Entscheidungen zu Aufmerksamkeitsmustern, Modulationsschemata oder Verlustformulierungen getroffen, die ein echtes Modell vorangebracht haben.
• Erfolgsbilanz beim Veröffentlichen: Veröffentlichungen in Top-Foren (NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV) gepaart mit Produktionsauswirkungen oder unmissverständlichen Produktionsgewinnen in einem Grenzlabor.
• Tiefe Kenntnisse in Python und PyTorch; sicher im Lesen und Modifizieren von Low-Level-Trainingscode.
• Vertrautheit mit visuellen generativen Modellen ist ein Muss.

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) bei uns in Freiburg oder SF sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir glauben, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Grenzforschungslabor. Die Wissenschaft muss richtig sein, das Verständnis tief, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen die ambitionierte Wette ein. Wir versenden, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlung ohne Empathie schafft Chaos.

Gemäß der Gleichstellungspolitik von Black Forest Labs diskriminieren wir nicht aufgrund eines geschützten Gruppenstatus gemäß geltendem Recht.