Member of Technical Staff - VLM

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Unsere Modelle treiben die Werkzeuge an, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden, und FLUX gehört zu den fortschrittlichsten generativen Systemen der Welt. Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco, wachsen wir schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Vision-Sprach-Modelle werden grundlegend dafür, wie Menschen mit generativer KI interagieren – aber die meisten VLM-Forschungen erfolgen isoliert vom Generierungsstapel. Bei Black Forest Labs integrieren wir VLMs direkt in FLUX auf eine Weise, die unsere Modelle leistungsfähiger, kontrollierbarer und besser auf die Bedürfnisse der Kreativen abgestimmt macht. Diese Rolle dreht sich um die Pionierarbeit bei dieser Integration. Sie werden keine Standard-VLMs anwenden – Sie entwickeln neuartige Ansätze, innovieren an Architekturen und beantworten Fragen, die bisher nicht gelöst wurden: wie sich visuelle und sprachliche Repräsentationen gegenseitig informieren, wie multimodales Verständnis die Generierungsqualität verbessert und wie diese Fähigkeiten skalierbar gemacht werden können, ohne das Besondere an FLUX zu beeinträchtigen.

Was Sie bearbeiten werden

• Leitung der Entwicklung und des Trainings von hochmodernen multimodalen Vision-Sprach-Modellen innerhalb des FLUX-Stacks – Innovation an Architekturen, nicht nur Anwendung bestehender Modelle
• Entwicklung von Feinabstimmungsstrategien, die VLMs an spezialisierte kreative Anwendungsfälle (Beschriftung, Bearbeitungsanweisungen, Auffrischung von Eingabeaufforderungen) anpassen, die allgemeine Modelle nicht bewältigen können
• Forschung zu Integrationen zwischen VLM/LLM-Fähigkeiten und unseren Diffusions- und Fluss-Pipelines – kreative Wege finden, um die Generierungsqualität und Kontrollierbarkeit ohne rechnerische Engpässe zu verbessern
• Bewertung neuer multimodaler Architekturen und Übersetzung der besten aktuellen Forschung in praktische Verbesserungen

Was wir suchen

• Sie haben ein VLM vortrainiert oder erheblich weiterentwickelt (nicht nur SFT'd oder LoRA'd), das in einem Produktionssystem eingesetzt oder öffentlich veröffentlicht wurde
• Starke Publikationsbilanz oder unmissverständliche Produktionsbilanz, die zeigt, dass Sie die Grenzen multimodaler Architekturen verschieben
• Tiefes Verständnis dafür, wie visuelle und sprachliche Repräsentationen interagieren: Tokenisierung, Ausrichtung, Verankerung, cross-modale Aufmerksamkeit und die Fehlerarten jeder
• Erfahrung mit verteiltem Training im Multi-Node-Maßstab
• Komfortabel an der Grenze zwischen Forschung und Produktion – Ihnen ist wichtig, ob die Arbeit ausgeliefert wird und verallgemeinert, nicht nur, ob sie gut lesbar ist
• Erfahrung mit Diffusions- oder flussbasierten generativen Modellen ist ein großer Vorteil – insbesondere wenn Sie darüber nachgedacht haben, wie autoregressive und Diffusionsparadigmen zusammenspielen können

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir glauben, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass es für alle zugänglich ist. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Forschungsinstitut an der Front. Die Wissenschaft muss stimmen, das Verständnis tief, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen die ambitionierte Wette ein. Wir liefern, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlungsmacht ohne Empathie schafft Chaos.

Wenn sich das nach Arbeit anhört, die Ihnen Freude bereiten würde, würden wir uns freuen, von Ihnen zu hören.