Applied Research Engineer, Evaluation in Freiburg

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Unsere FLUX-Modelle gehören zu den fortschrittlichsten der Welt, und wir fangen gerade erst an. Unser Hauptsitz befindet sich in Freiburg, Deutschland, mit einer wachsenden Präsenz in San Francisco. Wir wachsen schnell und bleiben dabei unseren Werten treu: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Die neuesten Bild- und Videomodelle sind mittlerweile so gut, dass die schwierige Frage nicht mehr ist, ob sie funktionieren, sondern ob ein neues Modell tatsächlich besser ist und wie man das wissen kann. Ästhetik, Befolgung von Aufforderungen, Bearbeitungsgenauigkeit, Textdarstellung, Konsistenz von Charakteren: Keines dieser Kriterien lässt sich in eine einzige Zahl zusammenfassen, und öffentliche Benchmarks sind weit hinter den Modellen zurückgeblieben, die sie messen sollen.

Sie werden an dem System arbeiten, das BFL verwendet, um diese Frage zu beantworten. Jeder FLUX-Checkpoint, jedes Feintuning und jeder RL-Lauf sowie jede Wettbewerberveröffentlichung durchläuft unseren Evaluierungsstapel, und Sie werden helfen, ihn aufzubauen und zu schärfen. Die Produktforschung verlässt sich auf das, was es zeigt, um zu entscheiden, was als Nächstes behoben werden muss, und um zu bestätigen, dass die Korrektur funktioniert hat.

Es wird schwieriger. FLUX 3 ist unser erstes multimodales Modell, das Bild, Video, Audio und Aktion umfasst, und jede neue Modalität benötigt ihre eigene Messmethode.

Woran Sie arbeiten werden

• Aufbau und Wartung des Evaluierungsstapels, den jeder Modell-Checkpoint durchlaufen muss, von automatisierten Benchmarking- und LLM-as-Judge-Pipelines bis hin zur menschlichen Bewertung durch Panels (Prolific und andere).
• Gestaltung der Breite der Evaluierung über die Taxonomie hinweg, von der Befolgung von Aufforderungen, Bearbeitungsgenauigkeit, Ästhetik, Textdarstellung, Konsistenz von Subjekten und Charakteren bis hin zur Sicherheit.
• Evaluierung des Evaluierungsstapels selbst: Überprüfung, dass menschliche und automatisierte Bewertungen übereinstimmen, dass die Ergebnisse über die Zeit stabil bleiben und Verbesserung, wenn dies nicht der Fall ist.
• Benchmarking von FLUX gegen die neuesten Modelle kontinuierlich, während wir eine sinnvolle Perspektive darauf gewinnen, wo wir besser oder schlechter sind als Wettbewerber und was solche Unterschiede wirklich bedeuten.
• Identifizierung der Bereiche, in denen die Qualität der Ausgaben des Modells hinter den aggregierten Zahlen zurückbleibt.
• Schließen des Kreislaufs, idealerweise mit den RL- und Feintuning-Forschern, indem Zielmetriken definiert werden, auf die sie abzielen können, und Überprüfung, dass ein neuer Checkpoint die Schwäche verbessert hat, ohne neue einzuführen.
• Gestaltung, wie die Signale, die wir bereits über die API und MCP erfassen, am besten genutzt werden können und welche neuen Signale wir erfassen sollten, mit Hilfe von Forschung, Datenengineering und rechtlichen Aspekten.
• Wahrung der Nützlichkeit bestehender Metriken, während deren natürlicher Lebenszyklus Bedenken hinsichtlich Gaming und Overfitting aufwirft, und Antizipation für neue Metriken.

Was wir suchen

Sie haben bereits bedeutende Beiträge zur Evaluierung generativer Modelle geleistet. Sie verstehen, dass eine Benchmark-Zahl ohne sorgfältige Berücksichtigung der Stichprobengröße und der Übereinstimmung der Richter mit Menschen bestenfalls uninformierten Optimismus und schlimmstenfalls gefährlich irreführend ist, und Sie waren die Person, die diese unbequeme Regression gefunden hat, über die niemand sprechen wollte.

Sie haben wahrscheinlich:

• Ein fortgeschrittenes Studium (MS/PhD) in einem relevanten Bereich oder nachgewiesene gleichwertige praktische Erfahrung.
• Praktische Erfahrung mit der Evaluierung generativer Modelle auf praktische Weise. Sie haben möglicherweise bereits mit Diffusions- oder Flow-Matching-basierten Bild- oder Videomodellen gearbeitet, aber die Fähigkeit, sie ernsthaft zu bewerten, überträgt sich auch auf andere Modalitäten.
• Sehr starke Python- und Softwareentwicklungsfähigkeiten, mit Pipelines, die zuverlässig laufen und die andere bei Bedarf lesen können.
• Grundkenntnisse in PyTorch und modernen ML-Infrastrukturen und -Praktiken; Sie sind kein reiner Python-Entwickler, Sie wissen, wie moderner ML-Code aussieht.
• Ein starkes Verständnis von Statistik und deren Einschränkungen in der Praxis sowie wie man damit arbeitet; Stichprobengrößen, Inter-Annotator-Vereinbarung, Konfidenzniveaus usw. und eine gesunde Skepsis gegenüber dem, was diese Zahlen über die Welt aussagen.
• Praktische Erfahrung mit dem Aufbau und Betrieb von LLM-as-Judge-Systemen und Verständnis ihrer Einschränkungen.
• Grundkenntnisse moderner Benchmarking-Praktiken und gängiger Datensätze und Benchmarks im Bereich; Sie haben eine Vorstellung davon, welchen man vertrauen und welchen man ignorieren sollte.
• Die Neigung, sich die tatsächlichen Ausgaben Ihres Systems anzusehen und sich um das zu kümmern, was über eine aggregierte Punktzahl hinaus vorhanden ist.

Wir wären besonders begeistert, wenn Sie:

• Praktische Erfahrung mit menschlicher Bewertung haben, einschließlich Studiendesign und -durchführung über Panels sowie Analyse von Meinungsverschiedenheiten und der Leistung von Annotatoren.
• Wo Evaluation auf Training trifft (Belohnungsmodelle, Präferenzdaten, RLHF, DPO oder ähnliches) gearbeitet haben und wissen, dass alles, wofür Sie optimieren, das ist, was das Modell lernt.
• Agentische oder mehrstufige Systeme bewertet haben und wissen, wie schwierig es ist, Erfolg oder Misserfolg einem einzelnen Schritt zuzuschreiben.
• Werkzeuge gebaut haben, die die Leute tatsächlich intern nutzen wollen.
• Öffentliche Beiträge zum Bereich geleistet haben: Veröffentlichungen, Open Source oder Ähnliches.

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Diese Rolle basiert in Freiburg, wo Sie uns mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) anschließen werden. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir glauben, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Forschungsinstitut an der Front. Die Wissenschaft muss stimmen, das Verständnis tief sein, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir setzen auf das Ambitionierte. Wir liefern, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen stehen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlungsmacht ohne Empathie schafft Chaos.

Wenn sich das nach Arbeit anhört, die Ihnen Freude bereiten würde, würden wir uns freuen, von Ihnen zu hören.

Vergütung: €150K-€220K Grundgehalt + Eigenkapital je nach Erfahrung.