Member of Technical Staff - Research Engineer in Freiburg im Breisgau

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Wir entwickeln die generativen Modelle, die es den Menschen ermöglichen, Bilder und Videos zu erstellen – Werkzeuge, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden. Unsere FLUX-Modelle gehören zu den fortschrittlichsten der Welt, und wir fangen gerade erst an. Unser Hauptsitz befindet sich in Freiburg, Deutschland, mit einer wachsenden Präsenz in San Francisco. Wir wachsen schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und Technologie, die die menschliche Kreativität erweitert.

Warum diese Rolle

Das Training in großem Maßstab ist der Ort, an dem Forschungsideen real werden und wo viele der schwierigsten Probleme nicht mehr klar in 'Forschung' oder 'Ingenieurwesen' unterteilt sind. Eine vielversprechende Architektur ist nur dann von Bedeutung, wenn wir sie stabil, effizient und korrekt über große GPU-Flotten trainieren können. In dieser Rolle werden Sie in das Produktionstraining eingebettet sein und dort helfen, wo die schwierigsten System- und Leistungsprobleme auftreten: Aufmerksamkeitsleistung, benutzerdefinierte Kerne, Low-Precision-Training, Profilierung, Speicherverhalten, Datenbewegung, Stabilität des verteilten Trainings und Durchsatzrückgänge. Sie werden direkt mit Forschern zusammenarbeiten, aber Ihre Ergebnisse werden oft Code, Messungen, Kerne, Debugging-Tools und Änderungen am Trainingssystem sein, die bessere Forschung ermöglichen. Wir sind offen für eine Reihe von Erfahrungsgraden für diese Rolle. Der gemeinsame Nenner ist tiefes technisches Eigentum: Sie sollten in der Lage sein, Fortschritte bei mehrdeutigen Problemen im Trainingssystem zu erzielen, Ihre Ergebnisse zu überprüfen und das Ergebnis zu verantworten.

Woran Sie arbeiten werden

• Verbesserung der Leistung, Zuverlässigkeit und numerischen Stabilität von Produktionstrainingsläufen für große multimodale generative Modelle
• Profilierung vollständiger Trainingsschritte über Modellcode, Aufmerksamkeit, Kerne, Datenladung, Encoder, Kommunikation, Optimierungsschritte, Checkpointing und Speicherbelastung
• Implementierung und Validierung von GPU-Optimierungen: fusionierte Kerne, Aufmerksamkeitswege, Low-Precision-Matmuls, Quantisierungskerne, CUDA/Triton/CuTe/CUTLASS-Experimente und No-Compile-Alternativen, wo es sinnvoll ist
• Vorantreiben des Low-Precision-Trainings, einschließlich FP8 / MXFP8 / FP4-Stilen, Gewicht- und Aktivierungsquantisierung, Akkumulationsentscheidungen, Konvergenzrisiken und Qualitätsabgleich gegen Basistrainingsläufe
• Zusammenarbeit mit Forschern, um Architekturänderungen in effiziente Trainingsimplementierungen zu übersetzen und echte Fortschritte in der Modellqualität von Änderungen zu unterscheiden, die nur in einem Mikrobenchmark gut aussehen
• Debugging von Fehlern im verteilten Training: NaNs, Verlustspitzen, stiller numerischer Drift, Speicherlecks, Stragglers, fehlerhafte Knoten, NCCL-Probleme und Durchsatzklippen
• Erstellung von Benchmarking- und Profilierungswerkzeugen, die Leistungsansprüche über Hardware, Formen, Sequenzlängen und Trainingskonfigurationen vertrauenswürdig machen
• Hilfe für das Trainingsteam, schnell zu handeln, wenn ein dringender Engpass auftritt, während wiederholte Fehler in bessere Abstraktionen und Werkzeuge umgewandelt werden

Was wir suchen

• Erfahrung in der Arbeit mit groß angelegten Trainingssystemen, idealerweise als Teil einer Trainingsgruppe, die eng mit Forschern zusammenarbeitet
• Starke PyTorch-Flüssigkeit, einschließlich Komfort beim Lesen und Modifizieren von Low-Level-Trainingscode, anstatt nur hochrangige APIs zu verwenden
• Erfahrung mit Konzepten des verteilten Trainings wie FSDP, Tensor-/Modell-/Kontext-/Sequenzparallelismus, Aktivierungscheckpointing, NCCL und Überlappung von Berechnung und Kommunikation
• Praktische Erfahrung in der Verbesserung des Trainingsdurchsatzes, des Speicherbedarfs oder der Stabilität in realen Trainingsläufen
• Erfahrung in der Profilierung von GPU-Workloads mit Tools wie Nsight Systems, Nsight Compute, Torch Profiler, Trace Viewers oder benutzerdefinierter Telemetrie
• Praktisches Urteilsvermögen zur GPU-Leistung: Sie können moderne Codierungsagenten und -tools so oft verwenden, wie Sie möchten, aber Sie müssen das Verständnis haben, um Korrektheit, numerisches Verhalten und Leistung zu überprüfen und das Ergebnis zu verantworten
• Verständnis von Low-Precision-Training und Quantisierungsabgleich: FP8, MXFP8, FP4/NVFP4-Stile, Skalierung, Akkumulation, numerische Validierung und Konvergenzrisiko
• Gutes Forschungsurteil: Sie können mit Forschern an Ablationen zusammenarbeiten, verstehen, was die Messungen beweisen und was nicht, und die Optimierungsarbeit an die Ergebnisse der Modellqualität binden
• Komfortable Handhabung von Mehrdeutigkeiten: Manchmal ist die Aufgabe eine saubere Implementierung, manchmal ein Produktionsfeuer, und manchmal herauszufinden, welche von drei plausiblen Erklärungen tatsächlich wahr ist

Wir wären besonders begeistert, wenn Sie:

• Das Training für ein Grenzmodell unterstützt oder mitverantwortet haben, das ausgeliefert oder eine wichtige Veröffentlichung erreicht hat
• Vorwärts-/Rückwärts-GPU-Kerne geschrieben oder erheblich verbessert haben oder gezeigt haben, dass Sie Fortschritte bei der Arbeit auf Kernel-Ebene mit starker Mess- und Validierungsdisziplin machen können
• An der Aufmerksamkeitsleistung, dem Training variabler Sequenzlängen oder nicht-standardisierten Aufmerksamkeitsmustern gearbeitet haben
• Erfahrung mit Hopper- oder Blackwell-Klassen-GPUs haben
• An Low-Precision-Training gearbeitet haben
• Erfahrung mit Diffusion, Flow Matching, DiT und multimodalem generativem Modelltraining haben; wenn Ihr tiefstes Wissen in autoregressiven oder LLM-Trainingssystemen liegt, sind Sie bereit, den Diffusions- und multimodalen Modellierungsstapel schnell zu lernen
• Natürlich zwischen Profiler-Traces, Kernel-Code, Fehlern in verteilten Systemen und Forschungsdiskussionen wechseln können

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir glauben, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Grenzforschungsinstitut. Die Wissenschaft muss richtig sein, das Verständnis tief, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen die ambitionierte Wette ein. Wir liefern, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlungsmacht ohne Empathie schafft Chaos.

Jahresgrundgehalt: EU €130.000 - €240.000 + Eigenkapital US $180.000 - $290.000 + Eigenkapital