Member of Technical Staff - Research Engineer

Über Black Forest Labs

Wir sind das Team hinter Latent Diffusion, Stable Diffusion und FLUX – grundlegende Technologien, die verändert haben, wie die Welt Bilder und Videos erstellt. Wir entwickeln die generativen Modelle, die die Art und Weise, wie Menschen Bilder und Videos erstellen, antreiben – Werkzeuge, die von Millionen von Kreativen, Entwicklern und Unternehmen weltweit genutzt werden. Unsere FLUX-Modelle gehören zu den fortschrittlichsten der Welt, und wir stehen erst am Anfang. Mit Hauptsitz in Freiburg, Deutschland, und einer wachsenden Präsenz in San Francisco, wachsen wir schnell, während wir uns treu bleiben: Forschungsexzellenz, offene Wissenschaft und der Aufbau von Technologien, die die menschliche Kreativität erweitern.

Warum diese Rolle

Das Training in großem Maßstab ist der Ort, an dem Forschungsideen real werden und wo viele der schwierigsten Probleme nicht mehr klar in „Forschung“ oder „Ingenieurwesen“ unterteilt sind. Eine vielversprechende Architektur ist nur dann von Bedeutung, wenn wir sie stabil, effizient und korrekt über große GPU-Flotten trainieren können. In dieser Rolle werden Sie in das Produktionstraining eingebettet und helfen dort, wo die schwierigsten System- und Leistungsprobleme auftreten: Aufmerksamkeitsleistung, benutzerdefinierte Kerne, Low-Precision-Training, Profilierung, Speicherverhalten, Datenbewegung, Stabilität des verteilten Trainings und Durchsatzregressionen. Sie arbeiten direkt mit Forschern zusammen, aber Ihr Output wird oft Code, Messungen, Kerne, Debugging-Tools und Änderungen am Trainingssystem sein, die bessere Forschung ermöglichen. Wir sind offen für eine Reihe von Erfahrungsgraden für diese Rolle. Der gemeinsame Nenner ist tiefes technisches Eigentum: Sie sollten in der Lage sein, Fortschritte bei mehrdeutigen Problemen im Trainingssystem zu erzielen, Ihre Ergebnisse zu überprüfen und das Ergebnis zu verantworten.

Woran Sie arbeiten werden

• Verbesserung der Leistung, Zuverlässigkeit und numerischen Stabilität von Produktionstrainingsläufen für große multimodale generative Modelle
• Profilierung vollständiger Trainingsschritte über Modellcode, Aufmerksamkeit, Kerne, Datenladung, Encoder, Kommunikation, Optimierungsschritte, Checkpointing und Speicherbelastung
• Implementierung und Validierung von GPU-Optimierungen auf Ebene der GPU: fusionierte Kerne, Aufmerksamkeitswege, Low-Precision-Matmuls, Quantisierungskerne, CUDA/Triton/CuTe/CUTLASS-Experimente und No-Compile-Alternativen, wo es sinnvoll ist
• Vorantreiben des Low-Precision-Trainings, einschließlich FP8 / MXFP8 / FP4-Stilen, Gewicht- und Aktivierungsquantisierung, Akkumulationsentscheidungen, Konvergenzrisiken und Qualitätskompromissen im Vergleich zu Basistrainingsläufen
• Zusammenarbeit mit Forschern, um Architekturänderungen in effiziente Trainingsimplementierungen zu übersetzen und echte Fortschritte in der Modellqualität von Änderungen zu unterscheiden, die nur in einem Mikrobenchmark gut aussehen
• Debugging von Fehlern im verteilten Training: NaNs, Verlustspitzen, stiller numerischer Drift, Speicherlecks, Stragglers, fehlerhafte Knoten, NCCL-Probleme und Durchsatzklippen
• Aufbau von Benchmarking- und Profilierungswerkzeugen, die Leistungsansprüche über Hardware, Formen, Sequenzlängen und Trainingskonfigurationen vertrauenswürdig machen
• Hilfe für das Trainingsteam, schnell zu handeln, wenn ein dringender Engpass auftritt, während wiederholte Fehler in bessere Abstraktionen und Werkzeuge umgewandelt werden

Was wir suchen

• Erfahrung in der tiefen Arbeit an groß angelegten Trainingssystemen, idealerweise als Teil einer Trainingsgruppe, die eng mit Forschern zusammenarbeitet
• Starke PyTorch-Flüssigkeit, einschließlich der Fähigkeit, niedrigstufigen Trainingscode zu lesen und zu ändern, anstatt nur hochgradige APIs zu verwenden
• Erfahrung mit Konzepten des verteilten Trainings wie FSDP, Tensor-/Modell-/Kontext-/Sequenzparallelismus, Aktivierungs-Checkpointing, NCCL und Überlappung von Berechnung und Kommunikation
• Praktische Erfahrung in der Verbesserung des Trainingsdurchsatzes, des Speicherbedarfs oder der Stabilität in realen Trainingsläufen
• Erfahrung in der Profilierung von GPU-Workloads mit Tools wie Nsight Systems, Nsight Compute, Torch Profiler, Trace Viewers oder benutzerdefinierter Telemetrie
• Praktisches Urteilsvermögen zur GPU-Leistung: Sie können moderne Codierungsagenten und -tools so viel verwenden, wie Sie möchten, aber Sie müssen das Verständnis haben, um Korrektheit, numerisches Verhalten und Leistung zu überprüfen und das Ergebnis zu verantworten
• Verständnis der Kompromisse beim Low-Precision-Training und der Quantisierung: FP8, MXFP8, FP4/NVFP4-Stile, Skalierung, Akkumulation, numerische Validierung und Konvergenzrisiko
• Gutes Forschungsurteil: Sie können mit Forschern an Ablationen zusammenarbeiten, verstehen, was die Messungen beweisen und was nicht, und die Optimierungsarbeit an die Ergebnisse der Modellqualität binden
• Komfortables Arbeiten in Mehrdeutigkeit: Manchmal ist die Aufgabe eine saubere Implementierung, manchmal ein Produktionsfeuer, und manchmal herauszufinden, welche von drei plausiblen Erklärungen tatsächlich wahr ist

Wir wären besonders begeistert, wenn Sie:

• Das Training eines Grenzmodell, das versendet oder eine wichtige Veröffentlichung erreicht hat, unterstützt oder mitbesessen haben
• Vorwärts-/Rückwärts-GPU-Kerne geschrieben oder erheblich verbessert haben oder gezeigt haben, dass Sie Fortschritte bei der Arbeit auf Kernel-Ebene mit starker Mess- und Validierungsdisziplin machen können
• An der Aufmerksamkeitsleistung, dem Training variabler Sequenzlängen oder nicht-standardisierten Aufmerksamkeitsmustern gearbeitet haben
• Erfahrung mit Hopper- oder Blackwell-Klassen-GPUs haben
• An Low-Precision-Training gearbeitet haben
• Erfahrung mit Diffusion, Flussanpassung, DiT und multimodalem generativem Modelltraining haben; wenn Ihr tiefstes Wissen in autoregressiven oder LLM-Trainingssystemen liegt, sind Sie bereit, schnell den Diffusions- und multimodalen Modellierungsstapel zu lernen
• Natürlich zwischen Profiler-Traces, Kernel-Code, Fehlern in verteilten Systemen und Forschungsdiskussionen wechseln können

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir denken, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Alles, was wir tun, basiert auf vier Werten:

• Besessen. Wir sind ein Grenzforschungsinstitut. Die Wissenschaft muss richtig sein, das Verständnis tief, das Produkt schön.
• Niedriger Ego. Die Arbeit spricht. Die beste Idee gewinnt, egal wer sie gesagt hat. Anerkennung wird geteilt. Niemand steht über einer Aufgabe.
• Mutig. Wir gehen die ambitionierte Wette ein. Wir versenden, wir warten nicht darauf, dass die Bedingungen perfekt sind.
• Freundlich. Menschen über Politik. Wir behandeln uns gegenseitig mit echter Wärme. Handlung ohne Empathie schafft Chaos.

Wenn sich das nach Arbeit anhört, die Ihnen Freude bereiten würde, würden wir uns freuen, von Ihnen zu hören.

Jahresgrundgehalt: US $180.000 - $290.000 + Eigenkapital