Member of Technical Staff - Image / Video Generation

Warum diese Rolle

Sie werden groß angelegte Diffusionsmodelle für die Bild- und Videoerzeugung trainieren, neue Ansätze erkunden und dabei die Strenge aufrechterhalten, die uns hilft, bedeutenden Fortschritt von inkrementellen Anpassungen zu unterscheiden. Es geht nicht darum, etablierten Rezepten zu folgen – es geht darum, die Experimente durchzuführen, die klären, welche architektonischen Entscheidungen wichtig sind und welche weniger Einfluss haben.

Woran Sie arbeiten werden

• Trainieren von groß angelegten Diffusions-Transformermodellen für Bild- und Videodaten, wobei Sie in dem Maßstab arbeiten, in dem Intuitionen brechen und empirische Beweise wichtig sind.
• Rigoroses Ablation von Designentscheidungen – Durchführung von Experimenten, die Variablen isolieren, Störfaktoren kontrollieren und Erkenntnisse produzieren, denen Sie tatsächlich vertrauen können – und dann Kommunizieren dieser Ergebnisse, um unsere Forschungsrichtung zu gestalten.
• Überlegen der Geschwindigkeits-Qualitäts-Abwägungen von neuronalen Netzwerkarchitekturen in Produktionsumgebungen, in denen beide Einschränkungen gleichzeitig wichtig sind.
• Feinabstimmung von Diffusionsmodellen für spezialisierte Anwendungen wie Bild- und Video-Upscaler, Inpainting/Outpainting-Modelle und andere Aufgaben, bei denen allgemeine Modelle nicht ausreichen.

Was wir suchen

Sie haben groß angelegte Diffusionsmodelle trainiert und starke Intuitionen darüber entwickelt, was wichtig ist. Sie wissen, dass jede Designentscheidung im Forschungskontext Abwägungen hat, und der einzige Weg, um herauszufinden, welche es wert sind, getroffen zu werden, ist durch sorgfältige Ablation. Sie sind damit vertraut, Probleme beim verteilten Training zu debuggen und Forschungsergebnisse dem Team zu präsentieren.

Sie haben wahrscheinlich:

• Praktische Erfahrung im Training von groß angelegten Diffusionsmodellen für Bild- und Videodaten, mit praktischem Wissen über häufige Fehlerquellen und was beim Training am wichtigsten ist.
• Erfahrung in der Feinabstimmung von Diffusionsmodellen für spezialisierte Anwendungen – Upscaler, Inpainting, Outpainting oder andere Aufgaben, bei denen das Verständnis des Bereichs ebenso wichtig ist wie das Verständnis der Architektur.
• Tiefes Verständnis dafür, wie man Bild- und Video-generative Modelle effektiv bewertet – zu wissen, welche Metriken mit Qualität korrelieren und welche nur bequeme Stellvertreter sind.
• Starke Kenntnisse in PyTorch, Transformatorarchitekturen und dem gesamten Ökosystem des modernen Deep Learning.
• Solides Verständnis von Techniken des verteilten Trainings – FSDP, Low-Precision-Training, Modellparallelismus – da unsere Modelle nicht auf eine GPU passen und Trainingsentscheidungen die Forschungsergebnisse beeinflussen.

Wir wären besonders begeistert, wenn Sie:

• Erfahrung im Schreiben von Vorwärts- und Rückwärts-Triton-Kernen haben und deren Korrektheit unter Berücksichtigung von Gleitkommafehlern sicherstellen können.
• Fähigkeiten im Profiling, Debugging und Optimieren von Einzel- und Multi-GPU-Operationen mit Tools wie Nsight oder Stack-Trace-Viewern mitbringen.
• Die Leistungsmerkmale verschiedener architektonischer Entscheidungen im großen Maßstab kennen.
• Veröffentlichte Forschung haben, die dazu beigetragen hat, wie Menschen über generative Modelle denken.

Wie wir zusammenarbeiten

Wir sind ein verteiltes Team mit echten Büros, die die Leute tatsächlich nutzen. Je nach Ihrer Rolle werden Sie entweder mindestens 2 Tage pro Woche (oder eine volle Woche alle zwei Wochen) in Freiburg oder SF bei uns sein oder remote arbeiten mit einer monatlichen persönlichen Woche, um verbunden zu bleiben. Wir übernehmen angemessene Reisekosten, um dies zu ermöglichen. Wir denken, dass persönliche Zeit wichtig ist, und haben die Dinge so strukturiert, dass sie für alle zugänglich sind. Wir werden besprechen, wie dies für die Rolle während unseres Interviewprozesses aussehen wird.

Wenn sich das nach Arbeit anhört, die Ihnen Spaß machen würde, würden wir uns freuen, von Ihnen zu hören.

Basisjahresgehalt: EU €130.000‑€340.000 + Eigenkapital