Research Scientist — Generative AI in Zürich

Wir suchen einen Research Scientist, um die generative Modellierungstechnologie hinter Athlences Rendering-Pipeline zu entwickeln. Der Fokus dieser Rolle liegt auf der Entwicklung generativer Modelle zur Verbesserung der visuellen Qualität rekonstruierter Szenen, während Geometrie, Multi-View-Konsistenz und zeitliche Kohärenz erhalten bleiben. Sie werden mit Diffusion, flow-basierten, Video- und anderen generativen Architekturen arbeiten und Methoden entwickeln, die Geometrie, Kamerainformationen, Multi-View-Beobachtungen und zeitlichen Kontext einbeziehen.

Die Rolle befindet sich an der Schnittstelle zwischen generativer Modellierung und 3D-Vison. Sie werden eng mit dem Team für 3D-Rekonstruktion zusammenarbeiten, um geometrische Darstellungen mit generativen Modellen zu verbinden und Methoden zu entwickeln, die zuverlässig mit realen Multi-Kamera-Aufnahmen arbeiten können.

Was Sie tun werden:

• Forschung und Entwicklung generativer Modelle für qualitativ hochwertiges, zeitlich konsistentes Rendering aus 3D- und 4D-Szenenrepräsentationen
• Erforschen von Diffusion, Flow-Matching, rectified flow, Video-Generierung und verwandten Ansätzen der generativen Modellierung
• Anpassen und Feinabstimmen großangelegter 2D-, Video- und 3D-generativer Modelle auf Athlences Multi-View- und zeitliche Daten
• Entwicklung von Bedingungsmechanismen, die Geometrie, Kamerainformationen, zeitlichen Kontext und Multi-View-Beobachtungen einbeziehen
• Erforschen von Feed-Forward-Architekturen und 3D/4D-Darstellungen, die spärliche Multi-View-Eingaben direkt mit darstellbaren Szenenrepräsentationen verbinden
• Entwerfen und Durchführen von Experimenten, um die Trade-offs zwischen wahrnehmbarer Qualität, geometrischer Konsistenz, zeitlicher Stabilität, Latenz und Rechenaufwand zu verstehen
• Entwicklung von Evaluationsmetriken und Benchmarks, die wahrnehmbare Qualität und zeitliche/Multi-View-Konsistenz über konventionelle pixelbasierte Metriken hinaus erfassen
• Aufbau von Trainings-, Evaluations- und Inferenzpipelines für großangelegte generative Modelle
• Definieren und Verbessern der Datenverteilung, die zum Trainieren generativer Modelle verwendet wird, einschließlich Datensatzkuratierung, Filterung und Vorverarbeitung
• Enges Zusammenarbeiten mit den Teams für 3D-Rekonstruktion und Systeme, um generative Modelle in die breitere Rendering-Pipeline zu integrieren

Was Sie mitbringen müssen:

• Starke praktische Erfahrung mit modernen generativen Modellen, insbesondere Diffusions- oder flow-basierten Modellen
• Ein rigoroses Verständnis der Prinzipien hinter Diffusionsmodellen, Rauschplänen, Flow-Matching oder verwandten Methoden der generativen Modellierung
• Praktische Erfahrung im Training, der Feinabstimmung, Anpassung oder Destillation von 2D-, Video- oder 3D-generativen Modellen
• Starke Python- und PyTorch-Kenntnisse, mit Erfahrung im Aufbau von Trainings- und Evaluationspipelines
• Gute Grundlagen in Computer Vision und 3D, einschließlich Vertrautheit mit Kameramodellen und grundlegender Multi-View-Geometrie
• Erfahrung im Entwerfen von Experimenten, Analysieren des Modellverhaltens und Untersuchen von Fehlermodi
• Fähigkeit, Forschungsideen von einer ersten Hypothese über Implementierung, Experimentierung bis hin zur Evaluierung zu bringen
• Fähigkeit, unabhängig zu arbeiten und technische Ergebnisse sowie Trade-offs klar zu kommunizieren

Schön zu haben:

• Erfahrung mit großangelegtem verteiltem Training unter Verwendung von Technologien wie FSDP, DeepSpeed oder ähnlichem
• Erfahrung mit Video-Generierung, zeitlicher Modellierung oder Multi-View-generativen Modellen
• Erfahrung mit Novel-View-Synthese, neuronaler Rendering, Gaussian Splatting, NeRFs oder anderen 3D-Darstellungen
• Erfahrung in der Bedingung generativer Modelle auf Geometrie, Tiefe, Kameraparameter oder andere räumliche Informationen
• Erfahrung in der Optimierung generativer Modelle für Inferenzlatenz, Speicherverbrauch oder Durchsatz
• Veröffentlichungen in führenden Konferenzen für Computer Vision oder maschinelles Lernen wie CVPR, ICCV, ECCV, SIGGRAPH, NeurIPS oder ICML
• Open-Source-Arbeit oder bedeutende Forschungsprojekte, die praktische Erfahrungen in der generativen Modellierung demonstrieren

Was wir bieten:

• Zugang zu einzigartigen, proprietären Multi-Kamera-Sportdaten, die in realen Umgebungen erfasst wurden
• Die Möglichkeit, an herausfordernden Problemen der generativen Modellierung und 3D-Vison zu arbeiten, bei denen Forschungsideen gegen reale Einschränkungen bewertet werden
• Hohe Eigenverantwortung über den gesamten Forschungszyklus, von der Forschungserkundung und Experimentierung bis hin zur Integration und Bereitstellung
• Ein kleines, hoch technisches Team, in dem Sie direkt die Forschungsrichtung und die Systeme, die wir aufbauen, beeinflussen können