Masterand (all genders) – Semantic 4D Occupancy Forecasting

Die semantische 4D-Belegungsvorhersage (Semantic 4D Occupancy Forecasting) ist von entscheidender Bedeutung für sicheres autonomes Fahren, da sie es Fahrzeugen ermöglicht, zukünftige Szenendynamiken und -geometrien zu antizipieren. Um diesen Datenengpass zu überwinden, verlagert sich die Spitzenforschung zunehmend hin zu selbstüberwachten und schwach überwachten Paradigmen, die vortrainierte 2D-Foundation-Modelle (z. B. DINOv2, CLIP oder SAM) nutzen. Durch die Ausrichtung dieser reichhaltigen Open-Vocabulary 2D-Semantikmerkmale an räumlichen 3D-/4D-Repräsentationen mithilfe fortschrittlicher Transformer-Architekturen ist es möglich, ein robustes räumlich-zeitliches Verständnis ohne dichte 3D-Ground-Truth-Daten zu erreichen.

Aufbauend auf diesen Durchbrüchen konzentriert sich diese Masterarbeit auf die Entwicklung eines Foundation-Model-basierten Frameworks für die visionsbasierte 4D-Belegungsvorhersage. Deine Aufgabe wird es sein, eine Architektur zu entwerfen, die reichhaltige Multi-View-Semantiken in eine 4D-Vorhersage-Pipeline destilliert und so die Lücke zwischen skalierbaren, rein kamerabasierten Eingaben und hochpräzisen Umgebungsvorhersagen schließt.

• Entwicklung eines Transformer-basierten Netzwerks zur Vorhersage der zukünftigen semantischen 4D-Belegung aus sequenziellen Multi-View-Kameradaten mittels schwacher oder Selbstüberwachung.
• Aufbau und Training der PyTorch-Pipeline sowie Entwurf von Alignment-Mechanismen, um semantische Merkmale aus 2D-Foundation-Modellen in die räumlich-zeitliche 4D-Repräsentation zu destillieren.
• Benchmarking gegen vollständig überwachte Baselines auf großen Datensätzen (z.B. nuScenes, OpenOccupancy) mit besonderem Fokus auf Vorhersagegenauigkeit (IoU), semantischer Präzision und Label-Effizienz.

Du bist eingeschrieben in einem Masterstudium der Informatik, Künstlichen Intelligenz, Robotik oder eines vergleichbaren Studiengangs. Du verfügst über sehr gute Programmierkenntnisse in Python sowie fundierte Erfahrung mit Deep-Learning-Frameworks (insbesondere PyTorch). Du bringst fundiertes Hintergrundwissen im Bereich 3D Computer Vision mit. Praktische Erfahrung mit semantischer Segmentierung, Occupancy Networks oder 3D Gaussian Splatting ist von großem Vorteil. Du besitzt Kenntnisse über Vision Transformers (ViT), Foundation Models (DINO, CLIP) sowie Paradigmen des selbst- bzw. schwach überwachten Lernens.

Du hast eine selbstständige und lösungsorientierte Arbeitsweise, hohe Motivation sowie sehr gute Englisch- und Deutschkenntnisse (C1-Niveau) für eine klare Kommunikation im Team und mit unseren Partnern.

Selbstorganisierte Teams mit viel Gestaltungsspielraum, Verantwortung und Mitgestaltung. Offene Fehler- und Feedbackkultur. Individuelles Mentoring ab dem ersten Tag, regelmäßige Entwicklungsgespräche („Catch-ups“), Führung auf Augenhöhe, basierend auf Vertrauen und Respekt. Fachliche und überfachliche Trainings, interne TechTalks, externe Fortbildungen und Konferenzen. Anspruchsvolle, innovative und vielseitige Projekte in cross-funktionalen Teams mit modernen Technologien. Zuschuss zu Betreuungskosten bis zu 250 €/Kind, Lohnfortzahlung für Kinderkrankentage. Regelmäßige Events (z. B. Retreats, Sommerfeste), persönliche Begegnungen und Teamzusammenhalt. Freie Wahl von Arbeitszeit und -ort, flexible Arbeitszeitkonten, 30 Tage Urlaub, Teilzeitoption, Sabbatical und Workation. Mental Health Taskforce, JobRad und weitere Angebote. Diversity Taskforce für Perspektivenvielfalt, Kultur der Zugehörigkeit: Jede*r soll sich angenommen fühlen.