Master Thesis Large Language Models for Procedural Animations in Virtual Environments

SETLabs Research ist ein in München ansässiges Forschungszentrum, das 2021 als Tochtergesellschaft der Virtual Vehicle Research GmbH in Graz, Österreich, gegründet wurde. SETLabs arbeitet mit der Wissenschaft und der Industrie an gemeinsamen Projekten, um den Wissenstransfer von der Grundlagen- und angewandten Forschung in reale Anwendungen zu ermöglichen. Das Zentrum verfügt über domänenübergreifende Expertise in Modellierung und Simulation, Hardware-/Software-Integration, Systemtechnik, maschinellem Lernen und künstlicher Intelligenz. Die Hauptforschung erfolgt in den Bereichen Gesundheitswesen und Mobilität.

Die Masterarbeit „Large Language Models for Procedural Animations in Virtual Environments“ hat das Ziel, zu untersuchen, wie große Sprachmodelle (LLMs) genutzt werden können, um kontextbewusste prozedurale Verhaltensweisen für Avatare in menschzentrierten Simulationsumgebungen zu generieren. In Simulationsumgebungen, in denen Roboter mit Avataren und virtuellen Agenten interagieren, können LLMs als hochrangige Denkmodule dienen, die den natürlichen Sprachkontext in strukturierte Aktionspläne übersetzen. Diese Pläne regeln, wie virtuelle Agenten sich verhalten, interagieren und sich an dynamische Umgebungen anpassen, und unterstützen Arbeitsabläufe wie Aufgabenkoordination, Objektmanipulation oder situative Reaktionen.

Traditionelle Systeme basieren auf manuell erstellten Regeln oder stochastischen Animationsgraphen, die oft starr und schwer skalierbar sind. Diese Arbeit untersucht, ob LLM-gesteuertes hochrangiges Planen eine flexiblere, semantisch fundierte und skalierbare Alternative bieten kann. Konkret zielt die Arbeit darauf ab:

• Methoden zu entwickeln, um LLMs zur Erstellung symbolischer Verhaltenspläne zu nutzen, die beschreiben, was ein Avatar tun soll und wie (z.B. Aktionstyp, Geschwindigkeit, Stil, Timing).
• Diese symbolischen Pläne mit einer Bewegungsausführungsschicht in Unity zu integrieren, die physische Genauigkeit, Sicherheit und Reproduzierbarkeit gewährleistet.
• Die Machbarkeit, Vorteile und Einschränkungen dieses LLM-gesteuerten prozeduralen Kontrollansatzes in einer kleinen Anzahl repräsentativer Simulationsszenarien zu evaluieren.

Das erwartete Ergebnis ist ein validierter Prototyp-Pipeline, der zeigt, wie LLM-basierte Verhaltensgenerierung das semantische Verständnis, die Anpassungsfähigkeit und die Autonomie in simulationsbasierten Umgebungen verbessern kann.

Ihre Aufgaben:

• Durchführung einer aktuellen Übersicht über aktuelle Ansätze zur prozeduralen Animation und aufkommende Arbeiten zu LLMs für Verhaltenskontrolle, Spielinhalte und interaktive Erzählgenerierung.
• Entwurf und Implementierung einer hierarchischen Animationspipeline, in der ein LLM hochrangige symbolische Logik bereitstellt (z.B. Auswahl von Aktionen, Parametrisierung von Stil/Timing, Auslösen von Interaktionen).
• Integration der entwickelten Pipeline in den proprietären Unity-basierten Simulator von SETLabs, um LLM-gesteuerte Avatarsteuerung in realistischen virtuellen Umgebungen zu ermöglichen.
• Evaluierung des Systems in 2–3 Szenarien unter Messung der Planrichtigkeit, Bewegungsplausibilität und Reproduzierbarkeit.
• Dokumentation und Verbreitung der Ergebnisse in Form einer wissenschaftlichen Masterarbeit und möglicherweise einer Veröffentlichung im Bereich Computergraphik oder Computer Vision.

Ihr Profil:

• Student, der derzeit im MSc. in Informatik, Spieleengineering, Robotik oder verwandten Bereichen eingeschrieben ist.
• Starke Programmierkenntnisse in Python (erforderlich).
• Vertrautheit mit Unity + C# (von Vorteil).
• Interesse an großen Sprachmodellen, Simulation und Animationssystemen. Hintergrund in maschinellem Lernen und Computergraphik (von Vorteil).

Unser Angebot:

• Die Möglichkeit, zu bahnbrechenden internationalen Forschungsprojekten mit einem breiten Partnernetzwerk beizutragen.
• Zusammenarbeit in einem engagierten und dynamischen Forschungsteam.
• Flexible Arbeitszeiten und die Möglichkeit, remote zu arbeiten.
• Bezahlte Masterarbeit und potenzielle Mini-Job-Anstellung.
• Teilnahme an wissenschaftlichen Konferenzen.
• Persönliche und berufliche Entwicklungsmöglichkeiten auf allen Karrierestufen.