AI Engineer - Task Planning and Orchestration, Embodied Agents (human)

Bei NEURA Robotics führen kognitive Roboter nicht nur Befehle aus. Sie nehmen wahr, denken nach, planen über lange Zeiträume und handeln autonom in der physischen Welt. Unsere robotischen Grundmodelle übernehmen die physische Ausführung. Darüber sitzt der Agent: der Teil, der herausfindet, was eine Aufgabe tatsächlich erfordert, sie in Schritte zerlegt, die der Roboter ausführen kann, und bemerkt, wenn die Realität nicht mehr mit dem Plan übereinstimmt.

Ihre Mission & Herausforderungen

• Embodied agent harness: Entwerfen und bauen Sie den Agenten, der auf unserer humanoiden Plattform läuft – den Loop von Sensoreingaben über das Denken bis zur Aktion, seine Schnittstellen zu den Kameras, der Tiefenwahrnehmung und der Propriozeption sowie das Zustandsmanagement, das eine Aufgabe über Minuten hinweg kohärent hält.
• Task decomposition & long-horizon planning: Wandeln Sie hochrangige menschliche Absichten in geordnete, ausführbare Schritte um, die jeweils die notwendigen Voraussetzungen, räumlichen Referenzen und Erfolgskriterien enthalten, und sequenzieren Sie diese, damit der Roboter eine Aufgabe abarbeiten kann, die er in dieser genauen Form noch nie gesehen hat.
• Visual reasoning & world state: Verwenden Sie VLMs, um zu interpretieren, was der Roboter sieht, Sprache im Szenario zu verankern und eine Arbeitsdarstellung von Objekten, Möglichkeiten und der Aufgabengeschichte für den Planer aufrechtzuerhalten.
• Closed-loop execution & recovery: Überprüfen Sie jeden Schritt anhand von Beobachtungen, anstatt den Erfolg anzunehmen, erkennen Sie Abweichungen vom Plan und planen Sie neu, versuchen Sie es erneut oder eskalieren Sie an einen Menschen, wenn das Risiko zu hoch ist.
• Evaluation on the robot: Messen Sie den Aufgabenerfolg in Simulation und auf echter Hardware, erstellen Sie Fehlertaxonomien aus realen Durchläufen und verwenden Sie diese, um zu entscheiden, ob eine Lösung im Planer, der Schnittstelle oder dem ausgegebenen Schritt gehört.
• Cross-functional collaboration: Arbeiten Sie eng mit unseren Teams für Grundmodelle, Wahrnehmung, Manipulation und Hardware zusammen, um die Denkebene über den Modellen von der Idee bis zu einem zuverlässigen Verhalten auf einem eingesetzten Roboter zu bringen.

Was wir erwarten können

• Ein starkes Master- oder Doktorat in Informatik, Robotik oder einem verwandten Bereich – oder gleichwertige Tiefe, die durch abgeschlossene Arbeiten gezeigt wird.
• Nachgewiesene Erfahrung im Aufbau von Agentensystemen auf Basis von LLMs und VLMs, die Aufgaben zerlegen, planen, Werkzeuge verwenden und den Zustand über lange Zeiträume aufrechterhalten, anstatt nur einmalige Eingabeaufforderungen zu bearbeiten.
• Mehrere Jahre praktische Erfahrung mit physischen Robotern, nicht nur in Simulation: Bringen Sie Ihren eigenen Code auf eine echte Plattform, führen Sie ihn dort aus und debuggen Sie ein System, das sich anders verhält, sobald es einen Körper hat.
• Praktische Erfahrung mit VLMs als Arbeitswerkzeug: Verankern von Sprache in Bildern, räumliches und physisches Denken, strukturierte Ausgaben, mit denen Sie arbeiten können, und ein realistisches Gefühl dafür, wo sie versagen.
• Vertrautheit mit hierarchischer Autonomie, bei der ein Denkmodell plant und erlernte oder klassische Richtlinien ausführt: Teilziel-Schnittstellen, Fortschrittsüberprüfung, Neuplanung.
• Erfahrung mit Robotik-Middleware und Onboard-Bereitstellung: ROS 2, Inferenz auf eingebetteten GPUs und Arbeiten innerhalb eines echten Latenzbudgets.
• Solide Softwaretechnik: sauberen Code, Tests und Dienste, gegen die andere Teams aufbauen können. Erfahrung mit Cloud, Containerisierung und CI/CD ist von Vorteil.
• Ausgezeichnete Englischkenntnisse. Deutsch ist von Vorteil.