Senior Researcher/PostDoc (m/w/d/x): AI Safety, Ethics, and Agentic Systems in Darmstadt

Wir suchen zum nächstmöglichen Zeitpunkt eine*n Postdoktoranden*in für ein neues Projekt zur sicheren, kontrollierbaren agentenbasierten KI für regulierte und sicherheitskritische Bereiche. Das Projekt geht davon aus, dass Sicherheitsbeschränkungen explizit, überprüfbar und nach der Bereitstellung aktualisierbar sein sollten, anstatt während des Trainings in Modellgewichte komprimiert und anschließend mit Ausgabefiltern nachgerüstet zu werden.

Die Arbeit gliedert sich in drei Schwerpunkte:

• Verhaltenssteuerung nach der Bereitstellung durch Eingriffe in die Modellinterna;
• formale Modellierung der einschränkenden Normen in separaten Schichten, um rechtliche, organisatorische, ethische und präferenzbasierte Dimensionen voneinander zu trennen;
• Mechanismen, die das autonom generierte Verhalten des Agenten innerhalb dieser Einschränkungen halten.

Diese Position erstreckt sich über alle drei Schwerpunkte, was Sie aus zwei Gründen zu einer echten Forschungsaufgabe und nicht zu einer rein koordinierenden Rolle macht. Erstens dreht sich das Projekt um die Frage, ob das, was die normative Spezifikation zulässt, was die Laufzeitsteuerung tatsächlich durchsetzt und was der Agent autonom übernehmen darf, miteinander im Einklang stehen. Diese Eigenschaft präzise zu formulieren und festzustellen, was diesbezüglich garantiert werden kann und was nicht, erfordert Kenntnisse sowohl in der symbolischen Spezifikation als auch in modellinternen Eingriffen und der autonomen Aufgabengenerierung. Diese Frage ist unseres Wissens nach weitgehend offen.

Der zweite Grund ist, dass die Aussage in einem laufenden System gelten muss. Sie sind dafür verantwortlich, die drei Stränge zu einer integrierten, funktionierenden Implementierung zusammenzuführen, die Schnittstellen zu entwerfen, auf die sie sich beziehen, und das Ergebnis durchgängig zu bewerten. Die Doktoranden des Projekts arbeiten vertieft an einzelnen Strängen; diese Postdoc-Stelle übergreift und koordiniert diese und verfügt über die entsprechende Entscheidungsbefugnis hinsichtlich der Schnittstellen zwischen ihnen.

Wir bekennen uns zu rigoroser, methodisch fundierter Forschung, in der Ideen kritisch geprüft und Hypothesen – ob bestätigt oder widerlegt – offen veröffentlicht und diskutiert werden. Unsere Laborkultur legt Wert auf intellektuelle Integrität, unterstützende Zusammenarbeit und Raum für Forscher*innen, ihre eigene wissenschaftliche Identität zu entwickeln.

Die Stelle erstreckt sich über drei DFKI-Forschungsgruppen: Neuro-Mechanistic Modeling (NMM, Prof. Verena Wolf), Foundations of Systems AI (SAINT, Prof. Kristian Kersting) und Multilinguality and Language Technology (MLT, Dr. Marius Mosbach), welche den Umfang des Projekts in den Bereichen formale Ethik und normatives Denken, agentisches Systemdesign sowie mechanistische Interpretierbarkeit widerspiegelt. Die Hauptbetreuer für diese Stelle sind Dr. Kevin Baum, Dr. Dominik Hintersdorf und Dr. Simon Ostermann.

Ihre Aufgaben

• Formalisierung und Untersuchung der Konsistenz zwischen normativer Spezifikation, Steuerung des Laufzeitsverhaltens und autonomem Kapazitätswachstum;
• Entwurf und Pflege der Schnittstellen zwischen den drei Forschungsschwerpunkten des Projekts, einschließlich der Übersetzung formal spezifizierter Einschränkungen in Darstellungen, die von Planungs- und Lernkomponenten genutzt werden können;
• Aufbau und Pflege einer integrierten Referenzplattform und eines Evaluierungs-Harness in simulierten Einsatzumgebungen;
• Leitung der durchgängigen Evaluierung des integrierten Systems anhand der im Rahmen des Projekts entwickelten Benchmark-Suiten;
• Vorbereitung versionierter Open-Source-Veröffentlichungen mit Dokumentation und Arbeitsbeispielen, die für eine unabhängige Reproduktion ausreichen;
• Veröffentlichungen in Fachkreisen zu den Themen KI-Sicherheit, formale Methoden und agentenbasierte KI.

Unsere Anforderungen

• Erforderlicher Hintergrund: Promotion in Informatik, KI, formalen Methoden, Mathematik oder einem verwandten Fachgebiet;
• Umfangreiche Erfahrung in der Softwareentwicklung sowie die Fähigkeit, über Jahre hinweg die Verantwortung für eine nicht-triviale Codebasis zu übernehmen und diese zu pflegen. Dies ist eine zwingende Voraussetzung; vorherige Entwicklungserfahrung in der Industrie ist ausdrücklich willkommen;
• Solide Grundlagen in mindestens einem der folgenden Bereiche: formale Spezifikation und Verifikation; Logik (temporale, deontische, defeasible oder argumentationsbasierte Logik); KI-Sicherheit und -Alignment; mechanistische Interpretierbarkeit;
• Bereitschaft, in allen oben genannten Bereichen zu arbeiten. Wir erwarten bei Eintritt keine Fachkenntnisse in jedem Bereich, aber die Position erfordert, dass man sich in jedem Bereich ausreichend vertraut macht, um tragfähige Schnittstellen zu spezifizieren;
• Beherrschung von Python;
• Nachweisbare Publikationen oder nachgewiesene Forschungswirkung.

Wünschenswerte Qualifikationen

• Erfahrung mit temporaler Logik, Belohnungsmaschinen, Shielding oder sicherem verstärktem Lernen;
• Hintergrund in Reinforcement Learning, agentenbasierten Systemen oder agentenbasierter Modellierung;
• Vertrautheit mit Deep-Learning-Frameworks sowie mit Aktivierungssteuerung, Sparse-Feature-Analyse oder verwandten Methoden zur Interpretierbarkeit;
• Erfahrung mit deontischer oder widerlegbarer normativer Logik oder Argumentationsrahmenwerken;
• Interesse an Erklärbarkeit, Interpretierbarkeit und Mechanismen zur menschlichen Aufsicht;
• Hintergrund in sicherheitskritischen oder regulierten Bereichen;
• Verständnis der Compliance-Anforderungen des EU AI Acts und von regulatorischen Sandboxes.

Was Sie erwarten können

• Wir bieten eine attraktive, marktgerechte Vergütung und viele weitere Benefits (Urban Sports Club, Corporate Benefits, Zuschuss zum Jobticket u.v.m.);
• Umfangreiche Rechenressourcen für die Modellentwicklung und -evaluierung;
• Eine eigene Forschungsfrage und ein eigenes System, statt verteilter Unterstützungsaufgaben im Rahmen der Arbeitsprogramme anderer;
• Gemeinsame Betreuung unter Einbeziehung komplementärer Fachkenntnisse aus den drei Gruppen, mit einer klaren Berichtslinie;
• Einbindung in deutsche und europäische Netzwerke zu KI-Sicherheit, Interpretierbarkeit und KI-Governance, einschließlich der Zusammenarbeit mit Rechtswissenschaftlern und Verbindungen zur Regulierungspraxis;
• Möglichkeit zur Mitbetreuung/Beratung von Doktoranden und Masterstudierenden;
• Aktive Publikationskultur mit starker Unterstützung für die Verbreitung von Forschungsergebnissen und Open-Science-Praktiken;
• Ein unterstützendes, respektvolles Umfeld, das sich neben wissenschaftlicher Exzellenz auch dem Wohlbefinden der Menschen verschrieben hat.

Das Deutsche Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) wurde 1988 als gemeinnützige Public-Private-Partnership (PPP) gegründet. Das DFKI verbindet wissenschaftliche Spitzenleistung und wirtschaftsnahe Wertschöpfung mit gesellschaftlicher Wertschätzung. Das DFKI forscht seit über 35 Jahren an KI für den Menschen und orientiert sich an gesellschaftlicher Relevanz und wissenschaftlicher Exzellenz in den entscheidenden zukunftsorientierten Forschungs- und Anwendungsgebieten der Künstlichen Intelligenz. In der internationalen Wissenschaftswelt zählt das DFKI zu den wichtigsten „Centers of Excellence“.

Schwerbehinderte Bewerberinnen und Bewerber und Gleichgestellte werden bei gleicher Eignung besonders berücksichtigt. Das DFKI beabsichtigt, den Anteil von Frauen im Wissenschaftsbereich zu erhöhen und fordert deshalb Frauen ausdrücklich auf, sich zu bewerben.