Research Engineer - Interpretability and Synthetic Data

Wir suchen eine/n Research Engineer (m/w/d/x) mit Interesse an mechanistischer Interpretierbarkeit, der Generierung synthetischer Daten und Methoden zum Reasoning für große Sprachmodelle. Die Stelle ist der Forschungsgruppe „Efficient and Explainable NLP“ in der Forschungsgruppe „Multilinguality and Language Technology“ (MLT) am DFKI in Saarbrücken zugeordnet, die von Dr. Simon Ostermann geleitet wird. Die Gruppe arbeitet an nationalen und internationalen Forschungs- und Entwicklungsprojekten im Bereich der effizienten und erklärbaren Sprachverarbeitung. Das Umfeld zeichnet sich durch eine aktive Publikationskultur, fundierte methodische Kompetenz und enge Anbindung an aktuelle Entwicklungen in der NLP‑ und KI‑Forschung aus.

Die Stelle ist Teil des SOOFI-Projekts (Sovereign Open Source Foundation Models), das ein europäisches Frontier-Sprachmodell und darauf aufbauende agentische Systeme entwickelt. Der thematische Schwerpunkt liegt auf drei eng miteinander verbundenen Bereichen: Interpretierbarkeit von Reasoningmodellen, Generierung synthetischer Reasoning Traces und die Entwicklung von Mechanismen zur Token‑Routing für MoE‑Modellarchitekturen.

Ihre Aufgaben

• Sie entwickeln und bewerten auf Interpretierbarkeit basierende Methoden zur Analyse und Steuerung von Reasoningmodellen, darunter Steuerungsvektoren, Sparse Autoencoders, andere Laufzeit‑Interventionen, sowie Transcoder.
• Sie arbeiten an der automatisierten Erstellung, Kuratierung und Überprüfung hochwertiger Reasoning‑Traces als Trainingsdaten für spezialisierte MoE‑Modelle.
• Sie entwickeln und testen Methoden für das dynamische Token‑Routing, um innerhalb modularer MoE‑Architekturen optimal zwischen Basis‑ und Domänenexperten zu wählen.
• Sie tragen zur Weiterentwicklung von Werkzeugen zur Interpretierbarkeit sowie zur Integration neuer Ansätze wie Transcoder und SAE‑basierten Methoden in eine im Rahmen des Projekts entwickelte Interpretierbarkeits‑Suite bei.
• Sie veröffentlichen Ihre Ergebnisse auf internationalen Konferenzen und tragen zur Dokumentation und Open‑Source‑Veröffentlichung der Projektergebnisse bei.
• Sie arbeiten eng mit den Partnerinstitutionen des Soofi‑Konsortiums zusammen, darunter das Fraunhofer IAIS, die Technische Universität Darmstadt, die Leibniz Universität Hannover, die Hochschule für Technik und Wirtschaft Berlin und andere.

Unsere Anforderungen

• Abgeschlossenes Masterstudium in Informatik, Künstlicher Intelligenz, Computerlinguistik oder einem verwandten Fachgebiet.
• Fundierte praktische Kenntnisse in einem oder mehreren der folgenden Bereiche sind unerlässlich: mechanistische Interpretierbarkeit, Anpassung von Sprachmodellen, Generierung synthetischer Daten, Reinforcement Learning für Sprachmodelle (RLVR/RLHF).
• Praktische Erfahrung mit großen Sprachmodellen und entsprechenden Trainingsbibliotheken (z. B. Hugging Face, PyTorch).
• Interesse an Grundlagenforschung mit Blick auf industrielle Anwendbarkeit.
• Vorkenntnisse im Bereich der Veröffentlichung oder nachweisbare Forschungserfahrung (z. B. durch eine Masterarbeit, Workshop‑Beiträge oder Preprints) sind von Vorteil, aber keine Voraussetzung.
• Ausgezeichnete Englischkenntnisse; Deutschkenntnisse sind von Vorteil, aber nicht erforderlich.

Was Sie erwarten können

• Mitwirkung an einer der ehrgeizigsten europäischen KI‑Forschungsinitiativen mit direkter Beteiligung am Aufbau eines eigenständigen Open‑Source‑Frontier‑Modells.
• Ein hervorragendes Forschungsumfeld mit hoher internationaler Sichtbarkeit und einer aktiven Publikationskultur.
• Enge Betreuung und Einbindung in eine etablierte Forschungsgruppe mit Fachkompetenz in den Bereichen mechanistische Interpretierbarkeit und mehrsprachige NLP.
• Zusammenarbeit innerhalb eines großen Konsortiums aus führenden deutschen Forschungseinrichtungen und Industriepartnern.
• Ein Arbeitsumfeld, in dem wir großen Wert auf positive, respektvolle und konstruktive Zusammenarbeit legen.
• Unser Team ist motiviert und arbeitet in einer offenen, kollegialen Atmosphäre.

Schwerbehinderte Bewerberinnen und Bewerber und Gleichgestellte werden bei gleicher Eignung besonders berücksichtigt. Das DFKI beabsichtigt, den Anteil von Frauen im Wissenschaftsbereich zu erhöhen und fordert deshalb Frauen ausdrücklich auf, sich zu bewerben.