Evaluation von RAG-Systemen ohne/mit erweitertem Goldstandard

Du möchtest bereits im Studium an innovativen IT-Projekten mitwirken, Herausforderungen und Trends der Branche kennenlernen – und dabei Theorie und Praxis verbinden? Dann bist Du hier genau richtig. Als Studierende:r arbeitest Du an individuellen Softwarelösungen, sowohl für unsere Kunden als auch für interne Zwecke. Dabei erlebst Du praxisnahe Forschung und lernst, wie du Lösungen entwickelst, die echten Mehrwert schaffen. Wir möchten Talente fördern und legen Wert auf Deine persönliche Entwicklung, Wünsche und Fähigkeiten, deshalb gestalten wir im Dialog gemeinsam dein Tätigkeitsfeld.

Retrieval-Augmented-Generation-(RAG)-Systeme verbinden LLMs mit (privaten) Wissensbasen, doch ihre Zuverlässigkeit ist schwer und aufwendig zu bewerten. Klassische Evaluationen nutzen manuell gepflegte Goldstandard-Datensätze. Diese Goldstandard-Datensätze vergleichen das Verhalten eines RAG-Systems mit einem erwarteten Verhalten. Solche Goldstandards sind teuer in Erstellung und Aktualisierung und können zudem strukturelle Fragilität verdecken: Modelle können auf Benchmarks sehr gut abschneiden, aber bei beispielsweise Umformulierungen oder Fachjargon scheitern.

Im Kontext von LLMs und RAG-Systemen wurde gezeigt, dass metamorphes Testen automatisch Varianten von Basisanfragen erzeugen kann, welche Konsistenz sowie Korrektheit prüfen. Dadurch steigt die Testabdeckung stark, ohne kontinuierliche manuelle Annotation. In dieser Arbeit sollen die Möglichkeiten des metamorphen Testens im Rahmen der Qualitätsanalyse und -verbesserung von RAG-Systemen bewertet werden.

• Ziel der Arbeit: Metamorphes Testen für RAG-Retrieval evaluieren: Theoretische und praktische Untersuchung von metamorphem Testen zur Bewertung der Retrieval-Robustheit von End-to-End-RAG-Systemen als Ergänzung/Alternative zu statischen Goldstandards.
• Domänenspezifische metamorphe Relationen definieren: Komplexe, enterprise-relevante metamorphe Relationen (z.B. Akronym-Erweiterung, Keywordifizierung, zeitliche Verschiebungen, Entity Swaps, Negationen/Quantoren) festlegen und implementieren.
• Skalierte Evaluation durchführen: Einen kleinen Basis-Goldstandard als Anker aufbauen und die Erweiterung durch metamorphe Varianten vergleichen.
• Fehlerprofile ableiten & gezielte Verbesserungen testen: Anhand von metamorphen Relationen Auswertungen zur Identifikation von Fragilitätsmustern erstellen und prüfen, wie diese als Feedbacksignal für Modellwahl, Retrieval-Konfiguration (z.B. hybrid) oder Promptverbesserung genutzt werden können.

Du bist Student:in der Fächer Wirtschaftsinformatik, Informatik, Mathematik oder einem anderen naturwissenschaftlichen oder betriebswirtschaftlichen Studiengang. Du hast Freude an innovativen Technologien und bringst Programmiererfahrung, idealerweise in Python, und Erfahrung im Umgang mit LLMs mit. Dedizierte Kenntnisse zu metamorphem Testen sind nicht erforderlich. Du bringst die Antrieb mit, dich fundiert mit sowohl technischen als auch fachlichen Aspekten deiner Fragestellung auseinanderzusetzen. Du möchtest nicht nur fachlich, sondern auch persönlich über dich hinauswachsen. Du beherrschst die deutsche und englische Sprache in Wort und Schrift.

IT-Unternehmensberatung in Münster, Köln und Dortmund seit 1994 beraten wir Unternehmen und Organisationen mit der festen Überzeugung: wo Entwicklung stattfindet, wird Entfaltung möglich. Wir verstehen Entwicklung mehrdimensional: technisch, systemisch, organisational und persönlich. Unsere Kund:innen beraten wir ganzheitlich, strategisch wie operativ - je nach Fragestellung und Notwendigkeit. Uns zeichnet tiefgreifendes Fachwissen aus, das wir mit einer fairen und empathischen Haltung in jeglicher Beziehung verbinden. Wir sind technologisch unabhängig und 100% Eigenkapital-finanziert.

Du denkst, wir sollten uns kennenlernen? Bist Du bereit, die viadee mit Deinem Know-How und Deiner Persönlichkeit zu bereichern? Wir freuen uns darauf, Dich kennenzulernen. Was hybrides Arbeiten, Workation und kompetenzbasiertes Wachstum für uns bedeuten, was das Eventformat Ship it-Day ist und noch mehr Antworten auf Deine möglichen Fragen gibt’s in unseren ausführlichen FAQs. Du hast noch Fragen? Melde dich gerne bei uns!