Open PhD position on cognitively-inspired language modeling

Die Human-Centered Data Science Gruppe ist mit dem Institut für Informatik und dem Campus Institute Data Science (CIDAS) an der Universität Göttingen verbunden. Unsere Forschung ist interdisziplinär und wir arbeiten eng mit Kollegen aus anderen Fakultäten (z.B. Psychologie, Linguistik) zusammen. Wir verfolgen eine menschenzentrierte Perspektive auf die Verarbeitung natürlicher Sprache und konzentrieren uns auf sprachübergreifende und kognitiv inspirierte Forschungsfragen.

KIND-LM: Kognitiv inspirierte Interaktionsdynamiken für sample-effizientes Sprachmodellieren. Computermodelle der Sprache können bemerkenswert fließenden Text generieren, aber ihre beeindruckende Leistung geht auf Kosten des Trainings mit Billionen von Tokens unter nicht nachhaltigen Rechenressourcen. Unter Ressourcenbeschränkungen trainiert, erreichen solche Modelle oft keine robuste linguistische Generalisierung und scheitern häufig daran, sich an unbekannte Kontexte anzupassen. Menschliche Lernende hingegen erwerben Sprache aus wesentlich kleineren Eingaben und können sich flexibel an neue kommunikative Situationen anpassen. Ein zentraler Unterschied liegt im Lernsignal: Während der menschliche Erwerb in reichen sozialen Interaktionen eingebettet ist, werden Sprachmodelle typischerweise für die enge Aufgabe der Vorhersage des nächsten Wortes optimiert. Dieses Projekt entwickelt einen kognitiv fundierten Ansatz für interaktives Sprachmodellieren, der Feedbackmechanismen integriert, die von der Kommunikation zwischen Kind und Betreuer inspiriert sind.

Wir schlagen ein Trainingssetup vor, in dem ein Kindermodell seine linguistische Kompetenz durch Interaktion mit einem leistungsstärkeren Elternmodell verbessert. Im Gegensatz zu bestehenden Lehrer-Schüler-Ansätzen, die ein einseitiges Feedback annehmen, konzentrieren wir uns auf die zeitlichen und linguistischen Interaktionsdynamiken sowie auf die Interaktionsinitiative. Wir werden auf unserer erfolgreichen Einreichung für den neuen Interaktionstrack der BabyLM Challenge aufbauen, die einen Verstärkungsloop verwendete und zeigte, dass selbst vereinfachte Feedbackstrategien die funktionale linguistische Kompetenz verbessern können, ohne die formale Genauigkeit zu opfern. Wir schlagen vor, die rechnerische Modellierung besser mit psycholinguistischen Beweisen in Einklang zu bringen und systematisch kognitiv plausiblere Interaktionsstrategien zu testen. Wir werden mechanistische Interpretierbarkeitsmethoden nutzen, um besser zu verstehen, wie Interaktionsdynamiken die repräsentationale Struktur des Modells beeinflussen und wie sie dessen Fähigkeit verbessern können, auf die lange Schwanzverteilung des Wortschatzes zu generalisieren.

Das Projekt ist eine Zusammenarbeit zwischen Lisa Beinborn (Professorin für Human-Centered Data Science) und Nivedita Mani (Professorin für Psychologie der Sprache). Es fördert die Forschung zu kognitiv inspiriertem, sample-effizientem Modellieren und trägt zum Schwerpunktprogramm LaSTing („Robuste Bewertung & sichere Anwendbarkeit von Sprachmodellierung: Grundlagen für ein neues Feld der Sprachwissenschaft & Technologie“) bei.

Qualifikationen

• In dieser Position haben Sie die Möglichkeit, einen PhD-Abschluss zu verfolgen. Sie werden erwartet, innovative Forschung im Kontext des Projekts durchzuführen.
• Zusammenarbeit mit den Projektpartnern und Beitrag zu den Sitzungen des Schwerpunktprogramms.
• Kommunikation von Forschungsergebnissen in begutachteten Proceedings und Zeitschriften sowie Präsentation auf internationalen Forschungskonferenzen.
• Aktive Rolle in der Co-Betreuung von studentischen Arbeiten, die mit dem Projekt in Zusammenhang stehen.
• Engagement in den Aktivitäten und Veranstaltungen der Forschungsgruppe.

Idealer Kandidat

• Hat einen sehr guten Masterabschluss in Informatik, Kognitionswissenschaft, Computerlinguistik, maschinellem Lernen oder einem verwandten Fachgebiet erworben.
• Hat Erfahrung in der Forschung zur Verarbeitung natürlicher Sprache gesammelt und zeigt ein starkes Interesse an den psycholinguistischen Aspekten des oben skizzierten Projekts.
• Kann eigenständig neues Wissen erwerben und verarbeiten.
• Ist ein Teamplayer mit guten Kommunikationsfähigkeiten und einer interdisziplinären Denkweise.
• Hat starke analytische und Programmierfähigkeiten und ist bestrebt, diese weiterzuentwickeln (Erfahrung mit großangelegten Experimenten auf GPUs ist von Vorteil).

Sprachkenntnisse

Zeigt sehr gute Kenntnisse in schriftlichem und gesprochenem Englisch (Kenntnisse in Deutsch und anderen Sprachen sind von Vorteil).

Bildungsniveau

Masterabschluss