Algorithmen unter Beobachtung: KI-Observatorien als demokratische Infrastruktur

KI-Systeme entscheiden heute darüber, wer einen Kredit erhält, welche Bewerber*innen zu Vorstellungsgesprächen eingeladen werden und welche Informationen Milliarden von Menschen online sehen. Dennoch haben die meisten Bürger*innen – und selbst die meisten politischen Entscheidungsträger*innen – kaum Einblick in die Funktionsweise dieser folgenreichen Entscheidungsprozesse. KI-Observatorien sind eine mögliche Lösung: Als unabhängige Institutionen beobachten sie KI-Systeme, bewerten ihre gesellschaftlichen Auswirkungen und machen diese Erkenntnisse zur Grundlage demokratischer Governance. Sie fragen nicht nur: „Funktioniert dieser Algorithmus?”, sondern auch: „Für wen funktioniert er? Wer profitiert? Wer wird geschädigt?”. Dieser Artikel untersucht, warum KI-Observatorien von Bedeutung sind und wodurch sie sich von anderen bestehenden Governance-Mechanismen unterscheiden.

Was sind KI-Observatorien?

Stellen Sie sich ein Gesundheitsobservatorium für Algorithmen vor. So wie Epidemiolog*innen Krankheitsausbrüche verfolgen, um die Gesundheit der Bevölkerung zu schützen, überwachen KI-Observatorien algorithmische Systeme, um demokratische Werte und Menschenrechte zu wahren. Es handelt sich um unabhängige Institutionen, die aus mehreren Interessengruppen bestehen – typischerweise aus Forschenden, zivilgesellschaftlichen Organisationen, politischen Entscheidungsträger*innen und betroffenen Gemeinschaften. KI-Observatorien beobachten, dokumentieren und bewerten die realen Wirkungen von KI-Systemen systematisch. Damit erfüllen sie mehrere zentrale Funktionen:

• Monitoring und Kartierung: Sie identifizieren, wo KI-Systeme eingesetzt werden, von wem und zu welchem Zweck. Damit schaffen sie ein öffentliches Verzeichnis, das von Regierungen und Unternehmen oft nicht bereitgestellt wird.
• Impact Assessment: Sie bewerten, wie KI-Systeme verschiedene Bevölkerungsgruppen betreffen, mit besonderem Augenmerk auf verletzliche Gruppen und strukturelle Ungleichheiten.
• Wissensproduktion: Sie erzeugen unabhängige, evidenzbasierte Forschung, die sowohl unternehmerischen Narrativen als auch regulatorischen blinden Flecken entgegenwirkt.
• Öffentliches Engagement: Sie übersetzen technische Erkenntnisse für unterschiedliche Zielgruppen – von politischen Entscheidungsträger:innen bis hin zu betroffenen Gemeinschaften –, um informierte demokratische Debatten zu fördern.
• Epistemische Gerechtigkeit: Indem sie verschiedene Wissensformen einbeziehen – etwa Stimmen aus dem Globalen Süden und indigene Wissensformen –, stellen sie dem Monopol techno-solutionistischer Deutungsrahmen etwas entgegen.

KI-Observatorien in der Praxis: Eine globale Bestandsaufnahme

KI-Observatorien sind weltweit in unterschiedlichen institutionellen Kontexten entstanden. So verfolgt das OECD.AI Policy Observatory KI-Politiken und nationale Strategien in 69 Ländern und dient als Referenzpunkt für vergleichende Governance. Das „AI Watch” der Europäischen Kommission beobachtet Marktentwicklungen, technologische Kapazitäten und politische Umsetzungen in der EU und informiert über die Weiterentwicklung des AI Acts. Das International Research Centre on Artificial Intelligence (IRCAI) der UNESCO mit Sitz in Slowenien konzentriert sich auf KI für nachhaltige Entwicklung und vernetzt Forschungsgemeinschaften auf allen Kontinenten. Die Global Partnership on AI (GPAI), die von den G7 ins Leben gerufen wurde, vereint 29 Mitgliedsstaaten in thematischen Arbeitsgruppen, um eine verantwortungsvolle KI-Entwicklung zu unterstützen.

Warum KI-Observatorien wichtig sind

KI-Systeme werden immer häufiger in sensiblen sozialen Bereichen eingesetzt, ohne demokratisch legitimiert zu sein. Drei exemplarische Fälle zeigen, warum das problematisch sein kann:

• Fall 1: algorithmische Sozialleistungsvergabe - In mehreren europäischen Ländern entscheiden algorithmische Systeme inzwischen über den Bezug von Sozialleistungen. Als die niederländische Regierung das System SyRI (System Risk Indication) zur Aufdeckung von Sozialhilfemissbrauch einsetzte, wurden einkommensschwache Stadtteile und migrantische Gemeinschaften überproportional häufig ins Visier genommen. Ein Gericht erklärte das System schließlich für menschenrechtswidrig – allerdings erst nach jahrelanger folgenreicher Diskriminierung.
• Fall 2: Einstellungsalgorithmen und strukturelle Diskriminierung - Große Unternehmen setzen inzwischen KI zur Vorselektion von Bewerbungen ein, ohne die Bewertungskriterien transparent zu machen. Berichte haben gezeigt, dass diese Systeme Frauen, ethnische Minderheiten und Menschen mit Behinderungen systematisch benachteiligen, da KI-Systeme aus historischen Daten lernen und so verzerrte Einstellungsmuster reproduzieren können.
• Fall 3: Kreditwürdigkeitsprüfung und algorithmisches Redlining - Fintech-Unternehmen nutzen zunehmend alternative Daten wie Social-Media-Aktivitäten oder das Online-Verhalten zur Bonitätsbewertung. Studien deuten darauf hin, dass diese Systeme historische Muster des Redlinings reproduzieren und Angehörigen Schwarzer Gemeinschaften Kredite verweigern, selbst wenn vergleichbare Bonitätswerte vorliegen.

In all diesen Fällen liegt das Problem nicht nur in einem technischen Versagen, sondern auch in einem demokratischen Defizit: Entscheidungen, die das Leben von Menschen tiefgreifend beeinflussen, werden von proprietären, intransparenten und unkontrollierbaren Systemen getroffen. Herkömmliche Governance-Mechanismen erweisen sich als unzulänglich: Regulierungsbehörden fehlt es oft an technischer Kompetenz, Gerichte behandeln Einzelfälle, übersehen dabei jedoch systemische Muster und die unternehmerische Selbstregulierung dient erwartungsgemäß den eigenen Interessen.

Informationsasymmetrie gleich Machtasymmetrie

Diese Governance-Lücke spiegelt ein tiefer liegendes Strukturproblem wider: die Informationsasymmetrie. Wie Antoinette Rouvroy und Thomas Berns in ihrer Arbeit zur „algorithmischen Gouvernementalität” darlegen, leben wir in einer Ära, in der Governance durch datengesteuerte Prognosen und Verhaltensmodulation statt durch explizite politische Debatten funktioniert. Big-Tech-Konzerne monopolisieren nicht nur die Algorithmen, sondern auch die Daten, die Infrastruktur und das Fachwissen, das zu ihrem Verständnis erforderlich ist.

Ein anderes Governance-Modell

Um den Beitrag von KI-Observatorien zu verstehen, ist es hilfreich, zunächst zu klären, was sie nicht sind und welche Alternativen sie zu bestehenden Governance-Mechanismen bieten.

• Observatorien vs. Regulierungsbehörden: Regulierungsbehörden haben zwar Durchsetzungsbefugnisse, sind aber oft unterfinanziert, politisch gebunden und handeln meist erst dann, wenn Schäden bereits eingetreten sind. Observatorien haben keine rechtliche Autorität, dafür aber mehr Unabhängigkeit und die Fähigkeit, Probleme frühzeitig zu erkennen.
• Observatorien vs. Unternehmensaudits: Unternehmen beauftragen zunehmend Audits, um Regelkonformität nachzuweisen. Solche Audits sind jedoch typischerweise darauf ausgelegt, Haftungsrisiken zu minimieren, nicht echte Rechenschaft herzustellen. Observatorien hingegen sind dem öffentlichen Interesse verpflichtet.
• Observatorien vs. akademische Forschung: Universitäten produzieren wichtige KI-Forschung, doch akademische Anreize folgen oft anderen Logiken als politische Dringlichkeit. Observatorien überbrücken diese Lücke.
• Observatorien vs. zivilgesellschaftliche Akteure: Advocacy-Organisationen leisten unverzichtbare Arbeit, um Macht zur Rechenschaft zu ziehen. KI-Observatorien ergänzen diese Arbeit, indem sie die empirische Infrastruktur bereitstellen.

KI-Observatorien als demokratische Infrastruktur

KI-Observatorien schließen nicht einfach Lücken, die Behörden, Unternehmen oder die Wissenschaft hinterlassen. Sie sorgen dafür, dass algorithmische Macht sichtbar, anfechtbar und rechenschaftspflichtig bleibt. Darin liegt ihre Bedeutung als demokratische Infrastruktur. Wie Gerichte, freie Presse oder öffentlich-rechtliche Medien liegt ihr Wert nicht in einzelnen Befunden, sondern in dem, was sie erst möglich machen: informierte Öffentlichkeit, politische Rechenschaft und die Fähigkeit der Bürger*innen, an Entscheidungen teilzuhaben, die ihr Leben unmittelbar betreffen.

Dieses Potenzial entfaltet sich jedoch nicht von selbst. Inklusion bleibt folgenlos, wenn Machtungleichgewichte unberührt bleiben. Observatorien können Ungleichheiten reproduzieren, etwa wenn sie rassistische Diskriminierung in Algorithmen benennen, aber keine Wege zur Wiedergutmachung aufzeigen. Echte epistemische Gerechtigkeit erfordert nicht nur vielfältige Stimmen, sondern eine Umverteilung von Macht – und das können Observatorien allein nicht leisten.

Die Herausforderungen

KI-Observatorien sind deshalb kein Allheilmittel. Sie sehen sich mit erheblichen Herausforderungen konfrontiert:

• Vereinnahmungsrisiken: Die Abhängigkeit von staatlicher oder unternehmerischer Finanzierung kann Druck erzeugen, Kritik abzumildern.
• Ressourcenknappheit: Effektives Monitoring erfordert erhebliche technische Kapazitäten, Datenzugang und eine nachhaltige Finanzierung.
• Legitimitätsfragen: Im Gegensatz zu gewählten Regulierungsbehörden besitzen Observatorien kein direktes demokratisches Mandat.
• Begrenzte Wirkung: Ohne regulatorische Befugnisse sind Observatorien auf „Soft Power” angewiesen.
• Geopolitische Ungleichgewichte: Die meisten gut ausgestatteten Observatorien haben ihren Sitz im Globalen Norden und reproduzieren damit möglicherweise epistemische Hierarchien.

Was politische Entscheidungsträger tun müssen

Damit KI-Observatorien ihr demokratisches Potenzial entfalten können, müssen politische Entscheidungsträger:innen echte Unabhängigkeit investieren, Datenzugang vorschreiben und Erkenntnisse in die Regulierung einbinden.

KI-Observatorien halten diesen Entscheidungsraum offen. Sie stehen für die Überzeugung, dass algorithmische Macht nicht im Verborgenen wirken darf, sondern sichtbar, anfechtbar und rechenschaftspflichtig sein muss. Wer die Demokratie im digitalen Zeitalter für verteidigungswürdig hält, kommt an Institutionen, die das gewährleisten, nicht vorbei.