Foto: Pixabay/GDJ
BERLIN (kobinet) Die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, will den Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme verbessern. Denn bisher ist unklar, was passiert, wenn eine Benachteiligung nicht von einem Menschen, sondern einem Algorithmus ausgeht. Ataman legte dazu am Mittwoch das Rechtsgutachten „Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ vor.
Die Künstliche Intelligenz, die KI, macht vieles leichter. Leider aber eben auch die Diskriminierung. Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. „Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen“, sagte Ataman.
Die Unabhängige Bundesbeauftragte verwies auf das Beispiel Niederlande. In der dortigen „Kindergeldaffäre“ wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft. Die Affäre führte 2021 zum Rücktritt der Regierung.
In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger*innen Geld zurückzahlen.
Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.
Auch das am Mittwoch vorgestellte Gutachten sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender noch für die Adressaten der Systeme nachvollziehbar. Den Betroffenen ist häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem sind Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit sind die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.
