CODED BIAS: Was hat Gesichtserkennung in England mit dem AMS-Algorithmus in Österreich zu tun?
In CODED BIAS lässt Regisseurin Shalini Kantayya Expert:innen aus verschiedenen Disziplinen und Bereichen zu Wort kommen. Sie beleuchten aus ihren jeweiligen Blickwinkeln, was das für KI oft verwendete Machine Learning eigentlich mit Intelligenz zu tun hat (nicht viel), und warum die zugrunde liegenden mathematischen Modelle zu Problemen führen. Mathematiker:innen, Informatiker:innen, Aktivist:innen, Menschenrechtsexpert:innen, und Politker:innen sind sich einig: die Statistiken und Annahmen, die die Basis für Gesichtserkennung, Bewährungsvergabe, oder Lebenslaufsortierung bilden, beinhalten Vorurteile und Ungerechtigkeiten (englisch: „biases“).
Wie Statistiken unsere Zukunft vorhersagen sollen
Das liegt in der Natur der Sache: es werden historische Daten verwendet, um Vorhersagen über die Zukunft zu treffen. Dabei muss natürlich bedacht werden, aus welchen Zusammenhängen Daten stammen. Die Form und Art der Datenerhebung, die Abstraktion und Abbildung der gefundenen Daten, ihre Auswertung und Interpretation können beeinflussen und verändern, welche Antwort ein System auf eine Frage findet. Eine Statistik kann eben niemals einen Menschen und sein Umfeld in seiner Gesamtheit betrachten – sondern nur ein stark reduziertes Abbild. Wenn beispielsweise in einer Statistik für „Geschlecht“ nur die Optionen „männlich“ und „weiblich“ verfügbar sind, wie sollen dann Aussagen über nicht-binäre Personen getroffen werden?
Während der Fokus in CODED BIAS primär auf Systemen und Anwendungen in den USA, Großbritannien und China liegt, heißt das nicht, dass wir im Rest Europas oder in Österreich davor geschützt wären, von vorurteilsbehafteten Systemen bewertet und beurteilt zu werden. Einige Fachhochschulen und Universitäten sind wegen der Corona-Krise dazu übergegangen, Prüfungstechnologien anzuwenden, die regelrechte Überwachungssysteme sind, und vor allem gegenüber Menschen mit dunkler Hautfarbe oder „verdächtigen“ Verhaltensweisen (etwa Bewegungen) vermehrt fälschlich „anschlagen“. Die österreichische Polizei verwendet seit zumindest letztem Jahr Gesichtserkennungssysteme, wobei die rechtliche Grundlage ungesichert ist, und Erfahrungen z.B. aus Großbritannien zufolge bis zu 98 Prozent false positives passieren, das heißt von 100 erkannten Übereinstimmungen sind nur zwei korrekt.
Die Macht von Daten zeigt sich auch im AMS-Algorithmus
Mit diesem Jahr soll das Arbeitsmarktservice Österreich (AMS) ein Modell verwenden, das einschätzen soll, wie bald ein arbeitsloser Mensch einen neuen Job finden wird. Eine solche Einschätzung, ob korrekt oder nicht, kann die Erfolge der Betroffenen zunichte machen, oder ihnen das Leben noch weiter erschweren. Wenn eine Arbeitssuchende aufgrund ihrer demografischen Daten (Nationalität, Alter, Elternschaft, Behinderung, Geschlecht – alles Tatsachen, die schwer bis gar nicht zu beeinflussen sind) vom AMS-Algorithmus in die Kategorie „C“ („niedrige Vermittlungschance“) eingestuft wird – wie soll sie dann ohne Unterstützung, aber neben den trotzdem vorgeschriebenen Kursen und Terminen, eine neue Anstellung finden?
Joy Buolamwini formuliert das in CODED BIAS als „data is destiny“ (Daten sind bzw. machen Schicksal): Wird meine Prüfungsleistung angefochten? Wird mein Gesicht, mit dem einer tatsächlich gesuchten Person verwechselt? Bekomme ich die notwendige Unterstützung, um am Arbeitsmarkt wieder Fuß zu fassen, oder wird mir gesagt, ich wäre ein hoffnungsloser Fall? An diesen Beispielen sehen wir, dass bei der Anwendung von Machine Learning Systemen häufig extreme Machtgefälle auftreten (Universität vs. Student:in; Polizei vs. Passant:in; Behörde vs. Antragsteller:in).
Machine Learning-Systeme verursachen eine Beschleunigung und Verdichtung der Abläufe in ihren Umfeldern: die Software lässt sich leicht(er) großflächig einsetzen, es können mehr Mitarbeiter:innen mehr Geschäftsfälle in kürzerer Zeit bearbeiten. Einige Systeme erlauben Einsprüche, doch wer wird diese nutzen, wenn die Umstände schwierig sind, ein Einspruch aufwändig ist, und unangenehme Diskussionen mit den Vorgesetzten nach sich zieht? Damit werden biases und die zugrunde liegenden Ungerechtigkeiten weiter verfestigt: die Arbeitssuchende aus Gruppe C kann wegen der vorgegebenen Kurse und Termine weniger Zeit in die Jobsuche stecken, und bleibt deshalb länger arbeitssuchend als notwendig. Und der Algorithmus behält „Recht“.
Frage nach sozialer Verantwortung
Die Expert:innen in CODED BIAS zeigen uns die Zusammenhänge zwischen Industrie, Forschung und Politik, diskutieren direkte und indirekte Abhängigkeiten, und erklären, warum gesetzliche Regelungen dringend notwendig sind. Diese Diskussionen und Unterhaltungen sind dringend notwendig, um sicher zu stellen, dass Machine Learning Systeme nicht für antidemokratische Zwecke verwendet werden. Denn wie Zeynep Tufekci in CODED BIAS sagt: Die Frage ist nicht, was macht KI mit uns, sondern: was machen die Mächtigen mit Hilfe von KI mit uns?
Sabrina Burtscher forscht und studiert an der TU Wien im Bereich Informatik und Gesellschaft. Sie beschäftigt sich mit Un-Gerechtigkeit in algorithmischen Systemen und der Frage, wie Technologien inklusiv(er) gestaltet werden können. Im August 2021 war sie bei frame[o]ut zu Gast zu einem Gespräch vor dem Film CODED BIAS.