LehrerInnen Web

ein Angebot des Wiener Bildungsservers

Coded Bias - Wie KI diskriminiert

Schüler:innen erarbeiten, wie Diskriminierung und Rassimus sich in Künstlicher Intelligenz fortschreiben
Sekundarstufe II
Deutsch
Geschichte & Sozialkunde

Kompetenzen der Digitalen Grundbildung

  • Orientierung

Kerngebiete

  • Aspekte von Medienwandel und Digitalisierung
  • Informations-, Daten- und Medienkompetenz
  • Computational Thinking

Ressourcen

Einführung

In unserem immer stärker durch Digitalisierung geprägten Alltag verlassen wir uns zunehmend auf algorithmische Entscheidungsprozesse. Dabei werden von Computerprogrammen kalkulierte Ergebnisse oder von KI-Systemen getroffene Entscheidungen oft als “neutral” und “objektiv” bezeichnet, weil die menschliche Komponente beim Auswahlprozess außen vor sei. Zwar arbeiten KI-Systeme daten- und faktenbasiert, jedoch nur auf Grundlage der Daten, die man ihnen zuführt. Und genau hier liegt der springende Punkt, denn dies führt in den meisten Fällen zu Abwertungen, Exklusion oder Fehleinschätzungen.

Gesammelte Datensätze enthalten häufig einen Bias (aus dem Englischen = Vorurteil bzw. der wissenschaftliche Fachausdruck für Verzerrungen und Fehler in Datensätzen). Somit spiegeln Datensätze oft gesellschaftliche Normen, die von Ungerechtigkeiten und Diskriminierungen geprägt sind, nicht nur wieder, sondern reproduzieren und festigen diese auch. Aus diesem Grund sind Systeme, die auf Künstlicher Intelligenz beruhen, nicht “objektiv”, sondern führen oft zu rassistischen, sexistischen, behindertenfeindlichlichen oder anderen schädlichen Formen der Diskriminierung.

KI-Systeme entscheiden somit über den Zugang zu Informationen, Chancen und Freiheit, z.B. wird KI immer stärker auch von der Polizei zur Überwachung des öffentlichen Raums herangezogen. Von Algorithmen getroffene Entscheidungen können so für marginalisierte Gruppen oder Individuen schwerwiegende Konsequenzen haben und das Leben der betroffenen Personen stark einschränken.

Diese Projektidee soll den Schüler:innen eine kritische Auseinandersetzung mit der Entscheidungsfindung von KI-Systemen ermöglichen und sie für Fehler bzw. Verzerrungen in Datensätzen, den sogenannten “Coded Bias", sensibilisieren. Da beide Module sich aufeinander beziehen, bietet es sich an, diese in einer zusammenhängenden Einheit zu behandeln. Jedoch kann auch jedes Modul einzeln für sich im Unterricht durchgeführt werden.

Tipp: “Coded Bias” ist auch der Name einer Dokumentation von Shalini Kantayya aus dem Jahr 2020, in der sie den Recherchen der Informatikerin Joy Buolamwini folgt, die dafür kämpft, Diskriminierung in Algorithmen aufzudecken. Dazu folgen weiter unten noch genauere Informationen.

Anmerkung: Da in dieser Praxisidee Themen wie Rassismus, Sexismus und andere Formen von Diskriminierung gegenüber Menschengruppen oder Individuen verhandelt werden, sollte die Lehrperson sensibilisiert dafür sein, solche Themen mit der Klasse zu verhandeln und einschätzen können, ob die Schüler:innen die emotionale Reife haben, um die tiefgehenden Themen auch zu reflektieren. Mehr Hintergrundwissen und gute Definitionen zu Diskriminierung, KI und Bias liefert das Whitepaper Künstliche Intelligenz und Diskriminierung - Herausforderungen und Lösungsansätze von Lernende Systeme - Die Plattform für Künstliche Intelligenz. 

Modul A: Was ist der Coded Bias?

BRAINSTORMING

Plenum

Als Erstes sammeln die Schüler:innen mittels der Methode des Brainstormings ihre Einstellungen zum Mythos der Neutralität von KI-Systemen. Impulse bzw. Fragestellungen an die Klasse könnten unter anderem folgende sein:

  • Kann eine Künstliche Intelligenz objektivere Entscheidungen treffen als Menschen? (Die Schüler:innen sollen ihre Antworten begründen)
  • Kann KI bei Entscheidungsfindungsprozessen für mehr Gerechtigkeit sorgen? (z.B.: Auswahl von Bewerber:innen zum Vorstellungsgespräch)
  • Eine KI ist immer neutral, weil…
  • Eine KI kann nicht neutral sein, weil…

Die Ideen und Meinungen der Schüler:innen werden gesammelt. Hierzu kann die Lehrperson Wortbeiträge stichpunktartig zusammentragen und für alle Schüler:innen auf den Beamer oder das digitale Whiteboard projizieren.

Tipp: Verfügen die Schüler:innen über eigene Endgeräte, können sie eigenständig oder in Kleingruppen ihre Ideen und Meinungen mittels der Web-Anwendung eduPad (https://edupad.ch/) sammeln. Das Pad ist kostenlos und funktioniert ohne Anmeldung. Nachdem ein Pad von der Lehrperson erstellt wurde, kann es mittels Link mit der Klasse geteilt werden. 

Die Beiträge der Schüler:innen können bei Bedarf noch diskutiert bzw. Verständnisfragen zu Wortbeiträgen geklärt werden. Die Aufgabe wird nicht ausgewertet, sondern gibt in erster Linie einen Überblick zum Wissensstand der Schüler:innen.

AUFKLÄRUNG & INPUT | Wie KI diskriminiert

Input Nr. 1
Anschließend erfolgt die Aufklärung, wie voreingenommen von einer KI getroffene Entscheidungen eigentlich sind, und wie Rassismus, Sexismus oder andere Formen von Diskriminierung schon bereits in das Datenmaterial, mit dem die KI “gefüttert” wird, eingeschrieben sind. Zur Aufklärung dient das Videos Coded Bias - Wie wird KI rassistisch? (03:04 Minuten), das sich unter anderem auf den oben erwähnten Dokumentarfilm beruft und erklärt, was es mit dem Begriff “Coded Bias” auf sich hat.  

DISKUSSION | Wie entsteht ein Coded Bias?

Plenum

Auf Grundlage des Videos soll sich in diesem Schritt nun mit dem Datenmaterial, anhand dessen die KI lernt, beschäftigt werden. Um den Schüler:innen zu verdeutlichen, wie die Verzerrung eines Codes zustande kommt, dient die Infografik “Wie entsteht ein Coded Bias?", die der Klasse auf dem Beamer oder dem digitalen Whiteboard für die gemeinsame Diskussion präsentiert werden soll.

Hintergrundinformationen zum maschinellen Lernen: Als Input-Trainingsdaten werden Datensätze bezeichnet, mit denen die KI “gefüttert” bzw. trainiert wird, aus denen sie Muster erkennt und diese dann im nächsten Schritt auf für sie unbekannte Datensätze (Input-Betriebsdaten) anwendet, um zu einem Ergebnis (Output-Daten) zu kommen.

Anhand der folgenden Fragen kann die Infografik mit der Klasse diskutiert werden: 

  • Wie kommen Verzerrungen in den Code?
  • Warum erkennt die KI Hunde nicht als Tiere an?
  • Entscheidet: Sind die Output-Daten der KI korrekt? 
  • Was müsste unternommen werden, damit die KI alle Tiere erkennt?

Input Nr. 2
Um den Schüler:innen weitere Beispiele aus der Praxis zu zeigen und zu verdeutlichen, in welchen Bereichen Künstliche Intelligenz Diskriminierung (re)produziert, eignet sich das Video des funk-Formats “So Many Tabs”. Die MINT-Expertinnen präsentieren in ihrem Video “Wenn KI Fehler macht…” (10:57 Minuten) eine Sammlung von KI-Fails, bei denen KI-Systeme aufgrund von unzureichendem und mangelhaftem Trainingsmaterial von Datensätzen Vorurteile entwickelten.

In dem Video werden bereits zentrale Punkte erklärt, wie es zu einem Coded Bias kommen kann. Ergänzende Informationen zum Coded Bias finden sich in dem PDF Lehrer:innen-Infomaterial.

ZWISCHENREFLEXION

Die am Ende des Videos gestellte Frage (Kann es eine KI geben, die niemanden diskriminiert?) eignet sich direkt als Einstieg in die Reflexion dieses Moduls.
Weitere Reflexionsfragen können unter anderem folgende sein:

  • Vergleicht die Antworten des Brainstormings mit eurem jetzigen Wissensstand. Was hat euch am meisten überrascht? 
  • Welche Antwort würdet ihr einer Person geben, die euch fragt, ob eine KI neutral ist?
  • Wie kann ein Coded Bias verhindert werden? Kann er überhaupt verhindert werden? Was muss im Zuge dessen beachtet werden? 

Modul B: Projekte gegen Diskriminierung durch KI

Algorithmische Diskriminierung ist in den meisten Fällen für betroffene Gruppen oder Individuen nicht direkt ersichtlich. Das liegt vor allem daran, dass der Entscheidungsprozess, wie das KI-System zu seinem Ergebnis gekommen ist, intransparent und schwer zurückzuverfolgen ist. Aufgrund der riesigen Datenmengen, mit denen die KI gespeist wurde, können selbst die Entwickler:innen und Programmierer:innen die von ihren Systemen gelieferten Ergebnisse zunehmend nicht mehr nachvollziehen. Aus diesem Grund ist für Personen, die von algorithmischer Diskriminierung betroffen sind, eine Ungleichbehandlung nur schwer zu beweisen. Für die Unternehmen solcher diskriminierenden Systeme bleibt dies nur allzu oft ohne größere Konsequenzen. 

Um diesen digitalen Diskriminierungsmechanismen zu entgegnen, haben sich in den letzten Jahren immer mehr Organisationen und Projekte gegen Diskriminierung von Algorithmen gegründet. 

RECHERCHE & ARBEITSAUFTRAG

Kleingruppenarbeit

In dieser Kleingruppenarbeit sollen die Schüler:innen drei Webseiten von drei Organisationen recherchieren und deren zentrale Forderungen und Anliegen zusammenfassen und der Klasse präsentieren. Am besten teilt sich die Klasse dafür in drei Gruppen auf, von der jeweils eine Gruppe sich mit der Webseite einer Organisation befasst. Zeitvorgabe der Recherche: 25 Minuten.

Die Schüler:innen erhalten folgende Recherche- bzw. Arbeitsaufträge:

Anschließend werden die einzelnen Gruppenergebnisse der Klasse präsentiert (ca. 5 Minuten pro Gruppe). Ziel der Übung ist es, Bewusstsein dafür zu schaffen, dass algorithmische Diskriminierungen durch den Coded Bias kein seltenes Phänomen sind. Organisationen machen zunehmend auf dieses Problem aufmerksam und fordern politische Entscheidungen für die diskriminierungsärmere Gestaltung und Kontrolle algorithmischer Systeme.

Reflexion

Diese Einheit soll bei den Schüler:innen Bewusstsein schaffen, dass eine Künstliche Intelligenz zum einen nicht objektiv sein und zum anderen sogar zu problematischen Ergebnissen führen kann. Menschliche Voreingenommenheiten schreiben sich in KI-Programme ein, sodass manche Hautfarben, Körper oder Geschlechter durch den Coded Bias diskriminiert, unterdrückt oder aus manchen gesellschaftlichen Bereichen sogar ausgeschlossen werden.

Zum Abschluss können mit der Klasse folgende Fragen diskutiert werden:

  • Was haltet ihr von offiziellen Beschwerdestellen gegen algorithmische Diskriminierung? Ist eine Umsetzung realistisch? Wie könnten KI-Systeme generell geprüft werden? Sollte es ein Prüfsiegel für KI-Programme geben?
  • Falls in der ersten Reflexion noch nicht geschehen: Um die Frage am Ende des zweiten Videos nochmal aufzugreifen: Glaubt ihr, dass es in Zukunft eine KI geben kann, die niemanden diskriminiert? Was müsste sich dafür alles ändern? 
  • Worauf müssen Programmierer:innen bei der Entwicklung von KI-Systemen besonders achten? Wie sollte ein Team aus Programmierer:innen und Entwickler:innen aufgestellt sein?

Sachinformationen

Weiterführende Begleitinformationen zum Praxistipp befinden sich im Informationsmaterial.

Weiterführende Links

Wie Maschinen diskriminieren – Facial Recognition & the Matrix of Domination von Nushin Yazdani und José Rojas

In diesem Video wird ergründet, was genau sich hinter diesen algorithmischen Entscheidungssystemen verbirgt, was z.B. Emotionserkennung aus den Gesichtern von Schwarzen Basketballspielern liest, was Facial Recognition mit Haustüren zu tun hat und warum Aussehen Werbeanzeigen beeinflussen kann. Disclaimer/CW: In diesem Video werden Rassismus, Sexismus, Transfeindlichkeit und Klassismus thematisiert.

Verwandte Ideen