LehrerInnen Web

In unserem Themenschwerpunkt zu Künstlicher Intelligenz haben wir uns schon mehrfach mit Chatbots beschäftigt, wenn wir etwa Anregungen für ihren Einsatz im Unterricht gaben, oder die Problematik von durch sie verbreitete Hatespeach beleuchteten. Diesmal wollen wir uns einer grundsätzlicheren Frage widmen: Wie funktionieren auf KI basierende Chatbots und wie bzw. mit welchen Daten werden sie trainiert?

So beeindruckend die Ergebnisse bei vielen dieser Tools mittlerweile auch sind, so wenig Magie steckt andererseits dahinter: KI-Sprachmodelle wie ChatGPT & Co. erzeugen ihre Texte vor allem auf Basis von mathematischen Wahrscheinlichkeiten. Je nach Prompt (User:innen-Eingabe) greifen sie dabei auf ihre Trainingsdaten zurück und fügen dann in ihren Sätzen auf Grund von komplexen Wahrscheinlichkeitsrechnungen Wort für Wort hinzu. Besonders leistungsstarke Tools gehen mittlerweile sogar Silbe für Silbe oder Buchstabe für Buchstabe vor und erzielen somit noch genauere Ergebnisse. Sehr gut erklärt Prof. Dr. Doris Weßels von der FH Kiel die dahinterstehende Mechanik hier in diesem Web-Vortrag (vor allem ab Minute 7:55):

Soweit kurz zur trockenen Theorie hinter der Funktionsweise von Chatbots & Co. Etwas anschaulicher lässt sich diese speziell auch im Unterricht mit dem kürzlich erschienenen didaktischen Sprachmodell Soekia GPT aus der Schweiz vorstellen, zu dem es zusätzlich auch noch ausführliches Hintergrundmaterial für Pädagog:innen gibt.

Bei der Anwendung liegen die Trainingsdaten für das Sprachmodell offen (grüne Spalte “Dokumente”): Sie bestehen grundsätzlich aus zwölf bekannten deutschen Märchen. Ist man mit den Grundlagen des Programms einmal vertraut, könnten für Übungszwecke auch beliebige andere Dokumente eingefügt werden und somit das Ergebnis erweitert und geändert werden. Insgesamt können aber nicht mehr als 25 Dokumente mit maximal 20.000 Zeichen hinzugefügt werden. Sobald die Erstellung eines neuen Textes gestartet wurde, ist es auch möglich, die Arbeitsweise des Modells nachzuvollziehen.

Dazu sieht man einerseits in der Spalte “N-Gramme” (orange) jene Wortgruppen, die das Programm beim Durchsuchen in den Trainingsdaten angetroffen hat, sowie auch deren Häufigkeit. Im Screenshot oben wurde etwa die 3er-Wortgruppe “in den Wald” in allen zwölf Märchen am häufigsten angetroffen, wie auch durch die Reihung und den grünen Balken darunter zu erkennen ist. Per Klick auf die Wortgruppe erfährt man auch, dass dies konkret 28 Mal der Fall war, während die zweitgenannte 3er-Gruppe “. Als sie” immerhin 15 Mal aufgefunden wurde.

In KI-Sprachmodellen funktionieren solche N-Gramme in etwa wie ein Sprachgedächtnis, auf das beim Generieren von neuen Sätzen immer wieder zurückgegriffen wird (siehe auch Hintergrundmaterial ab Seite 4) und aufgrund dessen die nächsten Wörter ausgewählt werden. Bei Soekia lassen sich Wortgruppen mit höchstens sechs Gliedern einstellen und somit der generierte Text beeinflussen. Dabei gilt: Umso höher der N-Wert, desto eher entstehen grammatikalisch richtige Sätze.

In der Spalte “Wortvorschläge” (rot) sind schließlich jene Optionen zu sehen, welche das Programm aufgrund der erkannten Muster in den Übungsdaten (also den Märchen) als nächste vorschlägt. Stehen aufgrund der Berechnungen mehrere Worte zur Auswahl, entscheidet der Zufall, welches ausgewählt wird, womit kreativere Schöpfungen ermöglicht werden. Klickt man in dieser Spalte auf den seitlichen Button “Wortvorschläge anpassen”, so kann man hier die “Temperatur” der Auswahl verändern: Bei niedriger entscheidet vorwiegend die Häufigkeit der gefundenen Vorschläge, bei hoher spielt der Zufall mehr Rolle, das Programm wird dadurch aber auch fehleranfälliger punkto Grammatik.

Mit Soekia lässt sich somit das Erstellen von KI-Texten Schritt für Schritt nachvollziehen, wobei das Ergebnis in der blauen Spalte (“Texte erzeugen”) entweder automatisch generiert oder auch manuell beeinflusst werden kann. In letzterem Fall kann der/die Nutzer:in selbstständig aus einer Wortwolke, gereiht nach auftretender Häufigkeit, das nächste Wort auswählen. Da es bei diesem didaktischen Sprachmodell vor allem um die Nachvollziehbarkeit geht, sollten an die entstehenden Texte allerdings keine allzu hohen Ansprüche gestellt werden. Dennoch sind die Textergebnisse trotz der geringen Trainingsdaten und geringerer Komplexität des Programms überraschend ansprechend.

Zuletzt noch zu einer Problematik, die wir im Verlauf unseres Schwerpunktes immer wieder thematisiert haben: Im Gegensatz zur Schweizer Webseite machen viele Konzerne, die an KI-Chatbots arbeiten, aus den Trainingsdaten für ihre Programme weiterhin ein großes Geheimnis. Erst vor wenigen Wochen veröffentlichte allerdings die “Washington Post” eine aufwendige Recherche über jenen Datensatz, mit dem etwa das T5-Sprachmodell von Google trainiert wurde. Dieser umfasste etwa 15 Millionen Webseiten.

Bei der Kategorisierung dieser zeigten sich durchaus auch jene Probleme, die wir in unserer Praxis-Idee Coded Bias - Wie KI diskriminiert (Sek 2) beleuchtet und für die Bearbeitung im Unterricht aufbereitet haben: Die Unausgewogenheit der zugrundeliegenden Daten verfestigt gesellschaftliche Diskriminierung. So waren in dem Datensatz etwa wenig vertrauenswürdige Nachrichtenseiten bis hin zu klaren Fake-News-Verbreitern (etwa das US-amerikanische “Breitbart”-Netzwerk) zu finden. Eine besonders klare Schlagseite hatten im Bereich “Community” die Webseiten mit religiöser Ausrichtung, die einerseits westlich zentriert waren (Christentum klar überrepräsentiert) und noch dazu in den einzelnen Glaubensrichtungen eher extreme Ansichten vertraten.

Gleichzeitig zeigte die Recherche, dass Filter, die den Datensatz vor Implementierung in das Sprachmodell von unerwünschten Inhalten reinigen sollten, teils LGBTQIA+-Inhalte verhinderten, offen pornografische oder rechtsextreme Webseiten hingegen durchschlüpfen ließen. Die Erstellung von ausgewogeneren und vorurteilsfreieren Trainingsdaten stellt also weiterhin eines der Hauptprobleme von KI-Sprachmodellen dar.