SoekiaGPT ist eine Umgebung für den Bildungsbereich, die einen Blick hinter die Kulissen eines Sprachmodells ermöglicht – es handelt sich also um ein didaktisches Werkzeug. Es dient nicht als Ersatz für ChatGPT und Co., sondern soll das Prinzip aufzeigen. Einerseits visualisiert die Umgebung, dass fürs Generieren von Sätzen die Häufigkeit von Wortfolgen genutzt wird. Andererseits zeigt es die enge Korrelation zwischen den Trainingsdaten und dem generierten Output auf.

Öffne zuerst die Webseite SoekiaGPT und klicke dann oben rechts auf «Schau hinein».

Nachdem «Schau hinein» geklickt wurde, sieht die Umgebung wie im untenstehenden Screenshot aus.

Links in der ersten, blauen Spalte ist der Textgenerator sichtbar, der sich mit «Play» starten und wieder stoppen lässt.

In der zweiten, roten Spalte ist sichtbar, mit welchem Wort die vorgelegte Wortfolge am wahrscheinlichsten fortgesetzt wird.

In der dritten, orangen Spalte sind N-Gramme sichtbar. N-Gramme sind Wortfolgen in der Länge N, die aus der Analyse der Trainingsdaten gebildet werden. Es kann beim Nutzen von SoekiaGPT eingestellt werden, ob die bisherige Wortfolge mit 1er-, 2er- oder sonstigen N-Grammen ergänzt werden soll.

In der rechten, grünen Spalte sind die verwendeten Trainingsdaten sichtbar; in der Standardeinstellung handelt es sich um 13 Märchen. 13 kurze Texte sind im Vergleich natürlich viel zu wenig, weshalb die generierten Sätze etwas holprig und sehr nahe an diesen Märchen sind.

Ganz oben rechts gibt es noch die Möglichkeit, entweder eigene Dokumente hochzuladen und als Trainingstexte zu verwenden oder – einfacher – aus bestehenden Kollektionen etwas anderes auszuwählen, wie englische Texte, Tiergeschichten oder Wettervorhersagen. Mit jeder Kollektion wird sichtbar: Wenn das Modell beispielsweise mit Wettervorhersagen trainiert wurde, wird es auch gut darin sein, Wettervorhersagen zu generieren.

Aktivität auf SoekiaGPT

Teil 1: Traingstexte manipulieren
Die Trainingsdaten lassen sich in SoekiaGPT bearbeiten. Dazu einfach auf das Bearbeitungs-Icon, den Stift, auf einem Dokument klicken. Beginne nun gezielt Schreibfehler oder inhaltliche Fehler in mehrere Dokumente reinzuschreiben. Nach einigen Änderungen starte den Generator auf der linken Seite und beobachte diesen neuen Output. Bei dieser Märchenauswahl geht es oft um Könige. Es ist auch möglich, anstelle von «Könige» neu «Königin» reinzutippen. Die Veränderungen werden sehr wahrscheinlich schnell sichtbar sein. Somit ermöglicht SoekiaGPT zu erkennen, dass die Technologie von Sprachmodellen sehr anfällig auf jegliche Manipulationen ist. Trainingstexte können zum einen schlecht ausgewählt sein und zum anderen können Falschinformationen, Verzerrungen oder ideologische Überzeugungen in den Trainingstexten eingeschrieben worden sein.

Teil 2: Temperatur verändern
Verändere als Nächstes noch die «Feinheit» der Antwort, indem du auf das rote Zahnrad klickst. Verändere beispielsweise die Temperatur und beobachte den Unterschied auf den generierten Output. Die Temperatur (Stärke der Zufallskomponente) steht für die Abweichung in der Wortwahl. Mit höherer Temperatur wirst du feststellen, dass die Sätze wilder werden und weniger sinnzusammenhängend sind. Die erhöhte Zufallskomponente wird oft gleichgesetzt mit «mehr Kreativität».

Weitere Informationen, ein Lehrpersonenkommentar, ein Erklärvideo und Weiteres gibt es auf dieser Webseite. Ein grosses Dankeschön an Michael Hielscher, der SoekiaGPT entwickelt hat.