Diese Aktivität würde ich löschen. Der Anfang ist redundant mit dem vorherigen und dann wird die Vektorisierung kurz eingeführt und danach nochmals?
Ich habe die wichtigsten Infos bei ‚Funktionsweise LLM‘ ehemals ‚funktionsweise ChatGPT‘ eingefügt.
MatterGPT und SoekiaGPT, die vorhin vorgestellt wurden, sind beide sehr einfache Sprachmodelle. MatterGPT berücksichtigt immer nur 1 vorhergehendes Wort und basiert auf einem einzelnen Liedtext. SoekiaGPT ist bereits deutlich grösser, bezieht bis zu fünf vorhergehende Wörter ein und wurde mit etwa 20 verschiedenen Texten trainiert. So kann es den Zusammenhang innerhalb eines Satzes besser erfassen und erzeugt Texte, die bereits etwas natürlicher wirken.
Analog funktionieren grosse Sprachmodelle, sogenannte Large Language Models, abgekürzt LLMs, wie zum Beispiel ChatGPT. Sie werden mit sehr grossen Textsammlungen trainiert, wie etwa aus Wikipedia, Büchern, Zeitungsartikeln, wissenschaftlichen Arbeiten oder sonstigen von Menschen geschriebenen und sorgfältig ausgewählten Texten.
Statt nur einzelne Wörter zu vergleichen, können sie sehr viele Wortbestandteile (Tokens) gleichzeitig berücksichtigen – oft mehrere Tausend auf einmal. In erweiterten Versionen (z.B. 5.3 – Stand 03.2036) kann ChatGPT zum Beispiel bis zu 128 000 Tokens in einem einzigen Kontext verarbeiten (OpenAI, 2026). Gemini, die LLM von Google kann sogar bis zu einer Million Tokens im Kontext verarbeiten (Georgiev et al., 2024)
(Hier braucht es noch eine Überleitung von Tokens zu Latent Space?)
Konkret heisst das, dass verschiedene Begriffe mathematisch zueinander in Beziehung gesetzt werden, um eine möglichst plausible Wortfolge zu erhalten. So erfassen die Sprachmodelle Bedeutungen, Satzbau und inhaltliche Zusammenhänge rein mathematisch. Eine Möglichkeit, wie das funktioniert, ist die Vektorisierung von Beziehungen, veranschaulicht in der folgenden Darstellung:
Zwischen einem Land und seiner Hauptstadt lässt sich jeweils ein sehr ähnlicher Vektor ziehen im Latent Space / im mathematisch-abstrakten Raum.
Die Modelle sind dadurch in der Lage, längere Texte zu verstehen, logische Bezüge herzustellen und sogar Stimmungen oder Absichten erkennen zu können, wobei dieses Verständnis rein mathematischer Art und nicht mit inhaltlichem Verständnis zu verwechseln ist.
Möglich ist dies durch die enorme Rechenleistung moderner Rechenzentren. Sie erlauben das Training von Modellen mit Milliarden von Parametern, also vielen einstellbaren «Stellschrauben». hier noch ergänzen, wieso mehr paramter erstrebenswert / was mehr parameter leisten können Das Ergebnis ist ein Sprachmodell, das weit mehr kann, als nur wahrscheinliche Wortfolgen aneinanderzureihen.
Die Funktionsweise generativer Bild- oder Video ist derjenigen der LLM sehr ähnlich. Anstatt Wörter werden einfach einzelne Pixel zueinander in Beziehung gesetzt und in einem mathematisch-abstrakten Raum abgespeichert.
Du hast nun eine erste Übersicht darüber, wie KI funktioniert. In den nachfolgenden Kapiteln werden folgende Bausteine noch genauer thematisiert: die Vektorisierung, verschiedene Lernmethoden des maschinellen Lernens, künstliche neuronale Netze und Deep Learning.