Ein reines Sprachmodell verfügt meist über Trainingsdaten, die 3–6 Monate alt sind. Aktuelle oder geografisch-lokale Abfragen mit einem reinen Sprachmodell durchzuführen, ist daher nicht empfehlenswert. Für solche Fälle gibt es jedoch eine Lösung: Sprachmodelle, die an eine Suchinfrastruktur gekoppelt sind. Ein solches Framework nennt sich RAG (Retrieval Augmented Generation) und funktioniert wie folgt: Schlüsselbegriffe aus dem Prompt der Nutzer*in werden mittels Vektorsuche mit Dokumenten aus einer aktuellen und gut kuratierten Suchinfrastruktur abgeglichen. Diese Suchinfrastruktur wird vom Tool-Hersteller erstellt und gepflegt. Die daraus gewonnenen Ergebnisse reichern den Prompt der Nutzer*in an und bilden anschliessend die Grundlage, die dem Sprachmodell zur Verfügung gestellt wird, um den Output zu generieren. Das Ergebnis ist meist ein qualitativ hochwertiger Output.
Dieses Bild noch dem bisherigen grafischen Stil anpassen
Quelle: https://deepchecks.com/glossary/rag-architecture/
Vertreter, die bereits früh mit einem solchen RAG-Framework gearbeitet hatten sind Perplexity und Microsoft Copilot. Vorteilhaft bei solchen Tools ist, dass neben dem generierten Output auch die verwendeten Quellen genannt werden. Diese stimmen zwar nicht immer oder sind teilweise sehr ungenau. Der Vorteil besteht jedoch darin, dass Nutzer*innen über die verlinkten Quellen die Möglichkeit erhalten, den Output nachzuvollziehen und zu überprüfen.
Inzwischen zeigt der Trend in folgende Richtung: Sehr viele generative KI-Tools verwenden bereits RAG im Hintergrund, um aktuelle, lokale und inhaltlich möglichst korrekte Outputs generieren zu können. Es ist davon auszugehen, dass künftig so gut wie alle KI-Tools ein RAG-Framework verwenden werden.
Kurze Aktivität: RAG Simulation
Besuche auf https://www.behind-ai.ch/rag und starte die RAG-Simulation. In dieser Simulation lässt sich beobachten, wie ein Sprachmodell ohne RAG im Vergleich zu einem Sprachmodell mit RAG auf dieselbe Frage antwortet. Im oberen Bereich der Webseite kann eine Frage ausgewählt und die Simulation mit dem blauen Button «Fragen» gestartet werden. Im unteren Bereich der Webseite wird anschliessend der Vergleich sichtbar, wie im folgenden Screenshot sichtbar.
