RAG für mehr inhaltliche Präzision
Ein reines Sprachmodell verfügt meist über 3-6 Monate veraltete Trainingsdaten. Aktuelle oder geografisch lokale Abfragen in einem reinen Sprachmodell zu tätigen, ist also nicht zu empfehlen. Für solche Fälle gibt es aber eine Lösung: Sprachmodelle, die an eine Suchinfrastruktur gekoppelt sind. So ein Framework nennt sich RAG (Retrieval Augmented Generation) und zeichnet sich wie folgt aus: Schlüsselbegriffe aus dem Prompt des Nutzers werden mittels Vektorsuche mit den Dokumenten aus einer aktuellen und gut kuratierten Suchinfrastruktur abgeglichen. Das Ergebnis aus der Suchinfrastruktur reichert den Prompt des Nutzers an und stellt anschliessend die Grundlage das Sprachmodell zur Verfügung, welches damit den Output generiert. Vertreter, die bereits früh mit einem solchen Framework gearbeitet hatten sind Perplexity und Microsoft Copilot. Vorteilhaft bei solchen Tools ist, dass neben dem generierten Output auch Quellen genannt werden. Dies gibt Nutzer:innen die Möglichkeit, die Inhalte nachzuvollziehen und zu überprüfen.
Inzwischen zeigt der Trend in folgende Richtung: Sehr viele generative KI-Tools verwenden bereits RAG im Hintergrund um aktuelle, lokale und inhaltlich möglichst korrekte Outputs generieren zu können. Es ist davon auszugehen, dass künftig so gut wie alle KI-Tools ein RAG-Framework verwenden werden.
Visualisierung RAG-Framework
Aktivität: RAG-Simulation
Gehe auf https://www.behind-ai.ch/rag und starte die RAG-Simulation. Bei dieser Simulation lässt sich beobachten, wie ein Sprachmodell ohne RAG versus ein Sprachmodell mit RAG auf die selbe Frage antwortet.
RAG im Kleinformat: Text-Upload
Beim Erkunden eines Fachinhalts empfiehlt es sich, die entsprechenden Fachtexte im KI-Tool hochzuladen und den Prompt beispielsweise wie folgt zu ergänzen: «Beantworte meine Fragen ausschliesslich auf Basis der hochgeladenen Texte.» Die hochgeladenen Texte werden im Kontextfenster des Sprachmodells gespeichert und bei entsprechender Anweisung bei der Generierung der Antworten in erster Linie berücksichtigt. Diese Nähe zum zugrunde liegenden Fachtext erhöht in der Regel die inhaltliche Präzision. Gleichzeitig entsteht eine zusätzliche Überprüfungsmöglichkeit: Viele Tools können die jeweilige Passage im Originaltext anzeigen oder verlinken, aus der die Information entnommen wurde.
NotebookLM: Quellen definieren und erkunden
Ein KI-Tool, welches einen solchen Dokument-Upload anbietet, ist NotebookLM von Google. Das Tool ist kostenlos, erfordert allerdings ein Login mit einem Google-Konto. NotebookLM bietet die Option einen oder mehrere Texte und Weblinks als Quelle hochzuladen und beantwortet Fragen der Nutzer:in auf Basis von diesen Quellen. Des Weiteren lässt sich über die hochgeladenen oder verlinkten Quellen ein Podcast, Erklärvideo, Lern-Karteikarten und vieles mehr in beeindruckender Qualität erstellen.
Screenshot aus NotebookLM
Auf der linken Seite lassen sich Quellen definieren: PDFs und Weblinks, beispielsweise auch Links zu YouTube-Videos. In der Mitte kann mit dem Tool über diese Quellen gechattet werden. Auf der rechten Seite befinden sich die Studio-Werkzeuge, mit denen sich ein Podcast, ein Erklärvideo oder Lernkarten zum Inhalt erstellen lassen. Alle Funktionen eignen sich ideal zum Lernen.((im Screeshot noch ein besseres Beispiel und darauf hinweisen, was sichtbar ist. Ev Erklärvideo oder mehrere Screenshots))
ChatPDF: Über ein PDF chatten
Es gibt verschiedene Tools, mit denen sich PDF-Dokumente per Chat erschliessen lassen. Einen weiteren bekannten Vertreter ist ChatPDF: Dort kann ein PDF niederschwellig hochgeladen und anschliessend per Chatfunktion Fragen dazu gestellt werden. Mit einem Prompt wie «Stelle mir Übungsfragen zum Text» lässt sich ein solches Tool auch zum Üben beziehungsweise zur Prüfungsvorbereitung nutzen. Im Hintergrund wird der Text in kleinere Einheiten zerlegt und indexiert; bei einer Anfrage werden passende Textstellen gesucht und für die Antwort verwendet. Die Ergebnisse können zwar gut zur Anfrage passen, doch auch ein solches Tool bietet keine Gewähr für Vollständigkeit oder Relevanz.
Literaturrecherche mit Consensus
Consensus ist eine KI-basierte wissenschaftliche Suchplattform, die Forschungsfragen beantwortet, indem sie relevante Erkenntnisse aus wissenschaftlichen Publikationen identifiziert, analysiert und zusammenfasst. Ziel ist es, evidenzbasierte Informationen schnell und verständlich bereitzustellen. Die Datenbasis umfasst mehr als 200 Millionen wissenschaftliche Dokumente, die aus Quellen wie Semantic Scholar, OpenAlex sowie eigenen Web-Crawls von Consensus zusammengeführt werden.
((Hier kommen noch 2-3 Screenshots, oder ein Erklärvideo zur Bedienung))