Beim Einsatz von KI-Tools im schulischen Kontext ist es wichtig, Schüler*innen darüber zu informieren, dass keine personenbezogenen Daten in den Prompt eingegeben werden dürfen. Dazu gehören beispielsweise Vorname, Nachname, Schulort, E-Mail-Adresse, Adresse, Lebenslauf, Selfies von sich selbst oder anderen Personen sowie ähnliche Angaben.

Es gibt KI-Tools, die speziell für den Einsatz im Bildungsbereich entwickelt wurden und die Datenschutz-Grundverordnung berücksichtigen, beziehungsweise datenschutzkonforme Nutzungsformen ermöglichen. Dazu gehört unter anderem, dass Schüler:innen keinen eigenen Account benötigen, Zugänge durch die Lehrperson freigeschaltet werden, Eingaben geschützt verarbeitet werden und Daten nicht zu Trainingszwecken genutzt und nicht an Dritte weitergegeben werden. Beispiele dafür sind die KI-Dienste von Schabi  oder die KI-Tools von Fobizz.

An vielen Schulen werden Lumo von Proton oder Duck.ai verwendet. Lumo verspricht mit No-Logs und Zero-Access-Verschlüsselung; Duck.ai ermöglicht private, anonymisierte Chats mit verschiedenen KI-Modellen.

Entscheidend ist nicht nur das Tool selbst, sondern auch die schulische Regelung: Vor dem Einsatz sollten kantonale Vorgaben, Altersfreigaben, Datenschutzbestimmungen und die Frage geklärt sein, ob Schüler:innen mit oder ohne eigenes Konto arbeiten dürfen. Im Falle von ChatGPT gilt folgendes: Der Hersteller OpenAI definiert für die Nutzung das Mindestalter von 13 Jahren.