Was mit Halluzinationen gemeint ist
Von Halluzinationen spricht man, wenn ein Sprachmodell Angaben macht, die plausibel klingen, aber nicht stimmen. Ein Modell nennt eine Rechnungsnummer, die im Dokument nicht steht, verweist auf eine Regel, die es nicht gibt, oder beantwortet eine Kundenfrage mit einer erfundenen Lieferzeit.
Das ist kein seltener Sonderfall, sondern eine Eigenschaft der Technik, mit der man rechnen muss. Wer KI in Abläufe einbaut, sollte deshalb nicht hoffen, dass Fehler ausbleiben, sondern das System so aufbauen, dass Fehler erkannt werden, bevor sie Schaden anrichten.
Warum Sprachmodelle Angaben erfinden
Ein Sprachmodell erzeugt Text, indem es Wort für Wort die wahrscheinlichste Fortsetzung wählt. Es hat kein eingebautes Wissen darüber, ob eine Aussage stimmt. Fehlt eine Information, füllt es die Lücke mit etwas, das an dieser Stelle typischerweise stehen würde.
- Die gesuchte Angabe steht nicht im Dokument, das Modell soll sie aber liefern.
- Die Aufgabe ist offen formuliert, etwa „beantworte die Frage“ statt „antworte nur aus diesen Unterlagen“.
- Das Dokument ist schlecht lesbar, etwa ein unscharfer Scan oder Handschrift.
- Die Frage betrifft Wissen, das das Modell nicht haben kann, etwa aktuelle Lagerbestände.
Aus diesen Ursachen ergeben sich die Gegenmittel fast von selbst: Das Modell muss an Quellen gebunden werden, seine Ausgaben müssen geprüft werden, und es muss sagen dürfen, dass es etwas nicht weiß.
Gegenmittel im Aufbau
Quellenbindung
Der wirksamste Schutz ist, das Modell ausschließlich mit den Unterlagen arbeiten zu lassen, die zum Vorgang gehören: das Dokument, die Mail, die Daten aus Ihrem System. Antworten eines internen Assistenten sollten die Fundstelle nennen, damit sich jede Aussage nachprüfen lässt.
Pflichtfelder und Plausibilitätsprüfung
Ausgelesene Daten werden nicht einfach übernommen, sondern gegen Regeln geprüft. Stimmt die Summe der Positionen mit dem Rechnungsbetrag überein? Gibt es den Lieferanten in Ihren Stammdaten? Passt der Steuersatz? Ist die Bestellnummer vorhanden? Solche Prüfungen sind klassische Programmlogik und damit nicht anfällig für Halluzinationen.
Unsicherheit melden
Ein gutes System darf sagen, dass es sich nicht sicher ist. Fehlt eine Angabe oder widersprechen sich zwei Quellen, wird der Vorgang markiert und an einen Menschen gegeben. Ein System, das bei Unsicherheit nachfragt, ist besser als eines, das rät.
Abgleich mit vorhandenen Daten
Wo immer möglich, werden Angaben mit Daten abgeglichen, die bereits in Ihren Systemen stehen: Bestellung, Lieferschein, Kundenstamm, Preisliste. Was nicht zusammenpasst, wird nicht stillschweigend korrigiert, sondern sichtbar gemacht.
Mensch in der Schleife
„Mensch in der Schleife“ bedeutet, dass an festgelegten Stellen eine Person entscheidet, bevor der Ablauf weiterläuft. Das ist kein Zeichen von Misstrauen gegenüber der Technik, sondern eine Arbeitsteilung: Das System erledigt Routine, der Mensch übernimmt das, was Urteilsvermögen braucht.
Damit die Freigabe nicht zur Formsache wird, sollte der Vorgang so vorgelegt werden, dass die Prüfung schnell geht: mit dem Ausgangsdokument, dem Vorschlag des Systems und einer kurzen Begründung, warum der Fall vorgelegt wird. Wer jede Freigabe blind bestätigt, verliert den Schutz, den sie bieten soll.
Wie Sie Schwellen festlegen
Eine Schwelle legt fest, ab wann ein Vorgang zur Freigabe geht. Sie kann an einem Betrag hängen, an der Art des Vorgangs oder an der Sicherheit des Systems. Bewährt hat sich, vorsichtig zu beginnen und die Schwellen erst zu lockern, wenn Sie die Ergebnisse eine Weile beobachtet haben.
- Beträge: Rechnungen unter einer festgelegten Summe laufen durch, darüber gibt eine Person frei. Wo die Grenze liegt, entscheiden Sie.
- Neue Partner: Der erste Vorgang mit einem neuen Lieferanten oder Kunden geht immer zur Freigabe.
- Abweichungen: Jede Differenz zwischen Rechnung, Bestellung und Lieferschein wird vorgelegt.
- Inhalte: Beschwerden, Kündigungen und rechtliche Fragen gehen immer an Menschen.
- Unsicherheit: Kann das System eine Pflichtangabe nicht sicher lesen, wird der Vorgang markiert.
Zu Beginn kann es sinnvoll sein, alle Ergebnisse nur als Entwurf zu erzeugen und nichts automatisch weiterzugeben. Erst wenn Sie sehen, wie zuverlässig das System bei Ihren Vorgängen arbeitet, geben Sie schrittweise mehr frei.
Protokoll und Stichproben
Jeder automatische Schritt sollte mit Zeitstempel und Quelle festgehalten werden. So lässt sich im Nachhinein prüfen, was das System getan hat und auf welcher Grundlage. Das hilft bei Rückfragen, bei der Fehlersuche und bei Prüfungen durch Dritte.
Ergänzend zu den Freigaben lohnen sich regelmäßige Stichproben aus den Vorgängen, die automatisch durchgelaufen sind. Fallen dabei Fehler auf, werden die Regeln nachgeschärft. So verbessert sich das System über die Zeit, statt unbemerkt schlechter zu werden, wenn sich etwa ein Lieferant ein neues Rechnungslayout gibt.
Fazit
Halluzinationen lassen sich nicht vollständig ausschließen, aber gut beherrschen. Quellenbindung, Prüfregeln, gemeldete Unsicherheit, sinnvolle Schwellen, echte Freigaben und ein lückenloses Protokoll machen aus einem Sprachmodell ein System, dem Ihr Team vertrauen kann. Fragen Sie bei jedem Angebot nicht nur, was die KI kann, sondern auch, was passiert, wenn sie sich irrt.