KI-Halluzination

Was bedeutet KI-Halluzination?

Der Begriff beschreibt ein Verhalten, das jeden überrascht, der zum ersten Mal ernsthaft mit einem KI-Sprachmodell arbeitet: Die Antwort klingt fachkundig, ist sauber gegliedert und enthält konkrete Angaben – nur stimmen einige davon nicht. Das Modell nennt eine DIN-Norm, die es nicht gibt, zitiert ein Urteil mit erfundenem Aktenzeichen oder rechnet mit einem Lieferantenpreis, der nirgends steht. Dabei verändert sich der Ton nicht. Falsches wird mit derselben Sicherheit vorgetragen wie Richtiges, und genau das macht Halluzinationen im Arbeitsalltag gefährlich.

Die Ursache liegt in der Funktionsweise. Ein Sprachmodell schlägt nicht in einer Datenbank nach, sondern berechnet Wort für Wort die wahrscheinlichste Fortsetzung eines Textes. Es hat aus sehr vielen Texten gelernt, wie Antworten auf bestimmte Fragen typischerweise aussehen. Fehlt ihm die konkrete Information – weil sie nie in den Trainingsdaten stand, weil sie zu Ihrem Betrieb gehört oder weil sie neuer ist als das Modell –, erzeugt es trotzdem eine Antwort, die zum Muster passt. Das ist kein Defekt einzelner Anbieter, sondern eine Eigenschaft der Technik, die man kennen und einplanen muss.

Von Nachbarbegriffen ist die KI-Halluzination klar abzugrenzen. Ein schlichter Fehler entsteht auch beim Menschen, etwa ein Zahlendreher; die Halluzination dagegen ist eine Erfindung, die die Lücke im Wissen verdeckt. Veraltete Antworten sind etwas anderes: Das Modell gibt einen Stand wieder, der früher richtig war. Und Schatten-KI beschreibt nicht die Ausgabe, sondern die ungeregelte Nutzung – sie verschärft das Halluzinationsrisiko aber, weil dort niemand die Ergebnisse prüft, bevor sie an Kunden gehen.

Wirksam begrenzen lässt sich das Risiko an zwei Stellen. Auf der Eingangsseite hilft ein Firmengehirn: Die KI liest Abläufe, Preise und Regeln aus geprüften Unterlagen des Betriebs, statt sie aus dem allgemeinen Gedächtnis zu ergänzen, und kann angeben, woher eine Aussage stammt. Auf der Ausgangsseite steht die Freigabe durch Menschen: Bevor ein Angebot, eine Auskunft oder ein Text den Betrieb verlässt, liest ein zuständiger Mitarbeiter gegen und gibt frei. Beides zusammen macht aus einem nicht ganz verlässlichen Werkzeug einen verlässlichen Ablauf.

KI-Halluzination kurz erklärt: die wichtigsten Punkte

• Eine Halluzination ist eine überzeugend formulierte, aber falsche oder erfundene Angabe – keine Absicht, sondern eine Folge der Funktionsweise von Sprachmodellen.
• Besonders anfällig sind exakte Einzelangaben: Normen, Paragrafen, Preise, Termine, Artikelnummern, Namen und Quellenangaben.
• Am Tonfall erkennt man Halluzinationen nicht. Das Modell klingt bei falschen Aussagen genauso sicher wie bei richtigen.
• Das Risiko sinkt deutlich, wenn die KI aus geprüftem Firmenwissen arbeitet und ihre Quellen nennt, statt frei zu antworten.
• Vollständig ausschließen lässt es sich nicht – deshalb gehört vor jede Außenwirkung die Freigabe durch einen Menschen.

KI-Halluzination in der Praxis

• Angebot im Metallbau: Eine KI soll aus einer Kundenanfrage einen Angebotstext vorbereiten und ergänzt dabei eigenständig eine Norm für Geländerhöhen samt Nummer und Jahr. Die Norm klingt echt, existiert in dieser Form aber nicht. Geht das Angebot ungeprüft hinaus, verliert der Betrieb beim fachkundigen Kunden an Glaubwürdigkeit – oder verpflichtet sich im schlimmsten Fall auf eine Anforderung, die niemand kennt.
• Kundenauskunft am Telefon oder im Chat: Ein Assistent wird nach Lieferzeiten für ein Ersatzteil gefragt. Weil keine aktuellen Daten angebunden sind, nennt er eine plausible Spanne von wenigen Tagen. Der Kunde plant damit, das Teil kommt drei Wochen später. Der Ärger landet beim Innendienst, der von der Auskunft nichts wusste.
• Stellungnahme in der Verwaltung: Die Büroleitung lässt sich eine Antwort auf einen Widerspruch vorbereiten. Der Entwurf stützt sich auf einen Paragrafen mit Absatz und zitiert ein Urteil mit Aktenzeichen. Beim Nachschlagen zeigt sich: Den Absatz gibt es nicht, das Aktenzeichen gehört zu einem ganz anderen Verfahren.

Woran Sie eine KI-Halluzination erkennen

1. Die Antwort enthält sehr konkrete Angaben – Nummern, Daten, Beträge, Namen –, ohne dass erkennbar ist, aus welcher Unterlage sie stammen.
2. Genannte Quellen, Normen oder Urteile lassen sich bei einer kurzen Suche nicht finden oder führen zu einem anderen Inhalt.
3. Fragen Sie dieselbe Frage noch einmal oder etwas anders formuliert, ändern sich die Detailangaben, während der Ton gleich sicher bleibt.
4. Die Antwort passt auffallend glatt zur Frage, auch wenn Sie wissen, dass die Lage in Ihrem Betrieb komplizierter ist.
5. Auf die Bitte „Nenne die Stelle in den Unterlagen, aus der das stammt“ bleibt die KI vage oder liefert eine neue, ebenfalls nicht prüfbare Angabe.

Typische Fehler

• Der KI blind vertrauen, weil die ersten Ergebnisse gut waren: Halluzinationen treten unregelmäßig auf, gerade deshalb fallen sie nach einigen guten Wochen nicht mehr auf.
• Die KI aus dem Gedächtnis antworten lassen, obwohl das richtige Wissen im Betrieb vorliegt: Preise, Lieferbedingungen und Abläufe gehören in geprüfte Unterlagen, auf die die KI zugreift.
• Prüfen ohne klare Zuständigkeit: Wenn „irgendwer mal drüberschaut“, schaut am Ende niemand. Für jede Art von Ergebnis braucht es eine benannte Person, die freigibt.
• Halluzinationen als Grund nehmen, ganz auf KI zu verzichten: Das Risiko ist beherrschbar, wenn der Ablauf stimmt – der Verzicht kostet dagegen dauerhaft Zeit, die im Büro fehlt.

Unser Bezug

Wir arbeiten seit 14 Monaten im eigenen Betrieb mit KI-Stellen und kennen Halluzinationen deshalb nicht aus Fachartikeln, sondern aus dem Alltag. Unsere Antwort darauf ist kein besseres Versprechen, sondern ein Ablauf: Die KI-Mitarbeiter lesen aus einem Firmengehirn, in das neues Wissen erst nach Freigabe aufgenommen wird; hinter jedem Macher steht ein Prüfer; und jede Außenwirkung geht über den Tisch eines Menschen. Die KI bereitet vor, der Mensch gibt frei – genau dieser Grundsatz fängt die Halluzination ab, bevor sie beim Kunden ankommt.

In der Beratung klären wir mit Ihnen, bei welchen Aufgaben in Ihrem Betrieb exakte Angaben zählen, welches Wissen die KI dafür braucht und wer an welcher Stelle freigibt. Für die Beratung ist bis zu 80 % Förderung möglich, je nach Betrieb und Standort. Die Umsetzung beauftragen Sie getrennt, wenn Sie wollen: im AI Workspace, in dem Firmengehirn und Freigaben fest eingebaut sind, oder als individuelle Lösung.

Verwandte Begriffe

• Freigabe durch Menschen
• Firmengehirn
• Schatten-KI
• KI-Stelle
• KI-Kompetenz

Weiterführende Beiträge

• Hinter jedem Macher ein Prüfer: Wie Freigaben im Betrieb wirklich funktionieren
• Was ein Firmengehirn ist – und warum es nicht dem Werkzeug gehört
• Die Probezeit einer KI-Stelle: Woran Sie nach vier Wochen erkennen, ob sie bleibt
• Warum der erste KI-Versuch im Mittelstand fast immer scheitert
• Das Firmengehirn: Warum Wissen dem Unternehmen gehören muss