Eine Halluzination ist eine von einem KI-Modell erzeugte Aussage, die faktisch falsch oder frei erfunden ist, aber sprachlich genauso selbstsicher formuliert wird wie eine korrekte Antwort.
Halluzinationen entstehen, weil ein Sprachmodell keine Datenbank mit geprüften Fakten abfragt, sondern statistisch das nächste plausible Wort vorhersagt – fehlt echtes Wissen zu einem Thema, füllt das Modell die Lücke mit einer plausibel klingenden, aber falschen Antwort.
Besonders häufig treten Halluzinationen bei sehr spezifischen Fakten auf, etwa erfundenen Zitaten, falschen Rechtsvorschriften, nicht existierenden wissenschaftlichen Quellen oder falschen Zahlenangaben.
Gegenmassnahmen sind unter anderem Retrieval-Augmented Generation (RAG), bei dem das Modell auf geprüfte externe Quellen zugreifen kann, sowie eine grundsätzlich kritische Prüfung von KI-generierten Fakten durch den Nutzer, bevor sie weiterverwendet werden.
