KI · Themenbeitrag
Wenn ein Sprachmodell dieselbe Frage mehrfach unterschiedlich beantwortet, kann das ein Warnsignal sein. Semantische Entropie untersucht solche Unterschiede auf der Bedeutungsebene. Der Ansatz hilft bei bestimmten erfundenen Antworten, ist aber kein universeller Wahrheitsdetektor. Gerade zuverlässig wiederholte Irrtümer bleiben eine zentrale Grenze dieser Form der Unsicherheitsmessung in praktischen Anwendungen.
Nicht jede sprachliche Variation bedeutet Unsicherheit
Eine Frage kann mehrere gleichwertige Antworten haben, ohne dass das Modell inhaltlich schwankt. Die Formulierungen Paris ist die Hauptstadt Frankreichs und Frankreichs Hauptstadt heißt Paris unterscheiden sich sprachlich, nicht sachlich. Die Nature-Arbeit von Farquhar und Kollegen setzt deshalb auf semantische Entropie: Mehrere erzeugte Antworten werden nach ihrer Bedeutung gruppiert, statt lediglich unterschiedliche Wortfolgen zu zählen. Verteilen sich die Ausgaben auf widersprüchliche Bedeutungen, deutet das auf Unsicherheit hin. Die Forschenden untersuchten damit eine bestimmte Untergruppe von Halluzinationen, sogenannte Konfabulationen. Gemeint sind willkürliche, falsche Generierungen, die bei wiederholter Abfrage variieren können. Das Verfahren ist interessant, weil es nicht für jede einzelne Frage bereits eine bekannte Musterlösung benötigt, um ein Warnsignal zu erzeugen.
Warum einheitliche Antworten trotzdem falsch sein können
Ein Modell kann denselben Irrtum jedes Mal wiederholen. Dann entsteht wenig semantische Streuung, obwohl die Aussage sachlich falsch ist. Auch eine irreführende Fragestellung kann Antworten zuverlässig in dieselbe Richtung lenken. Semantische Entropie misst daher nicht Wahrheit selbst, sondern eine Form von Instabilität. Hinzu kommt zusätzlicher Rechenaufwand: Mehrere Antworten müssen erzeugt und ihre Bedeutungsbeziehungen bewertet werden. Auch diese Bewertung kann fehlerhaft sein, etwa bei feinen Unterschieden zwischen Mengenangaben oder Bedingungen. Das NIST-Risikoprofil für generative KI behandelt unbegründete, überzeugend präsentierte Inhalte entsprechend als ein breiteres Problem. Ein einzelner Unsicherheitswert ersetzt weder Quellenprüfung noch aufgabenspezifische Tests und sollte nicht als allgemeine Freigabe für sensible Entscheidungen missverstanden werden, auch wenn die Benutzeroberfläche sehr präzise Zahlen zeigt.
Warnsignale sinnvoll in Arbeitsabläufe übersetzen
Der praktische Nutzen liegt vor allem in abgestuften Reaktionen. Ein System könnte bei hoher Unsicherheit zusätzliche Quellen suchen, eine gezielte Rückfrage stellen oder die Antwort zur menschlichen Prüfung markieren. Dafür müssen Schwellenwerte an echten Aufgaben getestet werden. Zu viele Warnungen machen das Werkzeug mühsam; zu wenige erzeugen falsche Sicherheit. Besonders aufschlussreich ist die Frage, wie viele tatsächlich falsche Antworten trotz unauffälligem Wert passieren. Für Nutzerinnen und Nutzer sollte die Oberfläche verständlich erklären, was gemessen wurde: etwa starke Unterschiede zwischen mehreren Antwortversuchen, nicht eine vermeintlich objektive Wahrscheinlichkeit der Wahrheit. Als zusätzlicher Prüfkanal ist semantische Entropie deshalb nützlich. Als Ersatz für belastbare Belege würde sie genau jene Sicherheit vortäuschen, die sie eigentlich kritisch hinterfragen soll.
Quellen & weiterführende Informationen
- Farquhar et al.: Detecting hallucinations using semantic entropynature.com
- NIST: Generative Artificial Intelligence Profile (2024)doi.org
Mit KI-Unterstützung aus den genannten Quellen in eigenen Worten erstellt. Forschungsergebnisse, technische Prototypen und gesicherte Erkenntnisse werden im Text unterschieden. Dieser Themenbeitrag ist keine tagesaktuelle Meldung.