Semantic Entropy: jak měřit nejistotu AI o smyslu, ne o tokenech

Model vygeneruje deset různě formulovaných odpovědí na stejnou otázku. Pokud všechny říkají totéž jinak, je si jistý. Pokud se liší ve smyslu — jedna říká "ano", druhá "ne", třetí "záleží na kontextu" — je to signál nejistoty nebo halucinace.

Tuto distinkci klasická entropie nad tokeny nezachytí. Sémantická entropie ano.

Rámec tvrzení

Co článek tvrdí: Sémantická entropie měří nejistotu AI na úrovni významu, nikoli tokenů; vysoká sémantická entropie koreluje s konfabulacemi; metoda funguje i pro uzavřená API bez přístupu k interním stavům modelu.

Na čem to stojí: Farquhar et al. (2024), publikováno v Nature; předchůdci Kuhn et al. (2023) na ICLR; princip sémantického shlukování odpovědí a měření entropie nad clustery.

Kde je to zjednodušení: Článek nezmiňuje výpočetní náročnost NLI klasifikace ani chybovost shlukování při subtilních významových rozdílech; konzistentní halucinace jsou zmíněny jako limit, ale reálný podíl takových případů není kvantifikován.

Proč token entropie selhává

Standardní způsob měření nejistoty jazykového modelu je entropie nad následujícími tokeny. Model přiřadí každému možnému tokenu pravděpodobnost. Čím rovnoměrnější distribuce, tím vyšší nejistota.

Problém: "Paříž" a "hlavní město Francie" jsou různé tokeny se zcela odlišnými pravděpodobnostmi — ale znamenají totéž. Token-level entropie tyto odpovědi vidí jako neshodu, i když sémanticky souhlasí.

Představte si model odpovídající na "Kolik je 6×7?". Při opakovaném dotazování generuje: "42", "Je to 42", "Odpověď je čtyřicet dva". Token entropie je vysoká — různé sekvence znaků. Sémantická entropie je nulová — všechny odpovědi znamenají totéž.

Jiná otázka: "Kdo byl první americký prezident?" Model generuje: "George Washington", "Thomas Jefferson", "John Adams". Zde je i sémantická entropie vysoká. Odpovědi se liší ve významu, ne jen ve formulaci.

Rozdíl je klíčový. Vysoká token entropie bez vysoké sémantické entropie znamená, že model je jistý o odpovědi, jen ji formuluje různě. Vysoká sémantická entropie znamená, že model je nejistý o faktické odpovědi. To je signál možné halucinace.

Jak semantic entropy funguje

Výzkumníci z Oxfordu a Cambridge v roce 2024 publikovali v Nature metodu, která tento problém řeší. Místo měření nejistoty nad tokeny měří nejistotu nad významem odpovědí.

Metoda má tři kroky.

Krok 1: Generování odpovědí. Model dostane otázku a vygeneruje několik odpovědí — typicky pět až dvacet — s nenulovou teplotou (temperature), aby zachytil variabilitu. Každá odpověď je samostatný vzorek z modelové distribuce.

Krok 2: Sémantické shlukování. Odpovědi se shlukují do clusterů podle sémantické ekvivalence. Dvě odpovědi patří do stejného clusteru, pokud A implikuje B a současně B implikuje A. To znamená, že říkají totéž, jen jinými slovy. Tuto implikaci může testovat jiný jazykový model nebo specializovaný NLI (natural language inference) model.

Krok 3: Výpočet entropie. Místo entropie nad jednotlivými odpověďmi se počítá entropie nad clustery. Pokud všechny odpovědi patří do jednoho clusteru — všechny říkají totéž — entropie je nulová. Pokud se rozdělí do více clusterů, entropie roste.

Příklad v praxi: deset odpovědí na otázku "Hlavní město Austrálie?"

Cluster 1: "Canberra", "Hlavní město je Canberra", "Canberra je hlavní město" — šest odpovědí
Cluster 2: "Sydney" — tři odpovědi
Cluster 3: "Melbourne" — jedna odpověď

Sémantická entropie je nenulová. Model není jistý.

Pokud by všech deset odpovědí říkalo Canberra různými způsoby, sémantická entropie by byla nulová. Model by byl jistý — a měl by pravdu.

Co semantic entropy detekuje — confabulations

Vysoká sémantická entropie koreluje s halucinacemi prezentovanými jako fakta. Výzkumníci těmto halucinacím říkají "confabulations" — model neví, ale odpovídá sebejistě různými věcmi.

Confabulation se liší od přiznané nejistoty. Když model řekne "nevím" nebo "nejsem si jistý", přiznává mezeru ve svých znalostech. Confabulation je opak: model generuje faktické tvrzení, které zní věrohodně, ale je nepodložené nebo nepravdivé.

Proč sémantická entropie detekuje konfabulace? Pokud model „neví“ odpověď, ale je nucen odpovědět, jeho interní reprezentace je nestabilní. Různé vzorky aktivují různé „hádací“ trajektorie. Výsledkem je variabilita na sémantické úrovni — jednou odpověď A, jindy B, jindy C.

Pokud model „ví“ odpověď, interní reprezentace je stabilní. Různé vzorky konvergují k témuž významu, i když s různou formulací. Model může říct „Canberra“ nebo „Hlavní město Austrálie je Canberra“ — různé tokeny, stejný význam, nízká sémantická entropie.

Farquhar a kolektiv (2024) testovali tuto hypotézu na datasetu otázek s ověřitelnými faktickými odpověďmi. Otázky, kde model confabuloval — odpověděl sebejistě špatně — měly systematicky vyšší sémantickou entropii než otázky, kde odpověděl správně.

Sémantická entropie je tedy zástupný ukazatel (proxy) „epistemické nejistoty“ — ne nejistoty o tom, jak odpovědět, ale nejistoty o tom, co je pravda.

Proč metoda funguje i pro black-box API

Na rozdíl od mnoha jiných metod měření nejistoty sémantická entropie nevyžaduje přístup k interním stavům modelu. Funguje pro GPT-4, Claude i Gemini přes standardní API.

Většina metod pro měření nejistoty vyžaduje přístup k log-probabilities jednotlivých tokenů nebo k interním aktivacím neuronové sítě. Komerční API tyto hodnoty typicky neposkytují nebo poskytují omezeně.

Sémantická entropie vyžaduje jen dvě věci: schopnost vygenerovat více odpovědí na tutéž otázku a schopnost porovnat odpovědi na sémantickou ekvivalenci. Obojí je dostupné přes standardní chat API.

Praktická implementace: Zeptejte se modelu desetkrát na tutéž otázku s nenulovou teplotou (temperature). Použijte NLI model nebo jiný LLM k otestování sémantické ekvivalence mezi páry odpovědí. Shlukněte odpovědi, které říkají totéž. Spočítejte entropii nad clustery.

Kompromis je jasný: metoda je dražší než jeden dotaz (single query) — deset dotazů místo jednoho — a pomalejší. Ale pro otázky s vysokou cenou chyby, kde záleží na spolehlivosti, je to přijatelná investice.

Limity a edge cases

Sémantická entropie není univerzální detektor halucinací. Selhává na určitých typech otázek.

Konzistentní halucinace. Pokud model halucinuje, ale konzistentně — všechny odpovědi říkají totéž špatně — sémantická entropie je nízká. Model je „jistě špatně“. Tuto situaci metoda nedetekuje. Vyžaduje externí ověření faktů (fact-checking).

Představte si otázku "Kdo napsal Hamleta?" Model desetkrát odpoví "Christopher Marlowe". Nízká sémantická entropie, ale špatná odpověď. Metoda neví, že Shakespeare je správně.

Legitimní ambiguita. Některé otázky mají více správných odpovědí. "Jmenujte slavného fyzika" — Einstein, Newton, Feynman jsou všechny správné. Vysoká sémantická entropie zde není signál halucinace, ale legitimní diverzity odpovědí.

Metoda nerozlišuje "neví, tak hádá" od "zná více správných odpovědí". Kontext otázky je důležitý.

Kvalita shlukování. Pokud model nebo NLI systém, který testuje sémantickou ekvivalenci, špatně klasifikuje odpovědi, clustery jsou zkreslené a entropie je nepřesná. Metoda je jen tak dobrá jako její clustering komponenta.

Sémantická entropie je užitečný signál, ne definitivní verdikt. Kombinace s jinými signály — shoda mezi modely, ověření citací — je robustnější než spoléhání na jedinou metriku.

Praktické aplikace

Sémantická entropie je nejužitečnější pro faktické otázky s jednoznačnou správnou odpovědí, kde záleží na detekci konfabulací před předáním odpovědi uživateli.

Automatizované pipeline pro ověřování faktů (fact-checking). Před publikací AI-generovaného obsahu ověřit, že klíčová faktická tvrzení mají nízkou sémantickou entropii. Vysoká entropie znamená označit výstup pro lidskou kontrolu. Nízká entropie neznamená „jistě správně“, ale „model je konzistentní“.

AI asistenti v medicíně a právu. Odpovědi na otázky s vysokou cenou chyby — diagnóza, právní rada — projít filtrem semantic entropy. Odpovědi s vysokou entropií neprezentovat jako jisté. Označit je k revizi odborníkem.

Vícemodelové workflow. Sémantická entropie jako součást rozhodovacího procesu „kdy eskalovat”. Pokud jeden model má vysokou entropii u faktické otázky, konzultovat druhý model nebo lidského experta. Eskalace je drahá — sémantická entropie pomáhá rozhodnout, kdy se vyplatí.

Nástroje jako CrossChat implementují varianty této logiky. Vícemodelové dotazy přirozeně generují rozmanité odpovědi a skóre shody (consensus score) odráží míru sémantické shody. Vysoká neshoda mezi modely je analogický signál k vysoké sémantické entropii uvnitř jednoho modelu.

Závěr

Sémantická entropie řeší fundamentální problém měření AI nejistoty: odděluje lingvistickou variabilitu od sémantické nejistoty.

Odpověď "42" a "čtyřicet dva" jsou různé tokeny, ale stejný význam — nízká sémantická entropie. Odpověď "42" a "43" jsou podobné tokeny, ale různý význam — vysoká sémantická entropie.

Pro praktické použití: vysoká sémantická entropie je varovný signál, ne definitivní verdikt. Signalizuje, že model není stabilní ve svém „přesvědčení“ — ať už proto, že neví, nebo proto, že otázka je legitimně nejednoznačná.

Kombinace s externím ověřením — jiný model, primární zdroj, lidský expert — poskytuje robustnější odpověď než spoléhání na jedinou metriku. Sémantická entropie je nástroj v sadě nástrojů, ne finální arbitr pravdy.

Zdroje

Farquhar, S. et al. (2024). Detecting hallucinations in large language models using semantic entropy. Nature. DOI: 10.1038/s41586-024-07421-0.
Lin, S.-C. et al. (2024). Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs. arXiv:2406.15927. DOI: 10.48550/arXiv.2406.15927.
Kuhn, L. et al. (2023). Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation. ICLR 2023. arXiv:2302.09664. DOI: 10.48550/arXiv.2302.09664.
Wang, X. et al. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171. DOI: 10.48550/arXiv.2203.11171.

Historie úprav

Koncept: Claude Code + Anthropic Sonnet 4.6 Verze 1: Claude Code + Anthropic Sonnet 4.6 Verze 2: Codex + GPT-5.2

Jazyková revize (2026-02-25, Codex + GPT-5): opraveny mluvnické chyby, zpřesněna stylistika a omezeny zbytečné anglicismy; technické termíny ponechány podle kontextu. Kvalitativní audit (2026-03-23, Claude Code + Claude Opus 4.6): přidán Rámec tvrzení, ověřeny zdroje, jazyková úprava.