Consensus Score v CrossChat: co přesně znamená číslo 0–100 %

Workflow skončí. Na obrazovce se objeví číslo: 84 %. Co to znamená — čtyři modely z pěti souhlasí? Nebo sémantická podobnost odpovědí je 84 %? A hlavně: co s tím číslem dělat?

Consensus Score je navržen jako rychlý signál spolehlivosti. Bez pochopení, co měří, může být spíš matoucí než užitečný.

Rámec tvrzení Co článek tvrdí: Consensus Score kvantifikuje sémantickou shodu mezi odpověďmi modelů a slouží jako rychlý triage signál spolehlivosti, nikoli jako finální verdikt. Na čem to stojí: Koncept sémantické entropie pro detekci halucinací (Farquhar et al., 2024, Nature). Interpretační tabulka a doporučení vycházejí z obecných principů agregace expertních názorů. Kde je to zjednodušení: Konkrétní prahové hodnoty (90 %, 70 % atd.) jsou orientační, nikoliv empiricky kalibrované na datech CrossChat. Článek správně upozorňuje na limity (systematická chyba, echo effect), ale reálná distribuce skóre závisí na implementaci.

Co Consensus Score měří

Consensus Score kvantifikuje míru sémantické shody mezi odpověďmi modelů. Ne prostý počet souhlasících, ale jak moc se odpovědi překrývají ve významu.

Vstup: několik odpovědí od různých modelů na tutéž otázku. Proces: sémantické porovnání párů odpovědí pomocí embedding similarity nebo LLM judge. Výstup: skóre 0–100 %, kde 100 % znamená, že všechny odpovědi jsou sémanticky ekvivalentní, a 0 % znamená kompletní divergenci.

Rozdíl od prostého hlasování: "3 z 5 souhlasí" neříká, jak moc se liší ti dva. Consensus Score zachycuje i částečnou shodu. Dvě odpovědi mohou souhlasit na 90 % obsahu a lišit se v detailu — to je jiná situace než když souhlasí na 50 %.

Jak číst hodnoty

Různé hodnoty signalizují různé akce. Vysoký score není vždy dobrý. Nízký není vždy špatný.

| Score | Signál | Doporučená akce | |-------|--------|-----------------| | 90–100 % | Silná shoda | Vysoká důvěra pro faktické otázky; u interpretačních zvážit, zda není echo | | 70–89 % | Většinová shoda | Spolehlivé pro rutinní otázky; zkontrolovat, kde je divergence | | 50–69 % | Částečná shoda | Signál nejistoty; explorovat divergentní odpovědi | | 30–49 % | Významná neshoda | Téma kontroverzní nebo modely nemají informace; ověřit primárním zdrojem | | 0–29 % | Kompletní divergence | Modely odpovídají na různé interpretace; přeformulovat nebo akceptovat nejistotu |

Důležité: score závisí na typu otázky. 70 % na faktické otázce je varovný signál — modely by měly souhlasit víc. 70 % na strategické otázce může být legitimní diverzita perspektiv — není jedna správná odpověď.

Kdy Consensus Score použít

Score je nejužitečnější jako rychlý triage signál — ne jako finální verdikt.

Rychlé rozhodnutí. Před předáním AI odpovědi dál — kolegovi, do dokumentu, do kódu — zkontrolovat, zda modely souhlasí. Vysoký score = nižší riziko trapné chyby.

Identifikace problémů. Nízký score na zdánlivě jednoduché otázce je signál k prověření. Buď otázka není tak jednoduchá, nebo modely něco nevědí.

Prioritizace review. Odpovědi s vysokým score vyžadují méně lidské kontroly než odpovědi s nízkým. Zaměřte pozornost tam, kde je shoda slabá.

Kdy Score nestačí

Consensus Score má limity. Nenahrazuje kritické myšlení ani ověření primárním zdrojem.

Systematická chyba. Pokud všechny modely sdílí stejnou slepou skvrnu — všechny trénovány na stejných chybných datech — score bude vysoký, ale odpověď může být špatná. Shoda není důkaz pravdy.

Recent events. Otázky po knowledge cutoff všech modelů mají často vysoký score, protože všechny modely "nevědí" shodně. Shodné hádání není shoda na faktech.

Echo effect. Na value-laden otázkách může vysoký score reflektovat, že všechny modely prošly podobným RLHF tréninkem a odpovídají podobně "diplomaticky" — ne objektivní pravdu.

Vysoký score je nutná, ale ne dostatečná podmínka spolehlivosti. Nízký score je skoro vždy signál k akci.

Praktický příklad

Uživatel se ptá: "Jaký je aktuální kurz EUR/CZK?"

Model A: "Přibližně 25,40 CZK za euro." Model B: "Kurz se pohybuje kolem 25,35 CZK." Model C: "EUR/CZK je momentálně 24,90 CZK."

Consensus Score: ~65 %

Interpretace: Částečná shoda. Modely souhlasí na řádu — 25 CZK — ale liší se v detailech. Signál: kurz je volatilní, nebo modely mají různé knowledge cutoffs, nebo jeden z nich halucinuje.

Akce: ověřit aktuální kurz na ČNB nebo finančním portálu. Score 65 % na numerické otázce říká "nekopíruj slepě".

Závěr

Consensus Score je kvantifikovaná verze intuice "souhlasí modely?" Číslo samo o sobě není verdikt — je to signál, který informuje další akci: důvěřovat, ověřit, nebo přeformulovat.

V CrossChat se Consensus Score zobrazuje automaticky u každého multi-model workflow. Vyzkoušejte na vlastní otázce a sledujte, jak se score mění podle typu otázky a výběru modelů.

Zdroje

• Farquhar, S. et al. (2024). Detecting hallucinations in large language models using semantic entropy. Nature. DOI: 10.1038/s41586-024-07421-0.

Historie úprav

Koncept: Claude Code + Anthropic Sonnet 4.6 Verze 1: Claude Code + Anthropic Sonnet 4.6 Verze 2: Codex + GPT-5.2

Kvalitativní audit (2026-03-24, Claude Code + Claude Opus 4.6): přidán Rámec tvrzení, ověřeny zdroje, jazyková úprava.