Consensus Score 73 % vs. 91 %: jak číst číslo, které měří neshodu AI

Číslo 73 % neznamená, že „73 % odpovědi je pravda“. Consensus Score není pravděpodobnost pravdivosti. Je to signál: jak moc se modely shodují na výstupu.

Ten signál je užitečný. Jen ho musíte číst jako diagnostiku: s kontextem, s hypotézami a s dalším testem, pokud jde o vysoké riziko.

Rámec tvrzení

Co článek tvrdí: Consensus Score měří shodu modelů, nikoli pravdivost odpovědi. Nízká shoda signalizuje nejasnost zadání, nedostatek dat nebo hodnotový spor. Vysoká shoda může být ozvěnová komora.

Na čem to stojí: Wang et al. (2022) self-consistency v chain-of-thought, Wu et al. (2025) řízená studie multi-agentní debaty, obecné principy diagnostické interpretace.

Kde je to zjednodušení: Článek pracuje s kvalitativními pásmy (nízká/střední/vysoká shoda) bez přesných prahových hodnot. Mechanismus výpočtu skóre závisí na konkrétní implementaci a článek ho nespecifikuje.

1) Nejdřív si ujasni, co „shoda“ měří (a co neměří)

Consensus Score typicky měří podobnost odpovědí (nebo jejich klíčových tvrzení) napříč panelem. To je rozdíl oproti otázce „je to pravda?“.

Shoda je dobrá jako:

indikátor, že úloha je jednoduchá pro daný panel,
nebo indikátor, že modely sdílejí stejné zkreslení (bias),
nebo indikátor, že otázka je tak nejasná, že každý model jde jinam.

Pokud vás zajímá mechanika výpočtu v CrossChat, začněte u produktového vysvětlení Consensus Score. Pak se vraťte sem: tady řešíme interpretaci.

2) Když je shoda nízká: tři nejčastější příčiny

Nízká shoda je diagnostická křižovatka. Často to spadá do jedné z těchto kategorií.

(a) Otázka je nejasná

Modely se hádají, protože dostaly jiné zadání. Typický signál: každá odpověď řeší trochu jiný problém, ale všechny znějí rozumně.

První reakce: zúžit otázku. Přidejte kontext, definice, kritérium úspěchu. Ujasněte, jestli chcete doporučení, vysvětlení, nebo výběr z možností.

(b) Úloha je fakticky těžká nebo potřebuje data

Modely se rozcházejí, protože nemají pevnou referenční realitu (ground truth). Bez externích dat model sahá po nejpravděpodobnějších vzorcích — a ty mohou být různé.

Reakce: přidejte ověření. Nástroj (search/DB/test), nebo strukturované ověřovací otázky (CoVe), nebo kontrolu citací.

(c) Úloha je normativní nebo hodnotová

U některých otázek není jedna pravda. Je tam kompromis: bezpečnost vs. rychlost, férovost vs. efektivita, riziko vs. odměna.

Reakce: změňte cíl. Místo “jaká je odpověď” se ptejte “jaké jsou možnosti a jejich důsledky”.

3) Diagnostika: je to spor, nebo jeden model mimo?

Praktická otázka: máte dva tábory, nebo jen jeden odlehlý hlas (outlier)?

Zkuste tyhle kroky:

Najděte odlehlou odpověď (outlier). Je jedna odpověď úplně jinde než ostatní?
Požádejte o steelman. Ať každý model shrne nejsilnější argument protistrany.
Vyžádejte ověřitelné důvody. U faktů: zdroj, test, nebo konkrétní proti-příklad.

Pokud se ukáže, že jeden model je mimo bez dobrého důvodu, neznamená to automaticky, že ostatní mají pravdu. Znamená to, že máte kandidáta na chybu.

4) Co dělat prakticky: čtyři reakce, které fungují

1) Upřesni otázku

Ambiguita je nejlevnější zdroj falešného sporu. Doplňte:

co přesně chcete rozhodnout,
jaké jsou tvrdé limity,
jaké jsou vaše preference,
co už víte a co nevíte.

2) Přidej ověření

Když je cena chyby vysoká, shoda nestačí. Přidejte krok, který vynutí externalitu: zdroj, test, dotaz do systému.

3) Změň role v panelu

Pomůže, když modely nedělají totéž. Jeden generuje varianty, druhý je kritik, třetí kontrolor faktů a čtvrtý je ďáblův advokát.

4) Přepni workflow

Někdy není problém v otázce, ale v metodě. Rychlé rozhodnutí “jeden model vs. workflow” vám ušetří iterace.

5) Když je shoda vysoká: proč to pořád nemusí být pravda

Vysoká shoda je uklidňující. Zároveň je to past.

Modely často sdílejí podobná tréninková data i podobné slepé skvrny. Proto je užitečné položit jednu nepříjemnou otázku:

Co by muselo být pravda, aby tahle odpověď byla špatně?

Pokud na ni panel neumí odpovědět konkrétně, máte hladký konsensus bez kontrolního bodu.

Časté chyby

Brát skóre jako pravděpodobnost pravdy.
Míchat dohromady faktické a hodnotové otázky.
Nechat se ukolébat hezkým odůvodněním bez ověřitelného kroku.

Rychlý přehled

Použij jednoduché pásmo:

Nízká shoda: upřesni otázku nebo přidej ověření.
Střední shoda: hledej odlehlou odpověď (outlier), dej role, zvaž debatu.
Vysoká shoda: zkus falsifikační otázku a ověř klíčové tvrzení.

Závěr

Consensus Score je užitečný, když ho čtete jako signál procesu, ne jako razítko pravdy. Čím vyšší je cena chyby, tím víc potřebujete kontrolní krok mimo samotnou shodu.

Praktický závěr: Pokud chcete z consensus score udělat praktický nástroj, CrossChat dává smysl tehdy, když vedle čísla máte i workflow, které umí vynutit ověření.

Zdroje

CrossChat blog (2026). Consensus Score v CrossChat: co přesně znamená číslo 0–100 %. /blog/consensus-score-crosschat-guide
Wang et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171 DOI: 10.48550/arXiv.2203.11171
Wu et al. (2025). Can LLM Agents Really Debate? A Controlled Study of Multi-Agent Debate in Logical Reasoning. arXiv:2511.07784 DOI: 10.48550/arXiv.2511.07784

Historie úprav

Koncept: Codex CLI + GPT-5.2 Verze 1: Codex CLI + GPT-5.2

Jazyková revize (2026-02-25, Codex + GPT-5): upravena stylistika, sjednocena terminologie a omezeny zbytečné anglicismy; interpretační logika zůstává zachována. Kvalitativní audit (2026-03-23, Claude Code + Claude Opus 4.6): přidán Rámec tvrzení, ověřeny zdroje, jazyková úprava.