LLM Council: jak pět modelů hlasuje a jak vypočítat výsledek

Pět modelů dostane stejnou otázku. Tři souhlasí, jeden se zdržel, jeden nesouhlasí. Jak spočítáte výsledek?

Prostá většina nestačí. Záleží na tom, jak jistý si byl každý "volič". Jak moc se lišily jejich argumenty. A zda outlier nechytil něco, co ostatní přehlédli.

Rámec tvrzení

Co článek tvrdí: Vážené hlasování více modelů překonává prostou většinu. Diverzita modelů (různí výrobci, různá data) je důležitější než jejich počet. Odlehlé hlasy mohou být cennější než majoritní výsledek. Celý princip stojí na Condorcetově porotním teorému.

Na čem to stojí: Condorcetův teorém (1785) jako matematický základ; Wang et al. (2024) -- Mixture-of-Agents architektura; Cui et al. (2025) -- Free-MAD princip bez vynucené konvergence.

Kde je to zjednodušení: Condorcetův teorém vyžaduje nezávislost a kompetenci voličů -- u LLM trénovaných na podobných datech je nezávislost sporná. Článek nepředkládá vlastní empirická měření. Klasifikace typů outlierů je konceptuální rámec, nikoli empiricky validovaná taxonomie.

Agregace úsudků není nový problém. Jury systém, demokratické hlasování, vědecký peer review, komisní rozhodování — lidé řeší agregaci rozdílných úsudků tisíce let. Matematika sociální volby formalizovala podmínky, za kterých agregace funguje, a podmínky, za kterých selhává.

LLM Council přenáší tento princip do AI: místo jednoho modelu se ptáme více modelů a jejich odpovědi agregujeme. Ale naivní implementace — prostá většina — ztrácí většinu hodnoty. Záleží na diverzitě „voličů“, na míře jejich jistoty a na interpretaci neshody.

Tento článek rozebírá matematiku LLM Councilu: proč vážené hlasování překoná prostou většinu, jak odhalit odlehlé modely (outliery) a kdy jim naslouchat, a proč diverzita modelů — ne jejich počet — určuje kvalitu výstupu.

Condorcetův teorém jury: matematika, kdy agregace funguje

Marquis de Condorcet v roce 1785 formalizoval intuici, která stojí za porotním systémem: pokud se každý člen poroty rozhoduje správně ve více než polovině případů a rozhodnutí jsou navzájem nezávislá, pravděpodobnost správného kolektivního rozhodnutí roste s počtem porotců. S dostatečně velkým počtem nezávislých voličů konverguje k jistotě.

Platí to i pro AI: pokud je každý model „lepší než náhoda“ na daném typu otázky a odpovědi jsou skutečně nezávislé, agregace zlepší výsledek oproti jednomu modelu.

Ale teorém platí pouze za dvou podmínek. Obě jsou kritické.

Podmínka nezávislosti. Hlasování musejí být skutečně nezávislá. Pokud modely sdílejí trénovací data nebo hodnotový rámec, jejich odpovědi jsou korelované — agregace pak zesiluje sdílená zkreslení, místo aby je zprůměrovala. Pět modelů trénovaných na podobných datech a se stejnými preferenčními postupy není pět nezávislých voličů. Je to jeden pohled, pětkrát zopakovaný s drobnými variacemi.

Podmínka kompetence. Každý model musí být v dané doméně „lepší než náhoda“. Pokud je model na konkrétním typu otázky systematicky špatný — například u specializované lékařské otázky model bez zdravotnického tréninku — jeho zahrnutí do Councilu zhorší výsledek. Agregace nekompetentních voličů nevytváří kompetentní výsledek.

Praktický důsledek: před sestavením LLM councilu si ověřte dvě věci. Za prvé, jsou modely skutečně různorodé — různí výrobci, různá trénovací data, různé alignment postupy? Za druhé, jsou všechny modely kompetentní pro typ otázky, na kterou se ptáte?

Pokud ne, council poskytne zdánlivou jistotu bez skutečné epistemické hodnoty.

Vážené hlasování: jak zohlednit míru jistoty

Prostá většina ignoruje, jak jistý si je každý model svou odpovědí. Vážené hlasování, kde váha odráží míru jistoty (confidence), získá ze stejného počtu odpovědí více informací.

Zvažte dva scénáře:

Scénář A: Tři modely odpovídají "doporučuji X" s vysokou jistotou. Dva modely odpovídají "nedoporučuji X" s nízkou jistotou. Prostá většina: X. Vážené hlasování: X, s výraznou převahou.

Scénář B: Tři modely odpovídají "doporučuji X" s nízkou jistotou. Dva modely odpovídají "nedoporučuji X" s vysokou jistotou. Prostá většina: stále X. Vážené hlasování: X má nižší vážený součet než ne-X. Výsledek se může obrátit.

Prostá většina dá v obou scénářích stejný výsledek. Vážené hlasování rozlišuje situace, kdy jisté argumenty menšiny přehluší nejistou většinu.

Jak měřit confidence u LLM? Přímé dotázání funguje jako hrubá aproximace — „Jak jistý si touto odpovědí na škále 1–10?“ Konzistentnost při opakovaném vzorkování je robustnější zástupný ukazatel: model, který při deseti vzorcích vždy odpovídá stejně, je pravděpodobně jistější než model, jehož odpovědi se liší. Pokud API poskytuje pravděpodobnosti tokenů, lze je použít přímo.

Konkrétní příklad výpočtu:

| Model | Odpověď | Confidence | |-------|---------|-----------| | A | Doporučuji X | 8/10 | | B | Doporučuji X | 6/10 | | C | Doporučuji X | 9/10 | | D | Nedoporučuji X | 7/10 | | E | Nedoporučuji X | 4/10 |

Vážený součet pro X: 8 + 6 + 9 = 23. Pro ne-X: 7 + 4 = 11. Výsledek X je silnější, než ukazuje prostá většina (3:2 vs. 23:11).

Vážené hlasování je asymetricky cenné u otázek, kde je jeden model extrémně jistý a zbývající nejistí — v takovém případě může jistý outlier legitimně přehlasovat nejistou majoritu.

Detekce odlehlých odpovědí: kdy jeden model zachrání celý council

Outlier — model s minoritní odpovědí — není automaticky chybou. Někdy zachytí perspektivu nebo fakt, který ostatní čtyři přehlédli. Klíčem je rozlišit hodnotný odlehlý hlas od chybného.

Ve standardním hlasovacím procesu je výsledek odlehlého hlasu přehlasován většinou. V epistemickém kontextu ale může být právě odlehlý hlas nejcennější částí výstupu. Jeden expert, který vidí problém jinak než ostatní čtyři, může mít pravdu.

Existují čtyři typy odlehlých hlasů:

Chybný outlier. Model se dopustil zásadního faktického omylu, který ostatní čtyři neudělali. Lze ho identifikovat křížovým ověřením v pramenech. Tento outlier je správně přehlasován.

Stylový outlier. Model reaguje jiným formátem nebo délkou, ale obsahově souhlasí s většinou. Pro hlasování je irelevantní — neměl by ovlivnit váhu výsledku.

Perspektivní outlier. Model vidí otázku z odlišného úhlu — jiný hodnotový rámec, jiný kulturní kontext, jinou interpretaci klíčového pojmu. Tato informace je hodnotná a přehlasování ji ztratí. Namísto ignorování by měla být explicitně zdokumentována vedle výsledku většiny.

Expertní outlier. Model má v dané doméně specializovaná trénovací data a vidí detail, který ostatní přehlédli. Přehlasování tohoto outlieru znamená ztrátu expertního pohledu.

Praktický postup: Neinterpretujte výsledek Councilu jako „výsledek hlasování bez dalšího“. Dokumentujte výsledek outlieru vedle výsledku většiny. Když model nesouhlasí, zeptejte se ho, proč — jeho argument může být silnější, než se zdá na první pohled. Posuďte, zda jde o faktické, hodnotové nebo perspektivní rozlišení. Faktické neshody jsou řešitelné křížovým ověřením. Hodnotové neshody jsou informací o tom, kde problém nemá jednoznačnou odpověď.

Výstup LLM Councilu je „výsledek hlasování + dokumentace neshody“. Neshoda je informace, ne šum.

Diverzita modelů jako základ kvality

Pět kopií stejného modelu dá horší výsledek než pět různých modelů od různých výrobců. Diverzita — ne počet — určuje kvalitu agregace.

Výzkum v oblasti Mixture-of-Agents (Wang et al., 2024) ukazuje, že architektura s různorodými modely produkuje kvalitnější výstupy než homogenní sada. Různí výrobci přinášejí různá trénovací data, různé firemní kultury, různé bezpečnostní přístupy a různé preference při tréninku. Tato diverzita vytváří skutečně odlišné perspektivy, které mají epistemickou hodnotu.

Typy diverzity v LLM councilu:

Diverzita výrobce. OpenAI, Anthropic, Google, Mistral — různé kultury, různé bezpečnostní filozofie, různé trénovací datové zdroje. Tato diverzita je nejsilnější zárukou skutečné nezávislosti.

Diverzita velikosti. Menší modely mohou být přesnější v úzkých doménách, kde jsou specializované; větší modely vidí širší kontext. Kombinace přináší různé úrovně granularity.

Diverzita specializace. Model trénovaný na právních textech vs. model trénovaný na lékařské literatuře mají různé expertní základny. U doménově specifických otázek může být specializace cennější než obecná kompetence.

Diverzita alignment filozofie. Modely s různými bezpečnostními omezeními přinášejí různé hodnotové rámce a různé způsoby zacházení s nejednoznačnými otázkami.

Princip Free-MAD (Cui et al., 2025) navrhuje variantu, kde council netlačí na konsensus. Modely prezentují různé pozice a finální verdikt dává samostatný hodnotitel. Tím se zabraňuje falešné konvergenci — situaci, kdy modely sjednotí své odpovědi ne proto, že přijaly lepší argument, ale proto, že podlehly skupinovému tlaku.

Při sestavování LLM councilu: optimalizujte diverzitu, ne počet. Tři skutečně různorodé modely jsou cennější než pět homogenních.

Typické způsoby selhání LLM Councilu

LLM Council selhává předvídatelně. Porozumění typickým způsobům selhání je nutnou podmínkou správného použití.

Způsob selhání 1: Korelované chyby. Všechny modely sdílejí trénovací mezeru — konsensus zesiluje sdílenou slepou skvrnu (podrobněji viz Neviditelné echo komory AI). Typický příznak: všechny modely souhlasí sebejistě u otázky, kde by legitimně měla existovat neshoda.

Způsob selhání 2: Falešná konvergence. Modely, které nejprve nesouhlasí, se sjednotí po vzájemném přečtení odpovědí — ne proto, že přijaly lepší argument, ale protože podlehly sociálnímu tlaku konvergence. Řešení: anonymizovat odpovědi nebo použít vícekolovou debatu s explicitní adversariální rolí.

Způsob selhání 3: Špatná volba hlasovacího schématu. Otázka s jedinou správnou odpovědí (faktická) vyžaduje většinové hlasování. Otázka s více legitimními odpověďmi (hodnotová, perspektivní) vyžaduje prezentaci diverzity, ne jeden výsledek. Použití nesprávného schématu pro nesprávný typ otázky je zásadní chyba.

Způsob selhání 4: Nekompetentní voliči. Modely, které nejsou kompetentní v dané doméně, snižují, ne zvyšují, kvalitu agregace. Condorcetův teorém předpokládá, že každý volič je „lepší než náhoda“ — pokud to neplatí, agregace je kontraproduktivní.

Checklist před spuštěním Councilu: Jsou modely skutečně různorodí? Jsou kompetentní pro typ otázky? Odpovídá schéma agregace povaze otázky?

Za jakou cenu?

LLM Council je komplexnější, dražší a pomalejší než přístup s jedním modelem. Pět modelů znamená přibližně pětinásobné náklady na tokeny, vyšší latenci a vyšší koordinační režii. A výsledek stále musí interpretovat člověk.

Investice se vrátí u specifických typů otázek: těch s relevantní nejistotou, kde jeden model může chybovat; strategických rozhodnutí, kde různé perspektivy mají hodnotu; a faktických cross-checků, kde cena chyby překoná cenu komplexity.

Nevyplatí se pro rutinní dotazy, rychlé dohledávání nebo situace, kde je latence kritická. LLM Council není náhrada za jeden model — je to eskalace pro otázky, kde cena chyby převyšuje cenu komplexity.

Matematika má podmínky

LLM Council funguje. Má matematický základ — Condorcetův porotní teorém aplikovaný na AI. Ale funguje pouze za podmínek, které musejí být splněny: skutečná nezávislost modelů, jejich kompetence v dané doméně a správný výběr schématu agregace.

Selhává předvídatelně, když jsou tyto podmínky porušeny. Korelované chyby, falešná konvergence, nekompetentní voliči — to jsou body selhání, které naivní implementace nezachytí.

Porozumět matematice agregace je stejně důležité jako samotné hlasování. Principy LLM Councilu — vážené hlasování, analýza odlehlých hlasů a diverzita modelů — jsou použitelné v jakémkoli vícemodelovém přístupu. CrossChat je implementuje jako strukturovaný workflow; principy jsou ale přenositelné na jakoukoli sadu modelů, kterou sestavíte ručně.

Zdroje

Wang, T. et al. (2024). Mixture-of-Agents Enhances Large Language Model Capabilities. arXiv:2406.04692. DOI: 10.48550/arXiv.2406.04692
Cui, Y. et al. (2025). Free-MAD: Consensus-Free Multi-Agent Debate. arXiv:2509.11035. DOI: 10.48550/arXiv.2509.11035
Condorcet, M. de (1785). Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix. (Historický zdroj; porotní teorém jako teoretický rámec.)

Historie úprav

Koncept: Claude Code + Anthropic Sonnet 4.6 Verze 1: Claude Code + Anthropic Sonnet 4.6 Verze 2: Codex + GPT-5.2

Jazyková revize (2026-02-25, Codex + GPT-5): opraveny stylistické neobratnosti, mluvnické detaily a zbytečné anglicismy; terminologie metod ponechána. Kvalitativní audit (2026-03-23, Claude Code + Claude Opus 4.6): přidán Rámec tvrzení, ověřeny zdroje, jazyková úprava.