Halucinace AI je matematicky nevyhnutelná. Co to znamená pro každého, kdo AI používá

Leden 2024. Výzkumný tým nepublikoval nový benchmark ani metodu, která snižuje halucinace o dalších X %. Publikoval matematický důkaz: LLM jako obecný řešitel bude halucinovat vždy — bez ohledu na velikost modelu, kvalitu tréninku nebo množství dat.

Téma halucinací AI dominuje diskusi od chvíle, kdy se velké jazykové modely dostaly do mainstreamového použití. Každý měsíc přibývají studie hlásající "snížili jsme halucinace o Y %". Každý rok jsou modely přesnější. A přesto chybují — stále, a často způsobem, který je hůř detekovatelný, protože výstup zní plynule a sebejistě.

Nález Xu a kolektivu z ledna 2024 přináší vysvětlení: nejde o inženýrský problém, který se dá opravit lepším tréninkem nebo větší architekturou. Je to matematická vlastnost toho, čím LLM je. Model s konečným počtem parametrů nemůže mapovat nekonečný prostor vypočitatelných funkcí (computable functions). Mezery v této mapě jsou nevyhnutelné. A právě v nich vznikají halucinace.

Tento článek neargumentuje, že AI je nespolehlivá a nepoužitelná. Argumentuje, že správná otázka není "halucinuje tento model?", ale "za jakých podmínek halucinuje — a jak systematicky ověřovat?" Paradigmatický posun od eliminace k řízení nejistoty.

Co přesně Xu et al. dokázali (a co nedokázali)

Matematický důkaz vychází z teorie výpočetní složitosti. Model s konečnou kapacitou — tj. konečným počtem parametrů, konečnou pamětí, konečnými trénovacími daty — nemůže aproximovat nekonečný prostor vstupně-výstupních vztahů, které definují všechny vypočitatelné funkce.

Představte si analogii s Cantorovou diagonální argumentací. Existují otázky, na které správná odpověď leží mimo dosah modelu strukturálně, nikoli jen kvůli nedostatku tréninku. I kdybyste model trénovali donekonečna na všech datech na světě, stále by existovaly kategorie otázek, kde nemá dostatek struktury k tomu, aby odpověď vygeneroval správně.

Xu et al. (2024) tuto intuici formalizují: halucinace není jen inženýrská chyba, kterou „spravíš“ větším modelem nebo více daty. U obecného solveru existují režimy, kde model nemůže garantovat správnost. Důsledek není „LLM jsou k ničemu“, ale že spolehlivost je potřeba řešit jako řízení rizika: ověřování, selektivní eskalace a práce s evidencí, ne slepá důvěra.

Klíčové rozlišení: co model neví versus co model ví, že neví. Halucinace vznikají v prvním případě. Pokud by model dokázal identifikovat mezery ve své znalostní mapě, mohl by říct "nevím" nebo požádat o upřesnění. Místo toho interpoluje — statisticky uhádne nejpravděpodobnější odpověď podle trénovacích dat, i když správná odpověď leží mimo tato data.

Co důkaz nedokázal: že modely jsou nespolehlivé obecně. Neříká, kde přesně mezery leží — to závisí na konkrétním modelu a jeho tréninku. Neimplikuje, že zlepšování nemá smysl — pokrok v přesnosti je reálný, jen asymptota není nula. Toto rozlišení je pro důvěryhodnost argumentu klíčové. Nevyhnutelnost halucinace neznamená nepoužitelnost AI.

Proč to není zpráva o selhání AI

Nevyhnutelnost chyby je vlastností všech informačních systémů, ne jen AI. Lékař s neúplnou anamnézou diagnostikuje se zbytkem nejistoty. Meteorologický model předpovídá počasí s určitou pravděpodobností. Finanční forecast operuje s rizikem. Nikdo neočekává nulovou chybovost od těchto systémů.

Správná otázka nikdy nebyla "jak eliminovat chybu?" Byla vždy "jak s chybou pracovat?"

Meteorologie přijala pravděpodobnostní předpovědi místo deterministických předpovědí v 80. letech minulého století. Meteorologové přestali tvrdit "zítra bude pršet" a začali říkat "pravděpodobnost srážek je 70 %". Přesnost dramaticky vzrostla — ne proto, že by modely přestaly chybovat, ale proto, že začaly kvantifikovat nejistotu.

Medicína má systém diferenciální diagnostiky přesně proto, aby pracovala s nejistotou strukturovaně. Lékař neřekne "máte chřipku" po dvou minutách. Vyloučí závažnější alternativy, zkontroluje symptomy proti databázi, případně nechá udělat další testy. Diferenciální diagnostika je pracovní postup pro práci s nejistotou.

AI si teprve buduje ekvivalentní infrastrukturu. Confidence scores měří sebejistotu modelu u tokenu. Uncertainty quantification kvantifikuje nejistotu ohledně smyslu odpovědi. Vícemodelové ověřování (multi-model verification) kontroluje odpověď nezávisle přes různé modely. Kalibrace měří, jak dobře model umí odhadnout vlastní spolehlivost.

Nález Xu et al. je katalyzátor této změny, ne rozsudek. Potvrzuje, že eliminace halucinací není dosažitelná — a tím legitimizuje práci na systémech pro řízení nejistoty jako plnohodnotnou výzkumnou agendu, ne dočasné opatření "dokud to neopravíme".

Paradigmatický posun — co se změnilo v AI výzkumu po lednu 2024

Komunita přestala hledat "hallucination-free model" a začala budovat systémy pro řízení nejistoty. To je zásadní strukturální změna v přístupu ke spolehlivosti AI — viditelná v tom, co se publikuje, co se měří, co se považuje za pokrok.

Tohle je důvod, proč se oblast posouvá od "eliminuj halucinace" k "řiď nejistotu". Praktický výzkum se soustředí na měřitelné signály a ověřitelné pracovní postupy: odhad nejistoty, křížové ověření napříč nezávislými modely, kontrolu s využitím retrieval-augmented přístupu a ověřování citací (existence + podpora tvrzení).

Pro uživatele AI to znamená: nástroje pro práci s nejistotou jsou nyní legitimní součástí workflow, ne obezřetné opatření paranoiků. Vícemodelové ověřování není přehnané. Sledování consensus score není zbytečná metrika. Žádání modelu o vyjádření nejistoty není známka slabého promptu. To vše jsou standardní součásti práce s nástrojem, který matematicky nemůže být perfektní.

Kdy halucinace nevadí a kdy je kritická

Halucinace v brainstormingu je irelevantní. Halucinace v právní analýze je kritická. Správná metrika není frekvence chyby — je to cena chyby.

Pokud používáte AI k prvnímu draftu kreativního textu, halucinace vám nevadí. Generujete ideje, hledáte formulace, explorujete možnosti. Pokud model vymyslí neexistující citát jako inspiraci, nic se neděje — text stejně editujete. Riziko je nulové.

Pokud používáte AI k vytvoření právního memoranda, halucinace je katastrofa. Právník v USA v roce 2023 citoval v dokumentu předloženém soudu šest rozsudků vygenerovaných ChatGPT. Všech šest bylo vymyšlených. Soud to odhalil. Právník čelil disciplinárnímu řízení. Cena chyby: reputace, licence, případně žaloba od klienta za profesní nedbalost.

Pokud používáte AI k medicínské diagnostice, halucinace může být fatální. Lékař, který důvěřuje AI výstupu bez verifikace, riskuje bezpečnost pacienta.

Přístup rozvrstvený podle rizika znamená kategorizovat použití AI podle ceny chyby:

Nízké riziko: Brainstorming, návrhy textů, explorativní analýza, generování příkladů. Halucinace je akceptovatelná, verifikace není nutná.

Střední riziko: Výzkumné sumarizace, obchodní analýzy, reporty pro interní použití. Halucinace je nechtěná, ale opravitelná. Strukturované ověřování je doporučené, ale ne kritické.

Vysoké riziko: Právní dokumenty, medicínská rozhodnutí, finanční reporty, publikované výzkumy. Halucinace může mít vážné důsledky. Vícemodelové ověřování a externí kontrola faktů jsou povinné.

Frekvence chyby je sekundární. Model s 5% chybovostí ve vysoce rizikovém kontextu je nepoužitelný. Model s 20% chybovostí v nízkorizikovém kontextu je perfektně funkční.

Tři principy pro práci s nevyhnutelnou nejistotou

Diverzifikace zdrojů, kalibrace sebejistoty a strukturované ověřování transformují nevyhnutelnost halucinací z rizika na řiditelnou proměnnou.

Princip 1 — Diverzifikace

Více nezávislých modelů snižuje korelovanou chybu. Jeden model může halucinovat u specifické kategorie otázek kvůli trénovacím datům. Dva nezávislé modely pravděpodobně nesdílejí stejnou mezeru ve znalostní mapě.

Self-Consistency (Wang et al., ICLR 2023) aplikuje tento princip na jediný model: generuje 5–40 nezávislých uvažovacích cest (reasoning paths) pomocí teplotního vzorkování a bere většinový konsensus. Na benchmarku GSM8K (matematické úlohy) zvýšila přesnost o 17,9 % oproti standardnímu Chain of Thought. Efekt funguje i tehdy, když standardní CoT selže — diverzita cest k odpovědi odhalí chyby, které jediná nejlepší cesta přehlédne.

Multi-Agent Debate (Du et al., 2023) jde dál: různé instance LLM iterativně argumentují pro a proti odpovědi přes několik kol. Heterogenní modely (GPT-4 + Claude + Gemini) bývají silnější než homogenní panel (3× stejná rodina modelu). Každý model má jiné silné stránky, jiné slepé skvrny a jiná trénovací data. Debata mezi nimi může zachytit chyby, které by všichni jednotlivě přehlédli.

Prakticky: pro otázky se středním a vysokým rizikem použijte minimálně dva nezávislé modely. Pokud se neshodnou, hledejte příčinu neshody — často odhalí předpoklad, který jeden model správně zpochybnil.

Princip 2 — Kalibrace

Sledujte, kdy model vyjadřuje nejistotu — a berte to vážně. Epistemická skromnost (epistemic humility) je diagnostický signál.

Model, který říká "zdá se", "pravděpodobně", "nejsem si jistý", vyjadřuje kalibrovanou nejistotu. Takové modely jsou spolehlivější než modely, které nikdy nepochybují. Práce o sycophancy a preference optimalizaci ukazují, že alignment může tlačit modely k sebejistému, „souhlasnému“ tónu i v situacích, kde by měly uvést výhrady.

Prakticky: pokud model váhá, nezaměňujte to za slabost. Je to signál, že otázka leží blízko mezery ve znalostní mapě. Ověřte odpověď nezávisle.

Princip 3 — Strukturované ověřování

Chain of Verification (Dhuliawala et al., Meta AI, ACL 2024) aplikuje systematický proces: (1) vygeneruj výchozí odpověď, (2) vygeneruj ověřovací otázky, (3) odpověz na ně nezávisle (kritické — nezávislost zabraňuje přenosu zkreslení), (4) porovnej odpovědi a oprav rozpory.

Na otázkách typu seznamů z Wikidat (např. "vypiš všechny laureáty Nobelovy ceny za fyziku v letech 2010–2020") CoVe zlepšila přesnost (precision) z 0,17 na 0,36 a snížila halucinace z 2,95 na 0,68 na dotaz. Technika nemůže zachytit logicky konzistentní, ale fakticky chybné uvažování — ale zachytí většinu sebejistých chybných odpovědí s vymyšlenými fakty.

Není třeba ověřovat všechno. Ověřujte jen tam, kde to cena chyby ospravedlní (viz sekce 4 — úrovně rizika). Pro nízkorizikové použití stačí jeden model a důvěra. Pro vysoce rizikové použití je CoVe nebo vícemodelová křížová kontrola povinným krokem.

Nástroje jako CrossChat tyto principy implementují strukturovaně — místo ručního opakování dotazů přes tři různé modely v různých chatovacích oknech dostanete workflow, které automatizuje diverzifikaci, měří consensus score jako proxy metriku pro kalibraci a poskytuje transparentní výstup jednotlivých kroků pro verifikaci.

Kontraargument — modely se přece zlepšují. Proč to řešit?

Nejčastější námitka: "GPT-5 halucinuje méně než GPT-3, takže trend míří k nule. Za pár let to bude vyřešené." Tato extrapolace je matematicky neopodstatněná.

Zlepšování přesnosti a přibližování k nule halucinací jsou různé věci. Platí první, ne druhé. GPT-4 je přesnější než GPT-3 na většině benchmarků — nikdo to nepopírá. Ale asymptota není nula. Důkaz Xu et al. ukazuje, že mezery v mapě budou existovat vždy, jen se mohou přesunout.

Nature studie z října 2024 potvrdila scaling paradox: větší modely generují přesvědčivější špatné odpovědi. Frekvence halucinací neklesá lineárně se škálováním — jen se stávají těžší k detekci. Plynulejší text, autoritativnější tón, sofistikovanější formulace. Chyba zní jako pravda.

SourceCheckup (Nature Communications, 2025) testoval citační přesnost GPT-4o s retrievalem (RAG) — nastavení s přímým přístupem k aktuálním zdrojům. Výsledek: ~30 % tvrzení nebylo plně podpořeno citovanými zdroji. Ne proto, že by model neměl přístup k informacím, ale proto, že interpoluje mezi zdroji způsobem, který zavádí tvrzení, která tam nejsou.

Zlepšení existuje. Asymptota není nula. Hranici pro "dostatečně spolehlivý" musí definovat uživatel podle svého případu použití — ne model, ne výrobce. GPT-5 může být dostatečně dobrý pro vaše nízkorizikové použití bez ověřování. Stále nebude dostatečně dobrý pro vysoce rizikové použití bez systematické verifikace.

Toto je dospělý vztah k AI nástrojům. Ne "nevěřím AI", ale "rozumím limitům AI a používám ho podle toho".

Co s tím

Rozděl svá AI použití do tříd podle ceny chyby: brainstorming (halucinace OK), analytická práce (ověřování doporučené), rozhodnutí s důsledky (vícemodelová verifikace povinná). Pro každou třídu nastav odpovídající úroveň kontroly.
Ber vážně, když model váhá. Výrazy jako "zdá se", "pravděpodobně", "nejsem si jistý" nejsou stylová konvence — jsou to signály kalibrované nejistoty. Modely, které je používají, jsou diagnosticky spolehlivější než modely, které nikdy nepochybují.
Ověřuj přes neshodu, ne přes souhlas. Pokud tři modely souhlasí, zkontroluj, zda nesouhlasí proto, že všechny mají pravdu, nebo proto, že všechny sdílejí stejnou trénovací chybu. Neshoda je informace — říká, kde je otázka skutečně nejistá nebo kontroverzní.
Aktualizuj svá očekávání, ne svůj přístup. Halucinace nevymizí. AI nástroje jsou přesto mimořádně výkonné — rychlejší než člověk, levnější než expert, dostupnější než tým konzultantů. Správný rámec je řízení rizika, ne nedůvěra nebo slepá víra.

Zdroje

Xu, Z. et al. (2024). Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817. DOI: 10.48550/arXiv.2401.11817.
Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958. DOI: 10.48550/arXiv.2109.07958.
Lin, S.-C. et al. (2024). FLAME: Factuality-Aware Alignment for Large Language Models. arXiv:2405.01525. DOI: 10.48550/arXiv.2405.01525.
Sharma, M. et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548. DOI: 10.48550/arXiv.2310.13548.
Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495. DOI: 10.48550/arXiv.2309.11495.
Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171. DOI: 10.48550/arXiv.2203.11171.
Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325. DOI: 10.48550/arXiv.2305.14325.
Wang, H. et al. (2025). An automated framework for assessing how well LLMs cite relevant medical references. Nature Communications. DOI: 10.1038/s41467-025-58551-6.
Rooein, D. et al. (2024). SourceCheckup: Detecting reference hallucinations in large language models. arXiv:2402.02008. DOI: 10.48550/arXiv.2402.02008.

Publikováno: 3. března 2026 Kategorie: AI spolehlivost, halucinace, vícemodelové ověřování Doporučené další čtení: Scaling paradox: silnější AI model dělá sebejistější chyby · Proč GPT-4, Claude a Gemini dávají různé odpovědi na totéž

Historie úprav

Koncept: Claude Code + Anthropic Sonnet 4.6 Verze 1: Claude Code + Anthropic Sonnet 4.6 Verze 2: Codex + GPT-5.2

Jazyková revize (2026-02-25, Codex + GPT-5): upravena stylistika a terminologie rizika/verifikace; odstraněny zbytečné anglicismy a opraveny překlepy.