"Vyzkoušej sám" je špatný způsob hodnotit AI nástroje

Osobní test je skvělý začátek. Jako závěr evaluace je ale nebezpečně slabý.

Mnoho debat o AI nástrojích stojí na větách typu "zkusil jsem to a nefunguje to" nebo "mně to fungovalo skvěle". Taková zkušenost je reálná. Problém je, že bývá metodologicky křehká: jeden scénář, jeden typ úkolu, jeden způsob zadání a často i předem připravené očekávání.

AI nástroje jsou navíc citlivé na formulaci otázky, kontext a kritéria úspěchu. Rychlý dojem se proto snadno tváří jako evidence, i když jde jen o anekdotu.

Smyslem článku není říct "nikdy netestujte sami". Smyslem je oddělit první orientaci od skutečného hodnocení.

Rámec tvrzení

Co článek tvrdí: Osobní test AI nástroje je dobrý začátek, ale slabý závěr evaluace. Kognitivní zkreslení (potvrzovací, dostupnosti, zobecnění z jednoho případu) systematicky deformují anekdotické hodnocení. Pro důležitá rozhodnutí je potřeba alespoň lehký evaluační rámec s předem definovanými kritérii.

Na čem to stojí: Tversky a Kahneman (1981) o rámování rozhodnutí, Heuer (1999) o analytických procesech, Kahneman et al. (2021) o šumu v úsudku, Liang et al. (2022) o systematické evaluaci jazykových modelů (HELM).

Kde je to zjednodušení: Článek předpokládá, že uživatelé mají kapacitu na strukturovanější evaluaci, což v praxi často neplatí. Navrhovaný „lehký framework" je rozumný, ale jeho účinnost nebyla empiricky testována. Hranice mezi „explorace" a „evaluace" je v praxi plynulá.

Proč je osobní test tak přesvědčivý

Osobní test má tři silné výhody: je rychlý, levný a psychologicky uspokojivý.

Rychlý, protože nepotřebujete připravovat scénáře ani kritéria. Levný, protože nespouštíte širší porovnání. Uspokojivý, protože vidíte konkrétní výstup, který se dá snadno pochválit nebo zesměšnit.

To není známka špatného úsudku. To je běžné lidské chování. Mozek má rád konkrétní příběhy víc než systematické porovnání.

Právě proto je anekdotická evaluace tak přitažlivá. Jen není dostatečně spolehlivá pro důležitá rozhodnutí.

Tři zkreslení, která ničí hodnocení AI nástrojů

Potvrzovací zkreslení (confirmation bias)

Když očekáváte špatný výsledek, často (nevědomě) volíte otázky, na kterých se nástroj snáz rozbije. Když očekáváte dobrý výsledek, vybíráte scénáře, kde vypadá dobře.

U AI je toto zkreslení silnější, protože drobná změna formulace může změnit kvalitu odpovědi. Pak si z jedné ukázky odnesete "důkaz" pro názor, který jste měli už před testem.

Heuristika dostupnosti (availability heuristic)

Jedna extrémně dobrá nebo extrémně špatná ukázka má neúměrně velkou váhu.

Model jednou halucinuje citaci a je "nepoužitelný". Nebo jednou skvěle zachrání složitý návrh a je "geniální". Obojí může být emocionálně pochopitelné, ale evaluačně slabé.

Silné příklady si pamatujeme lépe než reprezentativní průměr. U jazykových modelů je to obzvlášť vidět, protože výstupy bývají přesvědčivé i stylisticky.

Zobecnění z jednoho případu (single-case generalization)

Nejčastější chyba: z jedné úlohy děláme závěr o celém nástroji.

"Na analytiku to neumí" může znamenat:

nástroj je slabý,
zadání bylo vágní,
chyběla kritéria,
testovaný scénář nebyl reprezentativní.

Jeden test umí odhalit konkrétní režim selhání (failure mode). Neumí sám popsat celý profil nástroje.

Proč je problém u AI větší než u běžného softwaru

U klasického softwaru často hodnotíte deterministické chování: export funguje, nebo nefunguje. U AI nástrojů hodnotíte směs více vrstev:

kvalitu modelu,
kvalitu promptu,
vhodnost úkolu,
kvalitu evaluátora,
jasnost kritérií úspěchu.

To znamená, že "nefungovalo mi to" je často příliš hrubý závěr. Není jasné, která vrstva selhala.

Další potíž je záměna "dobrého stylu" za "správný obsah". Hladká odpověď se čte lépe, a proto bývá podvědomě hodnocena jako kvalitnější, i když stojí na slabých předpokladech nebo neověřených tvrzeních.

Právě proto je u AI tak důležité oddělit dojem z práce s nástrojem od evaluace spolehlivosti.

Co dělat místo toho: lehký evaluační framework

Nemusíte stavět výzkumnou laboratoř. Stačí několik jednoduchých pravidel.

1. Oddělte exploraci od evaluace

První kontakt s nástrojem je explorace:

jaké má UX,
jak rychle se s ním pracuje,
zda sedí vašemu stylu práce.

To je legitimní. Jen z toho nedělejte finální verdikt o spolehlivosti.

2. Připravte malý set reprezentativních úloh

Místo jedné ukázky si připravte 5-10 úloh, které odpovídají vašemu reálnému použití:

rutinní,
středně složité,
hraniční,
rizikové.

Nejde o perfektní statistický vzorek. Jde o to, aby rozhodnutí nestálo na jediné anekdotě.

3. Napište kritéria předem

Předem si určete, co budete hodnotit:

faktickou správnost,
pokrytí tématu,
strukturu a použitelnost,
práci s nejistotou,
transparentnost předpokladů.

Když kritéria vymýšlíte až po přečtení výstupu, snadno je přizpůsobíte tomu, co chcete vidět.

4. Zaznamenávejte režimy selhání, ne jen vítěze

Verdikt "A je lepší než B" je slabý výstup. Prakticky cennější je mapa selhání:

kde nástroj ztrácí přesnost,
kde ztrácí strukturu,
kde působí přesvědčivěji, než jak je ve skutečnosti spolehlivý.

Takový výstup pomůže navrhnout workflow a kontrolní kroky, ne jen vybrat jednoho vítěze.

5. Zvažte cenu chyby

Pro nízkorizikové úkoly stačí lehká evaluace. Pro důležitější případy použití potřebujete přísnější proces: oponenturu, verifikaci a někdy i více rolí nebo modelů.

Tady se láme rozdíl mezi "chatem pro produktivitu" a "workflow pro rozhodnutí".

Kontraargument: osobní test má pořád velký smysl

Ano. Osobní test výborně odpovídá na otázky:

zrychlí mě nástroj?
rozumím mu?
sedí mi jeho rozhraní?
dostanu rozumný první draft?

To jsou důležité otázky pro adopci.

Jen nejsou totožné s otázkou, zda je nástroj spolehlivý pro klíčové rozhodovací případy použití vašeho týmu.

Jinými slovy: osobní test je dobrý filtr. Slabý finální důkaz.

Jakmile potřebujete rozhodnutí obhájit před týmem nebo rozpočtem, vyplatí se přejít z dojmu na lehkou metodologii. A právě tady pomáhá workflow přístup: oddělit generování, kritiku a syntézu místo jedné konverzace.

CrossChat je příklad takového posunu. Hodnota není v tom, že "odpoví chytřeji", ale v tom, že nutí vidět neshodu, role a strukturu postupu.

Závěr

"Vyzkoušej sám" není špatná rada. Je to neúplná rada.

Jako první kontakt funguje skvěle. Jako finální metodologie pro hodnocení AI nástrojů často vede k přestřelené důvěře nebo přestřelenému odmítnutí.

Čím důležitější rozhodnutí děláte, tím méně si můžete dovolit evaluaci založenou na dojmu. Potřebujete aspoň lehký rámec (framework), který oddělí scénáře, kritéria a režimy selhání.

Zdroje

Tversky, A. & Kahneman, D. (1981). The Framing of Decisions and the Psychology of Choice. Science. DOI: 10.1126/science.7455683.
Heuer, R. J. (1999). Psychology of Intelligence Analysis. CIA Center for the Study of Intelligence. https://www.cia.gov/resources/csi/books-and-monographs/psychology-of-intelligence-analysis-2/
Kahneman, D., Sibony, O., Sunstein, C. R. (2021). Noise: A Flaw in Human Judgment. Little, Brown Spark. ISBN: 978-0316451406.
Liang, P. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110. DOI: 10.48550/arXiv.2211.09110.

Historie úprav

Koncept: Codex + GPT-5.2 Verze 1: Codex + GPT-5.2

Jazyková revize (2026-02-25, Codex + GPT-5): upravena stylistika a terminologie evaluace; omezeny zbytečné anglicismy a zpřesněny formulace. Kvalitativní audit (2026-03-23, Claude Code + Claude Opus 4.6): přidán Rámec tvrzení, ověřeny zdroje, jazyková úprava.