Tváří se jako expert, ale halucinuje a mýlí se. Jak funguje odvrácená strana umělé inteligence?

Halucinace AI – OBSAH

1. Co se děje „pod kapotou“. Inferenční proces krok za krokem
2. Proč AI neumí poznat, že něco neví a proč halucinuje
3. Odkud se bere bias. Data jako zdroj zkreslení
4. Limity technologie a limity dané rozhodnutím vývojářů
5. Spolehlivost není vlastnost systému, ale způsob použití
6. Závěr: Zmizí halucinace někdy úplně?

Současné jazykové modely jako ChatGPT, Gemini nebo Claude nejsou experti, kteří by pracovali s fakty jako s ověřenými znalostmi světa. Jsou to statistické systémy, jejichž hlavní schopností je generovat pravděpodobné pokračování textu. Z této vlastnosti vyplývají nejen jejich silné stránky, ale i limity, které nelze ignorovat.

Co se děje „pod kapotou“. Inferenční proces krok za krokem

Když se umělé inteligence na něco zeptáme, nezačne vyhledávat správnou odpověď v databázi faktů. V jádru proběhne inference. Model převede vstupní text na tzv. tokeny (stavební části textu) a vytvoří si z nich kontext, který reprezentuje, o čem se mluví a jakým směrem má odpověď pokračovat. Tento kontext není soubor ověřených informací, ale vnitřní statistický stav.

V každém dalším kroku model vypočítá pravděpodobnostní rozdělení pro další token. Hodnotí tisíce možných pokračování a vybere to, které nejlépe odpovídá vzorcům, jež si osvojil během tréninku. Výběr nemusí být vždy striktně nejpravděpodobnější, aby odpovědi nebyly mechanicky stejné. Právě tato variabilita ale otevírá prostor pro drobné odchylky.

Jakmile je nový token vygenerován, stává se součástí kontextu pro další krok. Model tak staví odpověď postupně sám na sobě. Pokud se v jednom okamžiku vydá mírně nesprávným směrem, další generování na tento posun naváže. Chyby tak často nevznikají jednorázově, ale kumulací. Výsledný text může být jazykově plynulý a vnitřně konzistentní, i když se fakticky odchýlí od reality.

Při samotném generování model typicky aktivně neověřuje tvrzení vůči externí realitě jako referenčnímu zdroji. Jeho základním mechanismem není cílený fact-checking, ale predikce pravděpodobného pokračování textu. To neznamená, že neexistují žádné brzdy, ale že „správnost“ v lidském smyslu není přímým optimalizačním cílem této fáze.

Co se děje dál, záleží na tom, jak je celý systém postavený. Je důležité rozlišit generativní model a vrstvy kolem něj. Produktové systémy často obsahují bezpečnostní filtry a pravidla, která mohou odpověď upravit, zjemnit nebo zastavit. Tyto mechanismy ale typicky neověřují pravdivost, spíše hlídají bezpečnost, vhodnost a riziko zneužití.

Další úroveň nastává u systémů, které využívají externí nástroje, například vyhledávání nebo práci s databázemi. Ty mohou část chyb omezit tím, že model pracuje s konkrétními zdroji. Ani to však není záruka správnosti. Model může zdroj špatně vybrat, chybně interpretovat nebo kombinovat ověřená data s domyšlenými detaily.

A kdy může systém zachytit, že se mýlí? U čistého generování jen velmi omezeně. Model nemá vnitřní senzor pravdy. Má ale statistické signály nejistoty a v některých případech dodatečné hodnoticí mechanismy, které mohou vést k opatrnějším formulacím nebo přiznání nejistoty. Nejde však o skutečné rozpoznání omylu, spíše o řízení rizika.

Nejspolehlivější korekce často přichází až interakcí s uživatelem. Pokud uživatel chybu rozpozná, upozorní na ni nebo zpřesní zadání, model dostane nový kontext a může odpověď přepočítat. Pokud se tak nestane a odpověď zní přesvědčivě, nic v samotném generování nezaručuje, že se systém zastaví proto, že by „pochopil“, že se mýlí.

Proč AI neumí poznat, že něco neví a proč halucinuje

Právě tato kombinace pravděpodobnostního generování, kumulace drobných odchylek a omezené schopnosti rozpoznat vlastní omyl vytváří prostředí, ve kterém mohou vznikat systematické chyby. Halucinace ani zkreslení tedy nejsou náhodným selháním jednotlivých odpovědí, ale přirozeným důsledkem toho, jak je inferenční proces navržen a na jakých datech byl model trénován.

Jedním z nejzásadnějších rozdílů mezi člověkem a AI je schopnost pracovat s nejistotou. Člověk dokáže říct, že si není jistý, že nemá dost informací, nebo že je potřeba něco ověřit. Jazykový model tuto schopnost přirozeně nemá a pokud je vyzván k odpovědi, vždy se pokusí odpovědět. Neexistuje v něm přirozený stav „nevím“. Pokud kombinace požadavků přesahuje to, co se v trénovacích datech reálně vyskytovalo, model vytvoří syntetickou odpověď. Ta může působit velmi odborně, ale nemusí mít žádný reálný základ.

Právě zde vznikají takzvané halucinace. Nejde o náhodné výmysly, ale o logické důsledky statistického generování textu bez porozumění světu. Model si „domyslí“ detaily, které by v podobném textu obvykle byly přítomny, i když ve skutečnosti neexistují.

Je však důležité zdůraznit, že halucinace nejsou bugem, který by bylo možné jednoduše opravit. Jsou přímým důsledkem architektury jazykových modelů. Pokud by model přestal generovat odpovědi v případech, kdy si není jistý, výrazně by se snížila jeho použitelnost v běžné konverzaci.

Z technického pohledu je tedy kompromis jasný. Buď model odpovídá plynule a riskuje halucinace, nebo odpovídá extrémně opatrně a často mlčí. Většina současných systémů je nastavena tak, aby preferovala použitelnost, nikoli absolutní jistotu. Problém nastává ve chvíli, kdy je tato vlastnost zaměněna za autoritu. Halucinace jsou obzvlášť nebezpečné tam, kde uživatel nemá dostatečné znalosti k tomu, aby chybu rozpoznal.

Odkud se bere bias. Data jako zdroj zkreslení

Dalším klíčovým limitem umělé inteligence je zkreslení, takzvaný bias. Ten nevzniká až při generování odpovědi, ale už během tréninku. Modely jsou trénovány na obrovských objemech textů, které odrážejí svět takový, jaký je zaznamenán v datech. A tato data nejsou neutrální. Ať se vývojáři snaží sebevíc, trénovací soubory vždy obsahují tendenční, méně objektivní a názorově ovlivněné informace.

Navíc některé kultury, jazyky a pohledy na svět jsou v datech zastoupeny výrazně více než jiné, což samo o sobě vytváří nerovnováhu. Některá témata jsou popisována jednostranně, jiná povrchně nebo stereotypně. Model tyto vzorce přebírá, protože jeho cílem není kriticky hodnotit realitu, ale naučit se její statistickou strukturu. Zjednodušeně řečeno platí, že „čím ho nakrmíme, to sní“.

Bias se přitom nemusí projevovat otevřeně. Často se skrývá v jemných nuancích, ve volbě příkladů, v důrazu na určité informace nebo v tom, co zůstává opomenuto. Právě proto je jeho úplné odstranění prakticky nemožné. Nejde jen o technický problém, ale o odraz toho, že samotná data vznikají ve společnosti, která je nerovnoměrná, historicky zatížená a názorově rozmanitá. Umělá inteligence tyto nerovnováhy nezpůsobuje, ale reprodukuje je v jiné, méně viditelné podobě.

Limity technologie a limity dané rozhodnutím vývojářů

Zkreslení v odpovědích umělé inteligence ale nevzniká pouze neúmyslně z trénovacích dat. Část biasu je výsledkem vědomých rozhodnutí vývojářů. Při tréninku a nasazení modelů se cíleně upravuje chování systému tak, aby odpovědi byly bezpečnější, opatrnější nebo společensky přijatelnější. To může znamenat potlačení určitých témat, změnu tónu odpovědí nebo preferování jedněch formulací před jinými.

Tyto zásahy nejsou chybou ani technickým selháním. Jsou to ochranná opatření, jejichž cílem je snížit riziko zneužití, dezinformací nebo škodlivého obsahu. Zároveň ale nevyhnutelně ovlivňují to, jaké informace AI zdůrazňuje a jaké naopak upozadí. I tento „řízený“ bias je tedy součástí výsledného chování systému, byť vzniká zodpovědným záměrem, nikoli z nekvalitních dat.

Pro běžného uživatele je přitom velmi obtížné rozlišit, kdy se setkává se zkreslením daným daty a kdy s omezením, které bylo zavedeno záměrně. Výsledkem může být pocit, že AI odpovídá vyhýbavě, neúplně nebo „něco tají“, i když ve skutečnosti jen respektuje nastavená pravidla.

Nakonec je tu ještě jeden druh biasu, o kterém vývojáři otevřeně nemluví, ale v reálu není těžké si jeho existenci ověřit. Uživatelé totiž nezřídka pozorují marketingový bias, který se projeví například, když se zeptáte ChatGPT na kvality Gemini. Konkurenční „brzda“ je zde citelná a pokud model vysloveně neumenšuje schopnosti platformy od Google, v přímém porovnání je zpravidla stručnější a někdy dokonce relativizuje. Mimochodem, přesně to udělal, když viděl tento odstavec článku při kontrole gramatiky. Označil jej za slabý, nepodložený a doporučil formulace relativizovat i vymazat svůj vlastní název. Až na můj protest existenci marketingového biasu potvrdil jako následek produktové politiky a brand safety.

Spolehlivost není vlastnost systému, ale způsob použití

Teprve vedle těchto forem zkreslení existují i limity, které s biasem přímo nesouvisejí, ale vyplývají z technologické podstaty současných modelů. Patří mezi ně například neschopnost pracovat s kauzalitou mimo statistické korelace, absence skutečného porozumění nebo omezená schopnost ověřovat fakta bez externích nástrojů. Tyto hranice nejsou otázkou nastavení nebo regulace, ale současného stavu technologie.

Z výše popsaných důvodů nelze spolehlivost umělé inteligence chápat jako její vnitřní vlastnost. Spolehlivost vzniká až ve spojení s člověkem, který její výstupy interpretuje, ověřuje a zasazuje do kontextu.

AI může být velmi užitečná při návrzích, shrnutí informací nebo hledání alternativních pohledů. Jakmile se ale začne používat jako konečný zdroj pravdy, riziko chyb prudce roste. Největším nebezpečím není samotná chyba, ale to, že je prezentována s vysokou mírou jistoty. Pro úplnou objektivitu je ale potřeba dodat, že ani v opačném směru není extrém užitečný. Pokud pro vás AI ověřuje informace, vyrábí vám jídelníček na míru nebo třeba přednáší o historii, velice často se na kvalitu jejího výstupu můžete spolehnout. Stále však platí okřídlené „důvěřuj, ale prověřuj“.

Závěr: Zmizí halucinace někdy úplně?

Je pravděpodobné, že s dalším vývojem budou halucinace méně časté a méně závažné. Lepší architektury, kvalitnější data, externí ověřovací nástroje a přísnější kontrola výstupů mohou jejich výskyt výrazně snížit. Nelze ale očekávat, že zcela zmizí. Dokud bude umělá inteligence založena na pravděpodobnostním generování textu, zůstane riziko chyby součástí systému. Nejde o selhání, ale o daň za flexibilitu a univerzálnost. Budoucnost AI proto nestojí na hledání neomylnosti, ale na schopnosti pracovat s jejími limity otevřeně a odpovědně. Umělá inteligence není autorita. Je to nástroj. A jako každý nástroj je užitečný jen tehdy, když rozumíme tomu, jak funguje a kde končí jeho spolehlivost.