Co je halucinace v kontextu LLM a proč záleží na SEO/AEO
Halucinace je jev, kdy model velkého jazyka (LLM) vygeneruje sebejistou, ale nepravdivou informaci, která není podložena trénovacími daty ani dostupnými zdroji. V praxi to znamená, že asistent „vymyslí“ fakt, citaci, osobu, číslo či zdroj a zároveň ho podá s vysokou jistotou. Pro AIO/AEO (AI/Answer Engine Optimization) a moderní SEO je pochopení a řízení halucinací klíčové: ovlivňují důvěryhodnost značky, závěry vyhledávacích a odpovědních enginů i právní rizika.
Taxonomie halucinací: typy a projevy
- Faktografická halucinace: vymyšlená jména, data, události, statistiky.
- Citační halucinace: smyšlené nebo zkreslené zdroje, DOI, URL, bibliografické údaje.
- Strukturální halucinace: správný formát odpovědi, ale nesprávný obsah (např. „tabulka“ s nesprávnými čísly).
- Příčinná halucinace: zaměňování korelace za kauzalitu, konfabulace důvodů.
- Jazyková/překladová: překlad nebo shrnutí, které přidává informace, jež ve zdroji nebyly.
- Kontextová halucinace: ignorování omezení otázky (čas, místo, verze produktu) a generování obecných, ale nesprávných tvrzení.
Příčiny: od tréninku k inferenci
- Neidentifikovatelnost znalostí: LLM optimalizuje pravděpodobnost dalšího tokenu, nikoli pravdivost; bez externího ověření snadno „doplňuje“ mezery.
- Distribuční posuny: otázky mimo distribuci trénovacích dat (novinky, specifické obory, lokální fakta).
- Přehnané penalizování nejistoty: RLHF a instrukce v promptu mohou trestat odpověď „nevím“, čímž model upřednostňuje vymyšlenou jistotu.
- Řetězení kroků agenta: při vícekrokovém plánování se drobné odchylky kumulují v sebejistý, ale chybný plán.
- Nesprávná retrieval vrstva: RAG s nekvalitními nebo irelevantními dokumenty vede k halucinaci „podložené zdroji“.
- Nejednoznačnost promptu: neurčité, mnohoznačné požadavky nutí model extrapolovat.
Signály sebejistoty vs. pravdivost
U jazykových modelů sebejistota (dojem jisté odpovědi, výrazný tón, minimum vyjádření nejistoty) spolehlivě nekoreluje s pravdivostí. Indikátory toho, že jde o halucinaci:
- nestandardní nebo neexistující URL/DOI, „rozbité“ citace, jména uvedená v citacích, která nelze dohledat,
- detailní konkrétnost bez možnosti ověření (konkrétní čísla bez zdroje),
- konzistentní styl odpovědi při změnách otázky, ale měnící se „fakta“.
Rizika pro značky a SEO/AEO
- Reputační riziko: pokud AI asistent na vašem webu halucinuje, ztráta důvěry se přenáší na značku.
- Právní rizika: nepravdivá tvrzení o osobách/konkurentech, zavádějící zdravotní či finanční informace.
- Riziko indexace: odpovědní enginy mohou vaše stránky spojovat s nesprávnými fakty.
- Dopad na konverze: chybná doporučení produktů/služeb snižují CR a zvyšují náklady na podporu.
Prevence v infrastruktuře: od zdrojů po rozhraní
- RAG s kurátorovaným korpusem: jasná struktura, trvalé odkazy na odstavce, granularita odstavců, kvalitní metadata a licence.
- Verze a aktuálnost: používání aktuálních dat, kontrola „stárnutí“ dokumentů, pravidla pro expiraci cache.
- Citace jako výchozí nastavení: návrh, v němž je citace (alespoň odkaz na sekci) součástí odpovědi.
- Kontextová omezení: promptové pojistky (guardrails) pro čas, lokalitu, jurisdikci a verzi produktu.
- Nejistota jako plnohodnotná součást: výslovné povolení odpovědí „nevím“, „potřebuji zdroj“ a záložní možnost vyhledávání.
Promptové strategie ke snížení halucinací
- Chain-of-verification: po vygenerování odpovědi spusťte interní ověření podle zdrojů a opravte sporné části.
- Evidence-first prompting: „Nejprve cituj relevantní pasáže; poté na jejich základě odpověz.“
- Counterfactual check: požádejte model, aby uvedl, co by jeho tvrzení vyvrátilo a zda se to ve zdrojích nevyskytuje.
- Styl umožňující odmítnutí: podpořte formulace „nemám dostatek informací“ při nízké jistotě.
Architektura RAG proti halucinacím: návrhové vzory
- Vyhledávání na úrovni odstavců: menší segmenty snižují riziko „domýšlení“ informací mimo zdroj.
- Re-ranking s citacemi: upřednostňujte pasáže s vysokou shodou entity/časového kontextu; penalizujte staré nebo slabé zdroje.
- Sestavení odpovědi: odpověď sestavená z citovaných segmentů s minimem halucinačních přechodů.
- Filtr halucinací: sekundární kontrolní model, který hledá tvrzení bez opory ve zdroji.
Měření halucinací: metriky a protokoly
- Factual Precision@K: podíl tvrzení podpořených citovaným zdrojem v prvních K segmentech.
- Attribution Rate: procento odpovědí s alespoň jednou relevantní citací.
- Unsupported Claim Rate: podíl vět obsahujících nepodloženou faktickou informaci.
- Self-consistency Score: stabilita odpovědí při parafrázování otázky.
- User-reported Error Rate: chybovost zaznamenaná prostřednictvím uživatelských widgetů pro zpětnou vazbu („Tohle je nesprávně“).
Testování a red teaming
- Kontrafaktuální scénáře: záměrně zavádějící otázky, které vyvolávají halucinace.
- Hraniční případy týkající se dat a jurisdikcí: verze produktů, místní regulace, stará vs. nová pravidla.
- Kalibrace podle oboru: finance, zdravotnictví, právo; vyšší prahy ověřování a povinné citace.
UX a komunikace nejistoty
- Stupnice jistoty: neprezentujte „pravdu“, ale ukažte jistotu modelu a kvalitu zdrojů.
- Vložené citace: odkazy na odstavce s náhledem zdroje; uživatel si může informace okamžitě ověřit.
- „Zobrazit zdůvodnění“: režim, který odhalí jednotlivé kroky (retrieval → výběr → syntéza) a snižuje dojem „magické“ jistoty.
- Jasná záložní možnost: pokud zdroje chybějí, nabídněte vyhledávání, doplňující otázku nebo kontakt s odborníkem.
Obsahové strategie pro AEO: budování korpusu „proti halucinacím“
- Struktura připravená pro RAG: ID sekcí, trvalé odkazy na odstavce, granularita tabulek a datových sad.
- Doložitelná tvrzení: jasné citace, metodiky, zdrojová data, bloky „doporučené citace“.
- Autorství a odbornost: profily autorů, ORCID/ISNI, redakční standardy, verzování článků.
- Ochrana proti scrapingu a původ: manifesty hashů a časová razítka jako důkaz „kdo byl první“.
Provozní guardrails a zásady
- Pravidla pro obory: pokud téma ∈ {zdraví, finance, právo} → vyžadujte alespoň 2 nezávislé zdroje.
- Časová relevance: pokud otázka obsahuje „dnes/zítra/platí od“ → vynucujte ověření na webu a zohlednění časových pásem.
- Rozpor mezi zdroji: při nesouladu zobrazte odlišná stanoviska, nevybírejte „jedinou pravdu“ bez upřesnění.
Opatření pro kalibraci a trénink proti halucinacím
- Preference data: odměňujte odpovědi s citacemi a korektním „nevím“ namísto sebejistých omylů.
- Negative sampling: zahrňte příklady, kdy je správné odpověď odmítnout nebo požádat o doplnění.
- Knowledge-grounded fine-tuning: dolaďte model na korpusu s povinným ukotvením ve zdrojích.
Rozdíl mezi halucinací a chybnou interpretací
Ne každá nepřesnost je halucinace. Halucinace je vymyšlený fakt; chybná interpretace je nesprávně pochopený, ale skutečně existující fakt. Způsoby zmírnění rizika se liší: při chybné interpretaci pomáhá lepší kontext a struktura otázky; při halucinaci pomáhá ověřování a citace.
Praktický kontrolní seznam před nasazením AI odpovědí na webu
- Vrstva RAG má kurátorovaný, aktuální a citovatelný korpus.
- Odpovědi obsahují odkaz alespoň na jednu relevantní sekci/odstavec zdroje.
- UX zobrazuje jistotu, datum aktualizace, jazyk a verzi zdroje.
- Guardrails pro rizikové obory vynucují více nezávislých zdrojů.
- Logy zachycují retrieval, ranking a citované pasáže pro audit.
- Widget pro zpětnou vazbu a proces oprav jsou aktivní (SLA pro opravy).
Měření dopadu zmírňujících opatření
- Pokles Unsupported Claim Rate: po aktivaci citací a re-rankingu.
- Nárůst Attribution Rate: více odpovědí s relevantním zdrojem.
- Pokles počtu požadavků na podporu: méně stížností typu „AI se mýlí“.
- Signály důvěry: vyšší skóre „důvěryhodnosti“ v UX a lepší CTR u odkazů na zdroje.
Příklady bezpečných reakcí namísto halucinací
- „Nemám dostatek informací pro přesnou odpověď. Mám vyhledat aktuální zdroje?“
- „Podle posledního publikovaného manuálu (odkaz) platí X; pro Y nemám potvrzený zdroj.“
- „Tyto údaje se ve studiích A a B liší; shrnu oba pohledy s citacemi.“
Etické a právní aspekty
- Transparentnost: označení obsahu generovaného AI, datum a verze.
- Odpovědnost: procesy pro rychlou opravu chyb; auditní stopa důkazů.
- Ochrana osobních údajů: neuvádějte osobní údaje bez opory ve zdrojích a bez právního základu.
Halucinace nikdy „neodstraníme“, ale můžeme ji řídit
Halucinace je systémovým důsledkem generativní povahy LLM. Cílem není nulová míra (té lze v praxi jen těžko dosáhnout), ale řízení rizika: kombinace RAG, citací, guardrails, komunikace nejistoty v UX a metrik, které motivují model i tým k odpovědnému jednání. V prostředí AIO/AEO a moderního SEO se tak stáváte důvěryhodným zdrojem, jehož odpovědi jsou nejen rychlé, ale také ověřitelné.
