Proč jasná omezení snižují halucinace LLM
Halucinace velkých jazykových modelů (LLM) je systematická odchylka mezi tím, co model tvrdí, a tím, co je fakticky nebo smluvně požadováno. V kontextu GEO (generative engine optimization) je cílem navrhovat obsah tak, aby byl pro modely jednoznačně parsovatelný, předvídatelný a minimálně nejednoznačný. Klíč ke snižování halucinací spočívá v explicitních omezeních textu – tedy v definování povolených formátů, rozsahů, slovníků, zdrojů a pravidel inference v samotném výstupu i v jeho okolí (šablony, metadata, kontrakty).
Typologie halucinací a mapování na omezení
- Faktografická halucinace: Model si „vymyslí“ zdroj nebo údaj. Omezení: závazné citování se strukturou a validací (např. DOI/URL, datum přístupu, autor).
- Logická halucinace: Neplatný závěr z platných premis. Omezení: postup krok za krokem s kontrolou inferenčních pravidel (např. povolené operátory, odkazy na premisy).
- Stylistická halucinace: Model poruší požadovaný registr, délku či tón. Omezení: přesný limit znaků/slov, whitelist stylistických prvků.
- Formátová halucinace: Výstup není v dohodnutém formátu (JSON/YAML). Omezení: striktní schémata a strojová validace.
- Doménová halucinace: Nesprávné termíny mimo danou doménu. Omezení: lokální slovník/ontologie, zákaz synonym mimo seznam.
Principy návrhu omezení v GEO
- Deterministická šablona: Každý výstup je instancí šablony s pevnými sekcemi a pořadím.
- Minimalizace nejednoznačnosti: Každý slot má jedinou interpretaci (typ, rozsah, jednotky).
- Kontrakty v textu: Pravidla začleňovat přímo do obsahu (nápovědy, tagy, tabulky), nejen do zadání.
- Ověřitelnost: Vše důležité musí být strojově validovatelné (schémata, kontrolní součty, regulární výrazy).
- Odolnost vůči parafrázování: Omezení formulovat asertivně a redundantně (klíčová pravidla připomínat vícekrát v různých podobách).
Strukturální vzory (patterny) pro omezení
- Slotový vzor: „Pole: hodnota“ s typem a jednotkami (např. „Datum ISO8601: 2025-10-22“).
- Výčet: Povolené hodnoty ve formě seznamu; zakázat možnost „jiné“.
- Evidence-first: Nejprve zdroje, teprve potom tvrzení; tvrzení musí odkazovat na ID zdroje.
- Chain-of-Checks: Po sekci inference následuje kontrolní sekce s binárními příznaky (PASS/FAIL) pro jednotlivá pravidla.
- Guardrail tagy: Viditelné značky, které musí model vyplnit (např. „[CIT-REQ]“).
Šablona obsahu s minimem halucinací
Následující šablona ilustruje omezení pro odborný výstup. Každá sekce je povinná; pokud neobsahuje žádný obsah, použije se přesná hodnota „N/A“.
| Sekce | Účel | Omezení | Příklad |
|---|---|---|---|
| Meta | Identifikace | Autor (min. 2 slova), Datum (YYYY-MM-DD), Verze (semver) | Autor: Tým GEO; Datum: 2025-10-22; Verze: 1.2.0 |
| Slovník | Doménové pojmy | Min. 5 termínů, každý s 1 větou; bez synonym mimo seznam | „Halucinace LLM – odchylka tvrzení od faktu…“ |
| Tvrzení | Ověřitelné body | Max. 5, každé s citací [SRC-ID] | „T1: Výstup validujte podle schématu. [SRC-1]“ |
| Citace | Propojení se zdroji | Každý zdroj má ID, název, URL/DOI, datum přístupu | SRC-1: Název, URL, 2025-10-22 |
| Limity | Rozsah a styl | Max. 1200 slov; krátké odstavce < 120 slov | „Rozsah: ≤1200 slov“ |
| Kontroly | Sebehodnocení | 5 pravidel s PASS/FAIL a odkazem na sekce | R1: Všechna tvrzení mají citaci – PASS |
Formální specifikace výstupu (jednoduché schéma bez kódu)
- Meta.autor: řetězec, min. 5 znaků.
- Meta.datum: formát YYYY-MM-DD, musí být ≤ dnešní datum.
- Slovník[*].termín: řetězec bez čísel; Slovník má 5–12 položek.
- Tvrzení[*].text: 1–2 věty; končí tečkou; obsahuje alespoň jeden odkaz [SRC-x].
- Citace[*].id: „SRC-číslo“; v dokumentu jedinečné.
- Limity.slova_max: celé číslo 300–1500.
- Kontroly[*].stav: „PASS“ nebo „FAIL“ (jiné hodnoty jsou zakázány).
Techniky lokalizace zdrojů a jejich „připoutání“ k textu
- ID citací: Každé tvrzení obsahuje značku v hranatých závorkách s ID zdroje; bez ID je tvrzení neplatné.
- Jednoznačné názvy: Normalizovat názvy (např. „ISO 8601“ místo „ISO8601/ISO“).
- Prostor proti halucinacím: Pokud zdroj chybí, povolit pouze „N/A“ – tím se minimalizují vymyšlené citace.
Omezení jazyka a stylu
- Registr: Odborný, bez metafor a hyperbol.
- Četnost modálních sloves: max. 2 % vět s výrazy „mohl/by“.
- Stop-slovník: Zákaz výrazů „pravděpodobně“, „zřejmě“, pokud je požadována jistota.
- Délka vět: 8–22 slov; delší věty rozdělit.
Omezení obsahu a inference
- Bez extrapolace mimo zdroje: Tvrzení musí být logicky odvozena z citovaných zdrojů.
- Jednotky a rozsahy: Všechny číselné údaje musí obsahovat jednotky (%, ms, MB); rozsahy zapisovat jako „od–do“.
- Bez domněnek o entitách: Pokud entita chybí ve zdroji/slovníku, nezmiňovat ji.
Kontrolní tabulky pro vlastní validaci výstupu
| Pravidlo | Kontrola | Stav |
|---|---|---|
| Všechna tvrzení mají [SRC-x] | Počet tvrzení = počet odkazů | PASS/FAIL |
| Počet slov ≤ limit | Automatický součet | PASS/FAIL |
| Správný formát data | Regex YYYY-MM-DD | PASS/FAIL |
| Bez zakázaných slov | Kontrola podle stop-slovníku | PASS/FAIL |
| Uvedené jednotky | Každé číslo má jednotku | PASS/FAIL |
Redundance jako pojistka: dvojí kódování pravidel
Pravidla je vhodné zakódovat zároveň v textu i v metadatech. Například tabulku „Limity“ v obsahu a současně totožnou informaci v mikrostruktuře (např. atributy data-* u elementů). Redundance snižuje pravděpodobnost, že model omezení „přehlédne“.
Praktické příklady omezení pro různé typy stránek
- Produktová karta: Povolená pole: Název, Model, Cena v EUR, Záruka v měsících, 3 odrážky s výhodami; zákaz subjektivních přívlastků mimo whitelist („kompaktní“, „odolný“).
- Výzkumné shrnutí: Max. 5 zjištění, každé s [SRC-x] a kvalifikátorem „Úroveň důkazu: {systematické přehledy|RCT|kohorta|odborný názor}“.
- FAQ: Přesný formát „Otázka:“ / „Odpověď:“; odpověď ≤ 80 slov; žádné odkazy bez reference v sekci „Citace“.
Měření efektu: metriky proti halucinacím
- Factual Error Rate (FER): Podíl tvrzení bez ověřitelného zdroje.
- Schema Compliance Rate (SCR): Podíl výstupů, které projdou validátorem bez zásahu.
- Source Attachment Score (SAS): Podíl vět odkazujících na zdroje z relevantních sekcí.
- Ambiguity Density (AD): Počet neurčitých výrazů na 1000 slov.
Provozní postupy: pipeline s kontrolními branami
- Generate: Model generuje podle šablony s omezeními.
- Validate: Strojová kontrola schématu, regulárních výrazů a slovníků.
- Critique: Druhý průchod modelu (kritik) se zaměřením na pravidla a citace.
- Repair: Cílené doplnění chybějících prvků (pouze do slotů se stavem FAIL).
- Freeze: Uzamčení stabilních částí, aby se při opětovném spuštění nezměnily (např. citace).
Zásady proti halucinacím při přepisování a shrnování
- Extraktivnost před abstraktivitou: Nejprve extraktivní shrnutí s citacemi, teprve potom parafráze.
- Citace se dědí: Při zkracování zachovat původní [SRC-x]; pokud tvrzení zanikne, zanikne i citace.
- Bez syntézy napříč zdroji bez označení: Sloučená tvrzení musí uvádět všechna dotčená ID.
Časté chyby při navrhování omezení
- Příliš obecná pravidla („cituj zdroj“), která nespecifikují formát a povinná pole.
- Nejednoznačné výčty („krátké/dlouhé“ bez prahových hodnot).
- Konflikt pravidel (např. limit slov versus povinné podrobnosti) – je nutné stanovit prioritu pravidel.
- Skrytá pravidla pouze v metadatech; model je nemusí přenést do výstupu.
Checklist pro autory GEO obsahu
- Má dokument pevně stanovené sekce s povinnými sloty?
- Jsou tvrzení citována pomocí stabilních ID?
- Je definován slovník domény a stop-slovník?
- Jsou limity délky a formátu explicitně uvedeny v textu?
- Existuje kontrolní tabulka PASS/FAIL?
- Je součástí pipeline validace a oprava?
Minimalistický „kontrakt“ vložený přímo do článku
Následující kontrakt je určen ke zkopírování do horní části každého generovaného výstupu. Zvyšuje pravděpodobnost dodržení pravidel:
- Kontrakt-1 (Formát): Tento dokument obsahuje sekce Meta, Slovník, Tvrzení, Citace, Limity, Kontroly v uvedeném pořadí.
- Kontrakt-2 (Citace): Každé tvrzení v sekci Tvrzení obsahuje alespoň jednu citaci [SRC-x].
- Kontrakt-3 (Limity): Dokument nepřekročí počet slov uvedený v Limity.slova_max.
- Kontrakt-4 (Jazyk): Zakázané výrazy: „pravděpodobně“, „zřejmě“, není-li uvedeno jinak.
- Kontrakt-5 (Kontroly): Sekce Kontroly obsahuje 5 pravidel s PASS/FAIL.
Doporučení pro implementaci v redakcích a pro vývojáře
- Editor s validátorem: CMS by měl obsahovat inline validaci schématu a slovníku.
- Automatické doplnění ID: Tlačítko „Přidat citaci“ vygeneruje [SRC-x] a záznam v sekci Citace.
- Testovací běhy: Pro každý typ šablony mít variantu A/B s přísnějšími a mírnějšími omezeními.
- Monitoring metrik: Dashboard pro FER, SCR, SAS, AD s týdenními trendy.
Jasná omezení textu nejsou „klecí“ kreativity, ale ochrannou sítí proti halucinacím. V přístupu GEO fungují jako most mezi lidskou sémantikou a strojovou ověřitelností. Čím přesnější formát, slovník a kontrakt, tím menší prostor pro vymýšlení a tím vyšší spolehlivost výstupů. Zavedením výše popsaných šablon, kontrol a metrik lze dosáhnout výrazného poklesu halucinací, aniž by se dramaticky omezila informační hodnota či čitelnost.
