Bias v AI: Jak může být umělá inteligence zaujatá

Bias v umělé inteligenci označuje systematickou odchylku v datech, návrhu modelu nebo jeho výstupech. Kvůli ní může systém poskytovat nepřesné, nerovnoměrné či nespravedlivé výsledky pro určité skupiny lidí. Zaujatost přitom nemusí být důsledkem úmyslné diskriminace. Do systému se může promítnout i nepozorovaně, například při výběru trénovacích dat, nastavení modelu nebo rozhodování o tom, jak se bude měřit jeho úspěšnost.

Modely umělé inteligence se učí z příkladů a vzorců v datech. Pokud tato data neodpovídají rozmanitosti skutečných situací, některé skupiny zastupují nedostatečně nebo odrážejí historické nerovnosti, může se jejich zkreslení projevit také v rozhodování systému. Výsledkem může být například rozdílná přesnost pro různé skupiny uživatelů, opakování stereotypů nebo nevhodné doporučení.

Pojem bias se používá pro různé druhy systematického zkreslení. Ne každá odchylka musí automaticky znamenat diskriminaci, její dopady je však potřeba posuzovat v kontextu konkrétního použití. Stejný model může být v jedné situaci přijatelný a v jiné představovat významné riziko.

Jak bias v umělé inteligenci vzniká

Zaujatost může vzniknout v několika fázích vývoje a používání AI. Často se přitom kombinuje více příčin, takže určit její přesný původ nemusí být jednoduché. Problém nemusí být pouze v samotných datech: ovlivnit ho může také způsob návrhu systému, zvolený cíl nebo prostředí, ve kterém model funguje.

Nevyvážená trénovací data: Některé skupiny nebo situace jsou v datech zastoupeny výrazně méně než jiné. Model pak může mít pro méně zastoupené případy nižší přesnost, protože se s nimi během trénování setkal jen omezeně.
Historická nerovnost v datech: Data mohou odrážet dřívější diskriminaci nebo společenské nerovnosti. Pokud se model z takových příkladů učí, může existující vzorce reprodukovat, i když jeho tvůrci diskriminaci nezamýšleli.
Způsob sběru a označování dat: Výběr zdrojů, formulace kategorií i lidské posuzování mohou ovlivnit, jaké informace model dostane a jak jsou následně vyhodnoceny. Rozdíly v označování mohou vést k tomu, že podobné případy dostanou odlišné štítky.
Nevhodně zvolený cíl modelu: Systém může být optimalizován podle metriky, která nezohledňuje všechny relevantní dopady na různé skupiny uživatelů. Dobré celkové skóre proto samo o sobě nezaručuje spravedlivé výsledky pro každého.
Změny v reálném prostředí: Chování uživatelů i podmínky, ve kterých se AI používá, se mohou časem změnit. Model, který dříve fungoval dobře, pak nemusí poskytovat stejně spolehlivé výsledky. Rozdíl mezi prostředím při trénování a prostředím při používání může jeho přesnost dále snížit.
Způsob používání systému: Výsledek ovlivňuje také to, jak lidé doporučení modelu interpretují a zda se na něj spoléhají bez další kontroly. I technicky dobře fungující systém může vést k problematickým dopadům, pokud se používá mimo účel, pro který byl navržen.

Nejčastější podoby zaujatosti v AI

Bias se může projevovat různými způsoby. V praxi může jít například o zkreslení způsobené výběrem dat, nerovnoměrnou přesnost modelu nebo reprodukování stereotypů v generovaném obsahu. Jednotlivé podoby se mohou překrývat a jejich závažnost závisí na tom, jaké rozhodnutí systém podporuje.

Zkreslení výběrem dat

K tomuto typu dochází, když trénovací data nereprezentují populaci nebo situace, na které se má model používat. Například systém pro rozpoznávání řeči může dosahovat horších výsledků u mluvčích s určitým přízvukem, pokud byly podobné hlasové vzorky v trénovacích datech zastoupeny jen omezeně. Model se pak může dobře osvědčit u nejčastějších vzorků, ale selhávat u méně zastoupených skupin.

Historické a společenské zkreslení

Model může převzít nerovnosti obsažené v historických záznamech. Pokud se například učí z údajů o dřívějších náborových rozhodnutích, může napodobovat způsoby výběru, které v minulosti znevýhodňovaly určité skupiny uchazečů. V takovém případě může systém považovat historické rozhodnutí za vzor, přestože samo o sobě nemusí představovat spravedlivé měřítko.

Nerovnoměrná přesnost modelu

Model může dosahovat dobrých výsledků v průměru, ale být méně přesný pro některé skupiny nebo konkrétní typy vstupů. Celková úspěšnost tak může zakrýt rozdíly v počtu chybných výsledků. Proto je při hodnocení důležité sledovat nejen souhrnné ukazatele, ale také výkon v relevantních skupinách a situacích.

Zkreslení v generovaném obsahu

Generativní AI může vytvářet texty, obrázky nebo doporučení, které posilují stereotypy. Výsledná zaujatost závisí mimo jiné na datech, z nichž se model učil, jeho nastavení a formulaci uživatelského zadání. Generovaný obsah proto nemusí být neutrálním popisem skutečnosti, ale může odrážet vzorce přítomné v datech a návrhu systému.

Jaké dopady může mít bias

Zaujaté výstupy mohou mít různě závažné důsledky podle toho, k čemu se AI používá. U doporučovací aplikace mohou vést k méně vhodným návrhům, zatímco v náboru, zdravotnictví, vzdělávání nebo při posuzování žádostí mohou ovlivnit přístup člověka k důležitým příležitostem a službám. Čím významnější rozhodnutí systém podporuje, tím důležitější je ověřit, zda jeho chyby nejsou rozděleny nerovnoměrně.

Dopady se nemusí projevit pouze jedním chybným rozhodnutím. Pokud systém dlouhodobě poskytuje horší výsledky určité skupině, může opakovaně zhoršovat její přístup ke službám nebo příležitostem. Zároveň může být obtížné problém rozpoznat, pokud se sleduje jen průměrný výkon modelu nebo pokud není jasné, na základě čeho systém doporučení vytvořil.

Bias může také snižovat důvěru v umělou inteligenci. Pokud uživatelé zjistí, že systém zachází s různými skupinami odlišně nebo jejich potřeby dostatečně nezohledňuje, mohou jeho výsledky oprávněně zpochybňovat. Proto je důležité nespoléhat pouze na celkovou přesnost modelu a sledovat také jeho výkon v různých skupinách a situacích.

Jak bias v AI omezovat

Zaujatost nelze vždy odstranit jediným technickým opatřením. Její omezení vyžaduje průběžný přístup, který zahrnuje práci s daty, testování modelu, dohled lidí i kontrolu jeho fungování po nasazení. Konkrétní postup se odvíjí od účelu systému, dostupných dat a možných důsledků chybných výstupů.

Prověřit kvalitu a reprezentativnost dat: Zjistit, koho a jaké situace data zahrnují, které skupiny v nich chybí a zda neobsahují historické nerovnosti. Důležité je ověřit také původ dat a způsob, jakým byla získána a označena.
Testovat výsledky podle různých skupin: Vedle celkové přesnosti porovnávat také chybovost a další relevantní ukazatele pro jednotlivé skupiny uživatelů. Testy by měly zahrnovat i situace, ve kterých může mít systém největší dopad.
Zapojit různorodé odborné týmy: Lidé s odlišnými zkušenostmi mohou upozornit na problémy, které by jinak při návrhu nebo testování systému zůstaly přehlédnuty. Různorodý pohled pomáhá zkoumat předpoklady, na kterých model i jeho použití stojí.
Zajistit lidský dohled: U rozhodnutí s významným dopadem by měl mít člověk možnost výsledek posoudit, vysvětlit nebo zpochybnit. Lidský dohled má smysl zejména tehdy, pokud je odpovědná osoba schopna výstup skutečně vyhodnotit a v případě potřeby zasáhnout.
Průběžně sledovat provoz modelu: Po nasazení kontrolovat, zda se přesnost nebo dopady systému v čase nemění a zda se neobjevují nové nerovnosti. Změny v datech, chování uživatelů nebo podmínkách použití mohou vyžadovat opětovné testování.
Dokumentovat omezení systému: Uživatelé i správci by měli vědět, k jakým účelům byl model navržen, na jakých datech se učil a v jakých případech nemusí být spolehlivý. Jasná dokumentace usnadňuje odpovědné používání i následné vyhodnocení problémů.
Vytvořit postup pro hlášení problémů: Uživatelé a provozovatelé by měli mít možnost upozornit na nesprávné nebo nerovné výsledky. Podněty je třeba vyhodnocovat a podle jejich závažnosti upravit testování či způsob používání modelu.

Proč je důležité bias v AI posuzovat průběžně

Umělá inteligence není automaticky objektivní jen proto, že pracuje s daty a algoritmy. Její výstupy ovlivňují rozhodnutí lidí, kvalita použitých informací i podmínky, ve kterých se systém využívá. Odpovědné nasazení AI proto vyžaduje pravidelné vyhodnocování výsledků, transparentní pravidla a možnost zasáhnout, pokud systém některé skupiny znevýhodňuje.

Posuzování zaujatosti by nemělo skončit testováním před nasazením. Model se používá v konkrétním prostředí, které se může měnit, a jeho výsledky mohou ovlivnit také způsob práce uživatelů. Průběžná kontrola pomáhá včas odhalit nové odchylky, ověřit, zda systém stále plní svůj účel, a rozhodnout, zda je potřeba upravit data, model nebo pravidla jeho používání.

Bias v AI není pouze technický problém. Dotýká se také etiky, odpovědnosti a důvěryhodnosti automatizovaných systémů. Jeho včasné rozpoznání a omezení pomáhá zajistit, aby umělá inteligence poskytovala přesnější a spravedlivější výsledky a aby její používání odpovídalo dopadům, které může mít na lidi.