Adversarial attack: Útoky využívající slabiny modelů AI

Adverzní útoky (anglicky adversarial attacks) jsou metody, při kterých útočník záměrně upraví vstupní data tak, aby model umělé inteligence vytvořil chybný, zavádějící nebo útočníkovi prospěšný výsledek. Změny mohou být na první pohled téměř nepostřehnutelné, přesto mohou výrazně ovlivnit rozhodování modelu. Tyto útoky představují bezpečnostní riziko zejména v aplikacích, kde automatické rozhodování ovlivňuje lidi, provoz nebo kritickou infrastrukturu.

Jak adverzní útoky fungují

Modely strojového učení hledají ve vstupních datech vzory, na jejichž základě přiřazují vstupům třídy nebo vytvářejí předpovědi. Útočník může využít toho, že model reaguje na určité vlastnosti dat jinak než člověk. Do obrázku, textu, zvukového záznamu nebo jiného vstupu proto zanese cílenou změnu, která pro člověka nemusí být zřejmá, ale pro model je dostatečně významná.

U obrazových dat může jít například o nenápadnou úpravu pixelů, která způsobí, že systém zamění jeden objekt za jiný. Útok na rozpoznávání řeči může využívat zvukové změny, které člověk vnímá jen obtížně, ale automatický přepisovací systém je vyhodnotí jako konkrétní příkaz. U jazykových modelů může podobný princip spočívat v úpravě formulace, vložení zavádějícího kontextu nebo v podnětu, který model přiměje obejít zamýšlená omezení.

Nejčastější typy adverzních útoků

Útoky při použití modelu

Útoky při inferenci, tedy v době, kdy model zpracovává nové vstupy, cílí na jeho aktuální rozhodování. Útočník může upravit vstupní data tak, aby model chybně klasifikoval objekt, nesprávně vyhodnotil transakci nebo vytvořil nevhodnou odpověď. Vstup přitom může pocházet přímo od uživatele nebo z externího zdroje, například z webové stránky, fotografie či zvukového záznamu.

Útoky cílené a necílené

Při cíleném útoku se útočník snaží přimět model ke konkrétní chybné odpovědi, například aby určitý objekt označil jako jiný. Necílený útok má obecnější cíl: způsobit, aby model udělal jakoukoli nesprávnou klasifikaci nebo předpověď.

Otrava trénovacích dat

Ne všechny útoky se zaměřují na již nasazený model. Při otravě dat útočník pozmění trénovací data nebo do nich vloží škodlivé příklady. Tím může ovlivnit chování modelu ještě před jeho nasazením. Následkem může být snížení přesnosti, systematická chyba nebo skrytá zranitelnost aktivovaná určitým vstupem.

Proč představují adverzní útoky bezpečnostní riziko

Dopad útoku závisí na tom, kde a jak se model používá. V doporučovacím systému může útok ovlivnit pořadí nebo obsah doporučení. V systémech rozpoznávání obrazu může vést k chybnému označení objektu. Ve finančních službách či při filtrování podvodů může narušit automatické vyhodnocování transakcí. V bezpečnostně citlivém prostředí mohou i ojedinělé chyby způsobit vážné následky, pokud se na výstup modelu spoléhá bez další kontroly.

Riziko zvyšuje také skutečnost, že některé útoky lze provádět bez přístupu k interním parametrům modelu. Útočník může zkoušet různé vstupy a sledovat odpovědi systému. Rozsah potřebných znalostí se proto liší: některé metody předpokládají detailní přístup k modelu, jiné využívají pouze jeho veřejně dostupné rozhraní.

Jak se proti adverzním útokům bránit

Úplné odstranění rizika není jednoduché, protože obrana závisí na typu modelu, vstupních dat i způsobu nasazení. Organizace mohou riziko snížit kombinací technických a provozních opatření:

Adverzní testování: ověřovat chování modelu na záměrně pozměněných a neobvyklých vstupech ještě před nasazením i během jeho provozu.
Odolnější trénování: zahrnout do trénovacích nebo validačních dat příklady, které model připraví na různé typy vstupních změn.
Kontrola vstupů: validovat data, odhalovat podezřelé vzory a omezovat vstupy, které mohou představovat riziko.
Víceúrovňové ověřování: u důležitých rozhodnutí kombinovat výstup modelu s dalšími kontrolami nebo lidským posouzením.
Průběžné sledování: zaznamenávat neobvyklé chování, analyzovat chyby a aktualizovat model i bezpečnostní opatření podle nových zjištění.

Žádná jednotlivá obranná metoda nezaručuje úplnou ochranu. Účinnost opatření je proto třeba pravidelně ověřovat v podmínkách, které se co nejvíce podobají reálnému provozu.

Adverzní útoky jako součást zabezpečení AI

Adverzní útoky ukazují, že vysoká přesnost modelu při běžném testování sama o sobě nestačí. Při vývoji a nasazování umělé inteligence je nutné posuzovat také její odolnost vůči záměrně upraveným vstupům, kvalitu trénovacích dat a možné důsledky chybných výstupů. Pravidelné bezpečnostní testování a odpovídající lidský dohled pomáhají omezit rizika a zvýšit důvěryhodnost systémů AI.