EuroEkonóm.sk
Data leakage (únik dat) nastává, když se při trénování nebo vyhodnocování modelu použijí informace, které by v okamžiku skutečné predikce neměly být dostupné. Model pak může dosahovat výrazně lepších výsledků, než jaké by podal v praxi. Jeho přesnost na testovacích datech působí přesvědčivě, ale neodráží schopnost zobecnit naučené vzorce na nové případy.
Jak data leakage vzniká
K úniku dat může dojít v různých fázích přípravy a vyhodnocování dat. Častou příčinou je nesprávné rozdělení datasetu na trénovací a testovací část. Pokud se například téměř totožné záznamy objeví v obou částech, model se může při trénování naučit přímo příklady, podle kterých je následně testován.
Riziko představuje také použití informací, které jsou sice v datasetu obsažené, ale v reálném okamžiku predikce ještě nejsou k dispozici. Model tak získá nepřiměřenou výhodu. Někdy jde o zjevně budoucí údaj, jindy o proměnnou, která vznikla až jako důsledek sledované události.
Nejčastější typy úniku dat
Únik cílové proměnné
Únik cílové proměnné (target leakage) nastává, když některý vstupní příznak přímo nebo nepřímo prozrazuje hodnotu, kterou se model snaží předpovědět. Při predikci odchodu zákazníka by takovým příznakem mohl být například údaj zaznamenaný až po jeho odchodu. Model by se místo předpovídání budoucího chování opíral o informaci, která výsledek fakticky odhaluje.
Únik mezi trénovacími a testovacími daty
K úniku může dojít také tehdy, když se informace z testovací sady dostanou do procesu trénování. Příkladem je výběr příznaků, ladění modelu nebo jiné rozhodování podle výsledků na testovacích datech. Testovací sada pak přestává být nezávislým měřítkem výkonnosti modelu.
Únik při přípravě dat
Chyby mohou vzniknout i při předzpracování dat. Pokud se například normalizace nebo imputace chybějících hodnot vypočítá nad celým datasetem ještě před jeho rozdělením, statistiky z testovací části ovlivní podobu trénovacích dat. Podobně může být problematické vybírat příznaky nebo určovat hranice kategorií s využitím celého datasetu.
Proč data leakage zkresluje výsledky modelu
Model vystavený úniku dat se může naučit vztahy, které nejsou v reálném použití dostupné nebo přenositelné. Výsledkem bývá nadhodnocená přesnost, příliš optimistické skóre a nesprávný odhad toho, jak bude systém fungovat na nových datech. Po nasazení pak může kvalita predikcí výrazně klesnout.
Problém se netýká pouze klasifikačních úloh. Data leakage může zkreslit také regresní modely, časové predikce, doporučovací systémy i modely používané při detekci podvodů nebo hodnocení rizika.
Jak úniku dat předcházet
- Rozdělte data ve správném okamžiku. Nejprve vytvořte trénovací a testovací sadu a teprve potom na trénovacích datech odhadujte parametry předzpracování.
- Používejte datové pipeline. Transformace, jako je škálování, imputace nebo kódování kategorií, se mají naučit pouze z trénovací části a následně aplikovat na validační a testovací data.
- Prověřte dostupnost příznaků. U každé proměnné ověřte, zda by byla skutečně k dispozici v okamžiku, kdy má model vytvořit predikci.
- Zohledněte časovou posloupnost. U časových dat trénujte na starších záznamech a vyhodnocujte na pozdějších. Náhodné rozdělení by mohlo do trénování přenést informace z budoucnosti.
- Rozdělujte podle skupin, pokud je to vhodné. U dat s opakovanými záznamy stejného člověka, zařízení nebo organizace zajistěte, aby se záznamy jedné skupiny nedostaly současně do trénovací i testovací sady.
- Testovací data používejte až pro závěrečné vyhodnocení. Pro ladění modelu využívejte validační sadu nebo křížovou validaci, nikoli opakovaně testovací sadu.
Kontrola před nasazením modelu
Podezřele vysoká výkonnost může být známkou data leakage, zejména pokud model dosahuje téměř dokonalých výsledků bez zřejmého důvodu. Před nasazením proto zkontrolujte původ a časovou dostupnost příznaků, způsob rozdělení dat i celý postup předzpracování. Důkladná kontrola pomáhá získat realističtější odhad výkonnosti a snižuje riziko, že model v produkčním prostředí selže.
