XAI je soubor metod a technik, které umožňují lidským uživatelům porozumět výsledkům a výstupům vytvořeným algoritmy strojového učení a důvěřovat jim. Zatímco klasické modely (např. rozhodovací stromy) jsou přirozeně srozumitelné, moderní hluboké sítě jsou tak komplexní, že jejich vnitřní logika je lidem skrytá.
Cílem XAI je dosáhnout rovnováhy mezi vysokou přesností modelu a jeho interpretovatelností.
S rostoucím nasazením AI v kritických oblastech vyvstávají zásadní otázky:
XAI využívá různé techniky k odhalení vnitřního fungování modelů:
Snaží se vysvětlit jedno konkrétní rozhodnutí.
Snaží se popsat celkové chování modelu – které faktory jsou pro něj obecně nejdůležitější.
Metody jako SHAP (SHapley Additive exPlanations) přiřazují každému vstupnímu parametru číselnou hodnotu podle toho, jak moc přispěl k výsledku.
Používají se u obrazových dat (CNN). Zvýrazňují pixely v obrázku, na které se model „díval“, když identifikoval objekt. [Image showing a photo of a dog and its corresponding saliency map highlighting the ears and snout]
Existuje nepřímá úměra:
| Oblast | Využití XAI |
|---|---|
| Medicína | Lékař potřebuje vědět, proč AI označila snímek jako rizikový, než zahájí léčbu. |
| Finance | Banka musí klientovi vysvětlit důvody zamítnutí hypotéky. |
| Právo | Analýza soudních rozhodnutí a identifikace možných systémových zaujatostí. |
| Průmysl | Pochopení příčin poruchy stroje, kterou AI předpověděla. |
Moderní trendy směřují k vytváření modelů, které jsou „vysvětlitelné už od návrhu“ (Interpretable by Design), místo aby se vysvětlení hledalo až dodatečně na hotovém modelu.
Zajímavost: Výzkum ukazuje, že lidé mají tendenci AI důvěřovat více, pokud jim poskytne jakékoli vysvětlení, i kdyby bylo velmi jednoduché. To se nazývá „placebo efekt vysvětlení“ a je to jedna z psychologických pastí, na které si tvůrci XAI musí dávat pozor.