Umělá inteligence se stává stále důležitější součástí vojenských schopností, a to především ve Spojených státech, Rusku nebo Číně. Stále častěji se s ní však setkáme i v evropských armádách, včetně AČR. Technologie, které byly ještě před několika lety považovány za futuristické, dnes nacházejí praktické využití v systémech řízení palby, analýze zpravodajských dat, autonomních systémech a podpoře rozhodování v bojových operacích. S tímto vývojem však přichází zásadní otázka: do jaké míry je tato technologie spolehlivá a jaká rizika vyplývají z předpojatého rozhodování systémů umělé inteligence? Podle aktuální studie think tanku SIPRI jde o problém, jenž není pouze technický, ale i právní, strategický a etický. Tato výzva se dotýká i České republiky, jejíž obranný průmysl a armáda se stále více zapojují do vývoje a zavádění systémů využívajících umělou inteligenci.

Předpojatost (anglicky „bias“) v kontextu umělé inteligence s vojenským využitím lze definovat jako systematickou nespravedlnost v rozhodování umělých systémů. Algoritmy v takovém případě upřednostňují, nebo naopak znevýhodňují určité skupiny lidí či objekty na základě charakteristik, které nejsou z vojenského hlediska relevantní. SIPRI upozorňuje na rizika spojená s dodržováním mezinárodního humanitárního práva. Pokud vojenská umělá inteligence systematicky chybně klasifikuje cíle (například civilisty vyhodnotí jako ozbrojence nebo přehlédne přítomnost chráněných osob), může to vést k vážným porušením mezinárodních zásad. Patří k nim především rozlišování civilních a vojenských cílů, přiměřenost civilních ztrát při útoku na vojenské cíle či povinnost přijímat opatření k minimalizaci škod. Tyto zásady tvoří jádro Ženevských úmluv a představují povinnost pro všechny státy, Českou republiku nevyjímaje.

Zdrojů předpojatosti je celá řada a vznikají v různých fázích životního cyklu systému umělé inteligence. První zdroj představuje tzv. společenská předpojatost, tedy přenos historických nerovností a stereotypů do testovacích dat. Jestliže se systémy učí z datových sad, jež jsou nevyvážené (tj. obsahují třeba více fotografií určité etnické skupiny jako nepřátel), budou tyto vzorce replikovat i při ostrém nasazení. Příkladem může být využití mediálních zdrojů, které zobrazují určité etnikum v kontextu ozbrojených aktivit častěji než jiné. V takovém případě algoritmus přiřadí vyšší pravděpodobnost hrozby osobám tohoto původu, a to i v situacích, kde se reálně žádná hrozba nevyskytuje.

K dalším zdrojům předpojatosti patří fáze vývoje, kde volba nepřímých znaků cílového chování (proxy indikátorů) může vést k nechtěným důsledkům. Pokud gestikulaci se zvednutými pažemi systém vyhodnotí jako jediný možný signál kapitulace (typické pro západní země), gesta jiných kultur mohou vést k nezákonnému útoku. Třetí zdroj předpojatosti vzniká při používání systému, kdy algoritmus navzdory vývoji konfliktu stále vychází z původních dat, což vede k chybám v odhadech a rozhodnutích. Interakce člověka s výpočetní technikou pak může chyby ještě prohloubit vlivem slepého spoléhání se na doporučení stroje a rezignace na kritickou kontrolu.

Důsledky takových selhání jsou dramatické z hlediska práva i operační účinnosti. Pokud systém chybně označí civilní objekt za vojenský a dojde k útoku, nejde pouze o právní problém, ale také o reputační katastrofu. Ta může oslabit legitimitu celé operace a poskytnout protivníkovi silnou propagandistickou zbraň. SIPRI proto zdůrazňuje, že i když předpojatost nelze nikdy zcela eliminovat, lze její dopady zmírnit vhodnými opatřeními. Řadí se k nim pečlivá správa testovacích dat, jejich diverzifikace, transparentní metodiky pro ověřování a testování, zavedení víceúrovňových procesů ověřování cílů a především zachování rozhodující role člověka při aplikaci smrtící síly.

Jaký to má vztah k České republice? Více, než se může zdát. Český obranný průmysl se stále více zapojuje do projektů, kde umělá inteligence hraje klíčovou roli. Kupříkladu společnost ERA, součást skupiny Omnipol, představuje světovou špičku v oblasti pasivních sledovacích systémů typu VERA-NG. Ty dnes fungují na principu triangulace signálů, přičemž trend směřuje k integraci umělé inteligence pro klasifikaci cílů, analýzu jejich chování a odhad jejich příštích pohybů. Jakmile se umělá inteligence stane integrální součástí těchto systémů, bude nezbytné zbavit automatické rozhodování předpojatostí, které by vedly k chybným výstupům ohrožujícím civilní letectví nebo nevojenská zařízení. Podobně Retia, jež vyvíjí systémy řízení palby a radary, bude muset zohlednit riziko předpojatosti při tvorbě algoritmů pro detekci objektů v komplexním elektromagnetickém prostředí.

Nejde pouze o průmysl. Ministerstvo obrany a Vojenský technický ústav stojí před výzvou, jak nastavit akviziční požadavky na systémy, které obsahují prvky umělé inteligence. Budou muset definovat metodiky testování na přítomnost předpojatosti a zavést procesy, jež zajistí transparentnost původu dat a jejich reprezentativnost. To je v souladu s doporučeními SIPRI, která vyzývají státy k vybudování národní expertízy na problematiku předpojatosti v umělé inteligenci jako součást procesu zadávání a hodnocení vojenských systémů. Česká republika by měla tuto expertízu rozvíjet ve spolupráci s akademickou sférou (v první řadě s ČVUT, Masarykovou univerzitou či výzkumným centrem CATRIN – Czech Advanced Technology and Research Institute), které mají zkušenosti s výzkumem strojového učení, etiky a práva. Společným cílem musí být vytvoření rámce pro tzv. odpovědnou umělou inteligenci, který bude zahrnovat pravidelnou auditovatelnost, testování v realistických scénářích a mezinárodní interoperabilitu, zejména v rámci NATO.

Další rozměr představuje kybernetická bezpečnost. Předpojatost automatizovaných systémů může být nejen neúmyslným důsledkem chybného vývoje, ale i výsledkem cíleného útoku, kdy protivník manipuluje daty k posílení existujících předsudků systému. V prostředí hybridních hrozeb je riziko „data poisoningu“ velmi reálné. Pro české firmy i státní instituce to znamená nutnost kombinovat snižování předpojatosti s opatřeními kybernetické ochrany a ověřování integrity datových zdrojů. V tomto směru má Česká republika výhodu silného zázemí v oblasti kybernetické obrany, reprezentovaného například Národním úřadem pro kybernetickou a informační bezpečnost (NÚKIB), který možná sehraje důležitou roli při nastavování standardů pro vojenskou umělou inteligenci.

Z právního pohledu zdůrazněme absenci pojmu „předpojatost“ v mezinárodním humanitárním právu, přestože se jeho principy tohoto problému dotýkají. Zásady rozlišování cílů, přiměřenosti a minimalizace škod se vztahují i na použití autonomních či poloautonomních systémů. Pokud AČR získá a nasadí systém, jehož algoritmické rozhodování povede k systematické diskriminaci určitých skupin civilistů, mezinárodněprávní odpovědnost ponese stát. To opět ukazuje nezbytnost budovat právní a etické kapacity paralelně s technologickým rozvojem.

Otázka předpojatosti v umělé inteligenci přestává být akademickým tématem, naopak se stává reálným faktorem ovlivňujícím budoucí podobu ozbrojených konfliktů i mezinárodního práva. Pro Českou republiku to znamená nutnost integrovat tuto problematiku do strategických dokumentů, akvizičních procesů a výcvikových programů. Je třeba vytvořit mezioborový rámec spojující průmysl, akademii a státní správu s cílem minimalizovat rizika algoritmické předpojatosti a zajištění souladu s mezinárodními závazky. V opačném případě mohou technologie, které mají zvyšovat přesnost a snižovat civilní ztráty, paradoxně vést k jejich nárůstu a tím i k oslabení bezpečnosti, kterou mají chránit.

Zdroj: SIPRI, Defense Magazine, Military Embedded Systems, NÚKIB