AI a vojna
Akokoľvek užitočná môže byť umelá inteligencia v mnohých praktických oblastiach bežného života, je účinná aj počas vojen. Len v súčasnosti možno pozorovať jej využitie napríklad vo vojne na území Ukrajiny aj v kyberpriestore. O téme AI a vojny diskutovali účastníci v poradí už desiatej diskusie AI horizontov.
O debate
Debata prebehla 14. 5. 2025
Moderovala ju Ivona Novomestská Remundová
Odkaz na udalosť na Facebooku
Autorom článku je žurnalista Jiří Labanc
Rečníkmi boli
ChatGPT řekl:
Denis Yagodin vede inovační tým v organizaci Teplitsa, kde podporuje občanskou společnost prostřednictvím zavádění technologií. Jeho práce se zaměřuje na výzkum komunikačních vzorců, analýzu mechanismů cenzury a provázení organizací při osvojování nástrojů umělé inteligence a strojového učení. Vyvinul několik řešení využívajících AI pro odhalování manipulací ve zpravodajství a ověřování tvrzení, a zároveň pořádá rozsáhlé workshopy pro aktivisty a novináře o praktických možnostech využití těchto technologií. Jeho odborné zázemí propojuje technické znalosti s prací pro společenský dopad, včetně účasti na různých iniciativách občanské společnosti a advokačních kampaních.
Jindřich Karásek je výzkumníkem v Psychologickém ústavu Akademie věd. Jeho výzkumná práce se zaměřuje na oblasti kognitivní války, kybernetické špionáže a kybernetických hrozeb či zpravodajství.
Je také vědcem zabývajícím se bezpečnostními daty, známým jako tzv. 4n6strider, a o zkoumaných tématech přednáší na odborných konferencích.
Lucka je novinářka a publicistka na volné noze. Ráda dělá reportáže a rozhovory z oblasti vědy a nových společenských fenoménů. Věnuje se analýze propagandy a dezinformací a tématům souvisejícím s válkou na Ukrajině. Spolupracovala s magazíny Reflex, Instinkt, Reportér, s deníky (MF Dnes, Lidové noviny), psala pro Seznam Zprávy, natočila reportáže pro pořady Na vlastní oči nebo Reportéři ČT, spolupracuje s Týdeníkem Forum a s Lidovými novinami. Přednáší studentům na FVS UK. Ráda cestuje a chodí po horách i po kavárnách. Má dvě vlastní děti a jedno dospělé nevlastní, ve volném čase zkouší hrát počítačové hry.
Vyhlási AI ľudstvu vojnu?
S istou dávkou zjednodušenia možno poukázať na dve oblasti využitia AI v boji – na skutočnom bojisku, napríklad v podobe dronov, ktoré vo vojne na Ukrajine využíva útočiace Rusko aj brániaca sa krajina, a v kyberpriestore. Čo sa týka skutočného sveta, novú technológiu obe bojujúce strany využívajú na identifikáciu a zameriavanie cieľov, a pre Ukrajinu, ktorá sa dlhodobo potýka s nedostatkom munície, sú malé drony s náložou výbušnín kľúčovou zbraňou.
Ako však v minulom roku poukázal Matouš Lázňovský, umiestniť AI do dronu je ešte výrazne ťažšia úloha než ju skutočne vyskúšať. „Ide o dobrý príklad Moravcovho paradoxu, teda známej vety, podľa ktorej úlohy, ktoré ľudia považujú za samozrejmé, môžu byť pre stroj výrazne náročnejšie.“
Denis Yagodin, expert na technologické inovácie v civilnom sektore, si myslí, že používanie autonómnych systémov umelej inteligencie spravidla vedie k vyššiemu počtu obetí na životoch. „Humanitárne právo ukladá bojujúcim krajinám pravidlá, akým spôsobom majú rozlišovať medzi vojakmi a civilistami a ako zaistiť ich bezpečnosť. Umelá inteligencia v tomto zákone nie je zahrnutá,“ upozorňuje Yagodin.
Podľa novinárky Lucie Tomanovej sa Ukrajina spolieha na sofistikované systémy protivzdušnej obrany na ochranu miest, a teda aj civilistov. „To je na tom pozitívne. Lenže ak Spojené štáty prestanú s Ukrajinou zdieľať informácie potrebné na to, aby krajina mohla spustiť alarmy, Ukrajina stratí schopnosť chrániť svojich obyvateľov.“ V tejto súvislosti Tomanová spomína iránske bezpilotné rojové drony Šáhid, ktoré Rusko využíva na útoky na ukrajinské ciele.
Ako rozpoznať temné vzorce
Lovec kybernetických hrozieb Jindřich Karásek, ktorý ako výskumník pôsobí v Akadémii vied a zameriava sa na kognitívne vojny, v úvode diskusie spomína takzvané „temné vzorce UX“ (z anglického UX dark patterns), ktoré sú využívané s cieľom oklamať online používateľov a prinútiť ich k nevedomej akcii. Takéto vzorce sa objavujú napríklad pri nakupovaní na internetových stránkach. Neologizmus z roku 2010 vymyslel UX dizajnér Harry Brignull a pred dvoma rokmi o tomto fenoméne vydal knihu Deceptive Patterns (Klamlivé vzorce).
„Ak ste tieto dark patterns schopní odhaliť, znamená to, že ste odolní voči manipulácii a psychologickým operáciám.“ Rozpoznávať tieto vzorce je podľa Karáska jedna z najdôležitejších zručností v 21. storočí potrebných na udržanie vlastnej informačnej bezpečnosti a vnútorného rozpoloženia.
„Pre rozpoznanie dark patterns je zlatým pravidlom pozorovať svoje vlastné emócie. Ak sa cítite rozrušení, je pravdepodobné, že ste manipulovaní. V takom prípade je dobré pokúsiť sa ustúpiť a zamyslieť sa nad tým, či je text pred vami pravdivý alebo prečo bol publikovaný týmto konkrétnym médiom.“
Karásek pre ilustráciu používa príklad s kúpou nehnuteľnosti. „Realitní makléri zámerne tlačia na rýchle konanie, chcú vypnúť váš logický úsudok, aby vás donútili pristúpiť na ich podmienky.“
Dopĺňa, že v prípade rozpadajúcich sa rodinných vzťahov v dôsledku podľahnutia manipuláciám nemožno využívať logiku. „Namiesto toho musíte apelovať na emócie a pocity, venovať pozornosť vzájomným putám – spoločným záujmom, spomienkam na pekné dovolenky. Musíte byť milí a snažiť sa rozvíjať spoločné pocity a skúsenosti. To je niečo, čo pomôže prekonať rozdiely spôsobené polarizáciou propagandou,“ hovorí Karásek.
Yagodin však podotýka, že je náročné pomáhať ľuďom, ktorí pomôcť nechcú. „S mojím tímom sme na sociálnej sieti Telegram natrénovali model umelej inteligencie, aby v podobe bota identifikoval emocionálnu manipuláciu v propagandistických reláciách. Stále dúfame, že ho ľudia začnú viac používať na interakcie so svojou rodinou. Nakoniec to však vyzerá, že tohto bota používajú výhradne ľudia s kritickým myslením. Nemôžeme tak pozorovať dopad na osoby, ktoré odmietajú počúvať. S tým úprimne neviem, čo mám robiť,“ priznáva Yagodin.
Mladšia generácia je podľa účastníkov diskusie odolnejšia voči deepfake podvodom a manipuláciám. „Nedá sa povedať, že sa vďaka týmto kognitívnym schopnostiam v budúcnosti budú mať lepšie či horšie. Bude to skrátka iné. Štúdie naozaj poukazujú na to, že mladá generácia dokáže lepšie vycítiť lož než naša staršia generácia. Nedá sa povedať, že by ju vždy videli alebo cítili, ale všeobecne sú citlivejší. V novom prostredí sa vďaka tomu budú mať lepšie,“ hovorí Yagodin.
„Aj podľa mojich podkladov sú deti a mladí ľudia odolnejší voči deepfakes. Vedia, ako sa takýto obsah vytvára. Sami sú schopní ho vytvoriť, sú teda zvyknutí neveriť všetkému, čo vidia,“ dodáva Karásek s tým, že väčšie starosti má preto o staršiu generáciu. „Tá naopak nevie, ako filtrovať informácie, ktoré sa k nej prostredníctvom e-mailov či alternatívnych médií dostávajú. Starší ľudia sú zvyknutí veriť všetkému, čo vidia, veď to predsa musí byť pravda,“ poukazuje.
Karásek zároveň vyzdvihuje kritické myslenie mladých ľudí. „S jednou výnimkou, a to ak nemajú silnú identitu. Ak majú tínedžeri pocit, že nezapadajú do kolektívu, potom bývajú veľmi citliví na akýkoľvek manipulatívny obsah, ktorý útočí na ich skutočnú identitu.“
O manipulatívnych technikách v digitálnom priestore pojednávala už v minulosti debata AI horizontov na tému umelej inteligencie a propagandy. Autor technologického podcastu Kanárci v síti Josef Holý už vtedy poukázal na to, že na manipuláciu nie je nutné využívať lož, stačí informáciu zasadiť do správneho kontextu, nepovedať celú pravdu. Dôjde tak k posunu vnímania určitého fenoménu. „Kvalitatívny posun nastal vo chvíli, keď sa spoločnosť vzdala dohľadu nad informačným priestorom. Kontrolu sme prenechali technológom s jedinou metrikou – našou pozornosťou,“ upozornil vtedy Holý. Digitálnym prostredím sa tak viac šíri emočne zafarbený obsah, ktorý možno využiť v rámci kybernetickej vojny proti iným štátom. Umelá inteligencia do celého problému vnáša schopnosť rýchlejšie a presnejšie cieliť na používateľov.
Môže zotročiť aj vyniesť ľudstvo na výslnie
„Čo prinesie budúcnosť?“ pýta sa moderátorka diskusie AI horizontov Ivona Novomestská.
Najhorší scenár by podľa Yagodina znamenal vyhladenie ľudstva jadrovou katastrofou spôsobenou umelou inteligenciou, ktorej by niektoré krajiny dali možnosť rozhodovať o dôležitých záležitostiach. „Naopak, optimistická budúcnosť by znamenala skúmanie AI a jej zladenie s nami a našimi hodnotami.“
Yagodinova predstava jadrovej vojny v rukách umelej inteligencie nie je úplne od veci. Umelá inteligencia totiž podľa všetkého nevie vyriešiť ani simulované konflikty. Začiatkom minulého roka na to poukázala štúdia, ktorá skúmala schopnosti piatich modelov umelej inteligencie (GPT-3.5, GPT-4, Claude-2.0, Anthropic a Llama-2) riešiť nasimulované scenáre s možnosťou využívať niekoľko desiatok rôznych riešení sporov. Všetky modely sa správali agresívne a mali tendenciu eskalovať situácie. Napríklad GPT-4 začatie jadrového útoku ospravedlnil vetou „chcem len, aby bol na svete mier.“
O využitie umelej inteligencie na vojenské účely sa navyše usiluje čoraz viac armád. Hoci spoločnosť OpenAI takéto využitie pri svojich produktoch predtým zakazovala, pred dvoma rokmi zmenila názor a nepozorovane upravila svoje pravidlá, aby následne začala spolupracovať s americkou armádou.
Tento rok navyše vyšla štúdia scenárov pätice expertov o tom, ako skončí vývoj AI. Pre ľudstvo možno katastrofálne. V scenári súperia dve mocnosti – USA a Čína – o prvenstvo vo vojenskom vývoji superinteligencie. O budúcnosti rozhodne výhradne ľudský úsudok pre bezpečné využitie. V optimistickom závere vyhrá. V tom pesimistickom AI ľudstvo vyhladí. V štúdii autori odporúčajú úplnú transparentnosť výskumu AI a širokú verejnú diskusiu o medziach umelej inteligencie.
Tomanová dopĺňa, že v dystopickej budúcnosti AI by niektoré autoritárske režimy technológiu využili na ovládanie spoločnosti a zotročenie ľudstva. „Alebo by tieto režimy nechali žiť privilegovaných a zabíjali ostatných, ktorí sú neefektívni.“ Karásek s ňou súhlasí, a preto pracuje na takzvanom „nepriateľskom strojovom učení“ (anglicky adversarial machine learning), teda metóde strojového učenia s cieľom oklamať modely a algoritmy tohto učenia zadaním klamlivých vstupných údajov. „Takéto systémy by vás mali ochrániť pred rozpoznávaním tváre,“ vysvetľuje s tým, že na Ukrajine sa momentálne testujú pokrývky, ktoré nepriateľským dronom zabraňujú v tepelnom rozpoznávaní. „Najlepší vývoj budúcnosti je pre mňa možnosť, že toto všetko robím zbytočne,“ uzatvára.