AI a gender
AI systémy, ako sú napríklad veľké jazykové modely, dokážu personalizovať svoje výstupy konkrétnemu používateľovi. Keďže však zrkadlia stereotypy získané na vstupe, predsudky vykazujú aj vo svojich výsledkoch. O tom, ako umelá inteligencia pracuje s predpojatosťou (bias) a znevýhodňuje marginalizované skupiny, prečo je pri vývoji technológií dôležitý prístup viacerých odvetví a ako možno zamedziť odrážaniu celospoločenských stereotypov, debatovali účastníci siedmej debaty AI horizontov na tému AI a gender.
O debate
Debata prebehla 25. 11. 2024
Moderovala ju Marta Martinová
Odkaz na Facebookovú udalosť
Autorom článku je žurnalista Jiří Labanc
Rečníkmi boli
Je absolventkou doktorského studia antropologie na Západočeské univerzitě v Plzni. Dlouhodobě se věnuje tématu mužů a maskulinit ve vzdělávání, dalším jejím výzkumným zaměřením je vztah genderu, vědy a technologií. Soustředí se především na kvalitativní výzkum. V NKC je postdoktorandkou podílející se na několika výzkumných projektech. V současnosti je také odbornou asistentkou na Katedře sociologie Univerzity Hradec Králové, kde vyučuje kvalitativní metodologii a genderová studia.
Jakub Konrád je inženýr v oblasti zpracování přirozeného jazyka (NLP) a expert na interakci člověk–stroj a konverzační umělou inteligenci. Byl členem a v letech 2020 a 2021 také vedoucím oceněného týmu Alquist (ČVUT). Dovedl tým k vítězství v soutěži Amazon Alexa Prize Grand Challenge 4. Jakub je spoluzakladatelem společnosti PromethistAI, start-upu vyvíjejícího digitální persony – AI bytosti s komplexními konverzačními a sociálními dovednostmi. Vystudoval kybernetiku a robotiku na ČVUT a v současnosti pracuje na doktorátu v oboru umělé inteligence a biokybernetiky.
Lingvistka se zaměřením na human-machine interakci. Působí jako designérka konverzačních řešení ve společnosti Promethist.ai. Zabývá se komunikací na rozhraních, ať už jde o interakci člověk—člověk, člověk—stroj nebo umělec—divák. Věnuje se akademické politice a zasazuje se o zlepšení postavení humanitních věd ve společnosti. Vystudovala fonetiku na FF UK, scenáristiku a dramaturgii na University of Glasgow.
Ako zamedziť predsudkom?
„Predsudky týkajúce sa genderu sú v spoločnosti veľkou témou a vidíme aj ich negatívne dôsledky,“ hovorí Jakub Konrád, inžinier v oblasti umelej inteligencie a spoluzakladateľ startupu Promethist. Generatívna umelá inteligencia do tejto témy vstupuje svojím odrážaním reality na základe predložených dát. „Vo chvíli, keď sú algoritmy či modely zle natrénované, môže to mať zásadné dopady na životy ľudí – či už ide o genderovú alebo inú nevyváženosť, ktorá môže zhoršovať životné blaho,“ dodáva Konrád s tým, že špičkou ľadovca sú nesprávne zacielené reklamy na internete.
Na bias, teda predsudok, možno nazerať z rôznych úrovní vývoja modelu umelej inteligencie. „V prvom rade je dôležité už v rámci vývoja zmapovať vstupné dáta, ktoré pre vývoj systému použijeme. Na základe vstupov je dobré predvídať, akým spôsobom by sa bias mohol v systéme prejaviť.“ Ďalším krokom je podľa Konráda odhalenie a odstránenie biasov pomocou techník spracovania dát.
Druhou kategóriou riešenia biasu je spätná väzba používateľov či interná analytika. Na základe získaných informácií je potom dôležité vracať sa k dizajnu systému a biasy odstraňovať.
Lingvistka zameraná na interakciu človeka a stroja Petra Slížková si myslí, že bias je pri akomkoľvek systéme chybou. „Prvým krokom k ich odstráneniu zo systému je potreba chyby pomenovať. A nezáleží na tom, či máme na mysli technologický alebo spoločenský systém.“ Slížková mieni, že v najhoršom scenári môže prítomnosť predsudkov vážne ublížiť skupinám, ktoré budú biasom znevýhodnené.
„Spätná väzba zákazníkov je najjednoduchším prístupom, ako odhaliť chybu,“ hovorí Slížková. „Problém je, že si zákazníkov môžete aj nahnevať a potom napíšu nepeknú recenziu na váš produkt,“ dopĺňa s tým, že ide stále o detaily, ktoré sa dajú biznisovo ošetriť, na rozdiel od reálnych hrozieb diskriminácie určitých skupín ľudí.
Konrád k tomu dodáva, že pri vývoji systému, ktorý je určený pre širokú verejnosť, je nutné hľadať špecifické menšinové prúdy a chyby s nimi spojené odstraňovať. „Príkladom je systém, ktorého používateľmi sú v 90 % prípadov muži, zvyšných 10 % sú ženy. Z dôvodu, že sa skrátka pohybujem v konkrétnom riešení, ktoré bude viac zaujímať mužov, sa tak ku mne dostane väčšinou pozitívny feedback, a to práve od mužov,“ hovorí.
Rozmanitosť znižuje chybovosť
Sociológia nevidí vynechávanie určitých marginalizovaných skupín pozitívne. Tvrdí to sociologička Nina Fárová zo Sociologického ústavu Akadémie vied ČR, ktorá sa venuje vzťahu genderu, vedy a technológií. „Jeden z veľkých problémov, na ktoré toto prehliadanie často naráža, je aj testovanie nástrojov a systémov. Bežne totiž neprebieha na širokom celku používateľov a spätná väzba prichádza až potom,“ hovorí Fárová. V rámci takzvaného „inkluzívneho dizajnu“ sa teda diskutuje o spôsobe, ako do testovania technológie zahrnúť marginálne skupiny, u ktorých sa očakáva výskyt komplikácií so stereotypmi.
„Z hľadiska prebiehajúcich sociologických výskumov o medzerách v tom, čo robia muži a čo ženy, sa diskutuje aj o diverzifikovanejšom zložení technologických tímov – teda kto technológie vyrába a ako sú vývojárske tímy rozmanité. Ukazuje sa totiž, že splnenie týchto faktorov napomáha k zníženiu početnosti biasov,“ dodáva Fárová.
Konrád dopĺňa, že je dôležité mať snahu zapojiť do testovania aj vývoja systému čo najviac perspektív. „Tie problémy často bývajú zložité. To znamená, že homogénna skupina bude na problematiku nazerať veľmi podobne. V rámci jednej zložky sa teda môžete dostať veľmi rýchlo vpred, ale ostatné zanedbáte – buď vám vôbec nenapadnú, alebo áno, ale dáte im nižšiu prioritu, pretože nedomyslíte možné dôsledky. Stále si však myslím, že sme bariéru v rámci našej firmy Promethist neprerazili natoľko, aby sme mali veľa vývojárok, rovnako ako máme vysoký počet vývojárov,“ mieni.
Odborníci zo startupu Promethist vyvíjajú takzvané digitálne persony. „Ide o agentov, ktorí na základe nastavenia môžu nezávisle fungovať. Majú 3D vizuálnu podobu a zároveň sú schopní komunikovať s osobou na druhej strane zariadenia,“ vysvetľuje Jakub Konrád. Promethist tieto persony ďalej poskytuje ďalším firmám na ich špecifické účely, napríklad ako asistentov na webových stránkach. „Ľudia majú prirodzenú tendenciu personifikovať to, s čím interagujú alebo čo vidia oproti sebe. A pretože naše digitálne persony vyzerajú ako ľudia, efekt personifikácie je ešte silnejší. V takej chvíli je otázka genderu zásadným faktorom,“ dopĺňa Konrád.
Nina Fárová spomína výskumy, podľa ktorých sú ľudia v rámci servisných služieb zvyknutejší na ženy. „Tým pádom aj zákazníci často lepšie reagujú na ženské hlasy. Zároveň sa na tomto základe od žien očakáva menšia asertivita a vyššia miera poslušnosti. Ženské hlasy nám majú navodzovať príjemné domácke prostredie,“ objasňuje Fárová.
Pár svetlých predsudkov
Podľa Petry Slížkovej je podstatné, aby technológie s rozsiahlym dopadom na spoločnosť nevyvíjali len technici. „Hoci je technická stránka základ, je potrebný multiodborový prístup. Vyvíjané systémy je vhodné dávať na spätnú väzbu aj ľuďom z iných odborov, ktorí uvažujú viac globálne a menej do hĺbky technickej stránky. Keď idú tieto prístupy ruka v ruke, vo výsledku urobia oveľa viac,“ hovorí Slížková.
Súčasné systémy umelej inteligencie majú podľa moderátorky diskusie Marty Martinovej tendenciu genderovú nevyváženosť posilňovať. Cituje štúdiu Berkeley Haas Center for Equity, Gender and Leadership, v ktorej výskumníci porovnávali 133 AI systémov z najrôznejších krajín. Jakub Konrád k tomu podotýka, že systémy momentálne skôr replikujú a propagujú biasy, ktoré sa vyskytujú naprieč spoločnosťou. „Musíme si však uvedomiť, že ľudia sa v posledných dvoch rokoch stali aktívnymi používateľmi nástrojov AI, ako je napríklad ChatGPT. To znamená, že tieto technológie zrazu majú priamy vplyv na ľudské uvažovanie aj na to, čo ľudia produkujú – či už vo svojom pracovnom alebo osobnom živote.“ Za predpokladu, že by sa podarilo efekt diskriminácie narovnať, z Konrádovej perspektívy by takéto systémy AI mohli čiastočne predsudky korigovať.
Nina Fárová menuje aj pozitívne príklady genderového skreslenia. „AI systémy sa učia zo stereotypných dát. Stereotypné sú preto aj výstupy. Niekedy však môžu byť nápomocné, napríklad v rámci algoritmov, ktoré sú schopné rozpoznať obeť domáceho násilia o tri roky skôr, než sa ňou skutočne stane. Alebo algoritmy, ktoré dokážu oveľa rýchlejšie diagnostikovať endometriózu než v prípade bežného lekárskeho vyšetrenia.“ Genderovú nerovnosť, ktorá je dôsledkom predsudkov pri zbere veľkých dát, podrobne rozoberá napríklad spisovateľka Caroline Criado-Perez vo svojej knihe z roku 2019 Neviditeľné ženy: Ako dáta a výskumy utvárajú svet pre mužov.
Podľa Konráda má umelá inteligencia v mnohých odvetviach transformatívny potenciál. „Môžeme na AI nazerať ako na prostriedok štandardizácie alebo nastolenia vyšších očakávaní toho, ako by rôzne systémy mali fungovať,“ dodáva.