Zakaj umetna inteligenca odseva kulturo svojih ustvarjalcev

Prisluhnite seriji Znanost brez kravate:

Dr. Nina Beguš je sogovornica 5. epizode podkasta Znanost brez kravate.

avtorici:

Maja Čakarić

Zarja Muršič

uredila:

Klara Škrinjar

V laboratorijih in pisarnah Silicijeve doline nastajajo tehnologije, ki vse bolj oblikujejo naš vsakdan: od načina, kako komuniciramo, do tega, kako razumemo svet okoli sebe. A če pogledamo globlje, vidimo, da se za umetno inteligenco skrivajo tudi manj vidni vzorci moči, izključevanja in kulturni predsodki, kar nas sili k ponovnemu razmisleku o tem, kaj sploh pomeni biti človek.

Dr. Nina Beguš, raziskovalka na presečišču humanistike in tehnologije na Univerzi Kalifornija v Berkeleyju ter avtorica knjige Umetna humanistika, te mehanizme spoznava od znotraj. Pri tem ugotavlja, da je tehnologija še vedno odsev moških in njihovih razmišljanj ter da so v algoritme neizbežno vpisane pristranskosti njihovih stvariteljev. V pogovoru razmišlja, zakaj nas fascinirajo podredljivi ženski roboti, kot sta Siri in Alexa, in zakaj je umetna inteligenca kot farmakon, hkrati zdravilo in strup, odvisno od tega, kdo drži pero, ki piše zgodovino prihodnosti.

Vaše raziskovalno delo se umešča v dolgo intelektualno tradicijo. Ko razmišljate o svojem področju, na ramenih katerih velikank stojite?

Brez dvoma N. Katherine Hayles. Pravzaprav sva se pred kratkim srečali na enem od simpozijev. Ko sem ji izročila svojo knjigo, me je prosila, naj se ji vanjo podpišem, in zapisala sem: »Moji intelektualni materi.« To je zame res bila, čeprav nisva nikoli sodelovali in se dolgo sploh nisva osebno poznali.

Ko sem se v letih 2012 in 2013 začela ukvarjati s humanistiko na presečišču z umetno inteligenco, je bilo to še precej zgodaj. Potrebovala sem ljudi, ki so že ubrali to pot. In takšni so seveda obstajali. Njeno delo je bilo izjemno zgodnje; že v osemdesetih letih je pisala o posthumanizmu, imela poglobljeno znanje o znanosti in ga prenašala v literarne študije. Svojim intelektualnim vprašanjem in raziskovanju je dovolila, da jo vodijo onkraj disciplinskih meja, pri čemer je te meje niso omejevale. To se mi je zdelo izjemno pomembno.

Tudi sama sicer izhajam iz literarnih ved, vendar sem želela razviti širši, bolj celosten humanistični pristop k umetni inteligenci. Njeno delo mi je bilo kot zvezda vodnica pri nečem, kar se je sprva zdelo neoprijemljivo in zelo široko vprašanje: kako se ukvarjati s tehnologijo, ki se je razvijala pred našimi očmi, in kako se nanjo odzvati z globokim humanističnim uvidom ter morda tudi z etično refleksijo.

Katera njena dela in poudarki so pri tem ključni?

Njeno najbolj znano delo je knjiga How We Became Posthuman (Kako smo postali posthumani). To je verjetno njeno prvo resnično prelomno delo. Kasneje se je ukvarjala tudi s temami, kot so stroji, ki pišejo, načini mišljenja ter razmerje med človekom in tehnologijo. Še danes je zelo aktivna raziskovalka in je pred kratkim izdala novo knjigo.

Njeni ključni uvidi se nanašajo predvsem na zabrisovanje mej med človeškim in tehnološkim. Opozarja, da filozofska in ontološka zasnova modernosti, v kateri so narava, tehnologija in človek strogo ločeni, ne deluje več v svetu, kakršnega smo razvili. V tem smislu njeno delo predstavlja pomembno kritiko kartezijanske miselne tradicije. Ta kritika je bila relevantna že ob izidu knjige, danes pa postaja še toliko pomembnejša zaradi razvoja umetne inteligence, biotehnologije in drugih znanosti, ki nas silijo k ponovnemu razmisleku o tem, kaj sploh pomeni biti človek.

Ko govorimo o literaturi, ki zre v prihodnost, ne moremo mimo dejstva, da so zlasti ameriške avtorice znanstvene fantastike že v 60. letih pomembno preoblikovale razmislek o tehnologiji in prihodnosti. Kaj prinese takšen spolno občutljiv pogled?

Ko govorimo o znanstveni fantastiki … zlasti v ameriškem prostoru je bil ta žanr dolgo skoraj izključno namenjen moškim avtorjem in mladim moškim bralcem. Šele postopoma, predvsem v šestdesetih letih prejšnjega stoletja, se je to začelo spreminjati. Številne pisateljice, kot sta C. L. Moore in Alice Sheldon, so morale pisati pod psevdonimi ali moškimi imeni; Sheldonova je denimo ustvarjala kot James Tiptree Jr. Že to jasno pokaže, kako omejen je bil dostop žensk do tega literarnega polja.

Povedno je tudi, kako so se pisateljice drugače lotile Pigmalionovega mita. Ta je v svojem jedru moška fantazija, znana že od Ovida naprej. V zahodni literaturi je skoraj vedno predstavljena skozi moško perspektivo: moški ustvari umetno žensko in se vanjo zaljubi, medtem ko ta ostaja brez lastnega glasu in zmožnosti samostojnega delovanja. Z vstopom ženskih avtoric, zlasti z Mary Shelley in kasneje z anglofonimi pesnicami 19. stoletja, se fokus premakne. V ospredje stopi perspektiva umetne ženske, njeno doživljanje stvaritve, nadzora in postopnega osamosvajanja. S tem se mit temeljno preoblikuje.

Se podobno pokaže tudi v znanosti?

V znanosti se mi kot problem kaže pretirana razdeljenost na posamezne discipline. Moderna produkcija znanja je humanistiko, naravoslovje in inženiring strogo ločila, kar se jasno kaže tudi v strukturi univerz. Posledica je vedno ožji fokus znotraj posameznih disciplin in izguba širših, sintetičnih uvidov. Ti pa so mogoči le z interdisciplinarnim pristopom, s prestopanjem meja med področji.

Prav k temu poziva tudi moja knjiga Umetna humanistika. Ker so sodobna raziskovalna vprašanja že po svoji naravi interdisciplinarna, moramo takšen način mišljenja tudi zavestno razvijati.

Kako pa takšen pristop deluje v konkretnem raziskovalnem okolju?

O interdisciplinarnosti se v znanosti govori že od 90. let naprej, vendar jo je v praksi težko uresničevati v institucijah, ki so organizirane tako, da onemogočajo sintetične uvide. Sama poskušam te meje na različne načine presegati.

Že pet let na primer delam v naravoslovnem laboratoriju skupaj z mikrobiologi, biofiziki in raziskovalci, ki razvijajo modele strojnega učenja. Ukvarjajo se s preučevanjem zemlje in podnebnih sprememb.

Do sodelovanja je prišlo, ko so me povabili v laboratorij in opozorili na težave pri opisovanju svojega dela. Preučevali so del zemlje v Koloradu, kjer analizirajo prst, vendar niso znali ustrezno opisati dejstva, da so v tem okolju prisotni tudi ljudje, saj gre za smučišče. Ta kompleksnost – kako ljudi izločiti ali pa jih vključiti v študije – je bila zanje prevelika, zato je sploh niso omenjali. Človek je bil v njihovih opisih prisoten zgolj kot nekakšen »motilec«. Bili so frustrirani, ker so ugotavljali, da opisi njihovih eksperimentov ne ustrezajo dejanskemu znanstvenemu delu.

Rekli so: »Poskusimo ugotoviti, kako bi našli boljši jezik za opis našega področja biogeokemije in odnosa do zemlje na različnih ravneh, od mikrobiologije navzgor.« Začeli smo se intenzivno pogovarjati in ugotovili, da je to mogoče; da imajo v resnici že oblikovano lastno filozofijo delovanja svoje znanosti. Skupaj smo nato tudi napisali znanstvene članke in celo knjigo. Moja vloga je bila predvsem ta, da sem iz njihovega laboratorijskega dela izluščila to implicitno filozofijo. Vse skupaj pa se je začelo s frustracijo: z občutkom, da humanistični jezik, ki jim je bil na voljo za opis raziskovalnih pogojev, ni ustrezal njihovemu dejanskemu delu.

Če iz humanistike stopimo še na polje tehnologije: ukvarjate se tudi z vprašanjem, kako stroje učiti človeških vrednot. Kako je zlasti ob dejstvu, da velike jezikovne modele razvija le peščica podjetij, sploh možno preprečiti, da bi v algoritme zapisovali vrednote posameznih privilegiranih skupin?

Današnji razvoj umetne inteligence je res skoncentriran v rokah peščice podjetij. To ni nujna realnost, je pa trenutno prevladujoč model. Kljub temu ostajam optimistična in verjamem, da bomo našli drugačne pristope. Pomembno je poudariti, da so današnji jezikovni modeli tesno povezani s kapitalizmom: nastajajo v Silicijevi dolini in njihov osnovni cilj je dobiček. A obstajajo alternative. Tudi na univerzah razvijamo drugačne modele, ne zgolj velikih, komercialno usmerjenih transformerjev.

Vprašanje vrednot je v osnovi skoraj nerešljivo, a bi ga lahko obravnavali bistveno bolje. Večina ljudi je izključena iz procesa nastajanja teh tehnologij. Če želiš ustvariti tržno uspešen produkt, oblikuješ splošen model v obliki asistenta, prijaznega lika, ki pomaga uporabniku. Claude ali Chat GPT nista nevtralna sistema, temveč konstruirana lika, ki posredujeta med uporabnikom in tehnologijo.

Pri tem ne smemo pozabiti, da imajo podatki za treniranje modelov vedno družbeno razsežnost. Umetna inteligenca je v resnici zelo kompleksna tehnologija, manj tehnična, kot se pogosto zdi. Kako torej ustvariti sistem, ki bi upošteval različne vrednote? Že znotraj ene države je to skoraj nemogoče, kaj šele na globalni ravni.

Poleg tega modele, ki jih razvije nekaj podjetij, uporabljamo v zelo različnih kulturnih okoljih. Ljudje so odvisni od omejenega nabora sistemov. V manjših jezikih, tudi v slovenščini, pa se soočamo še s pomanjkanjem podatkov, zato smo pogosto prisiljeni posegati po sorodnih jezikih.

Zato veliko razmišljam o kulturni umetni inteligenci. V preteklosti se je tehnološka etika uvajala postopoma, z družbenim konsenzom. To, recimo, še vedno velja za medicino. Digitalne tehnologije so ta proces preskočile. Danes imamo klepetalne sisteme, ki ponujajo celo virtualno psihološko podporo, ne da bi jo ustrezno nadzorovali.

Ključno vprašanje je, katere vrednote želimo odnesti v prihodnost. Prvi korak je skupen razmislek, drugi pa vključevanje humanistov neposredno v razvoj tehnologije. Etika ne more biti dodatek na koncu procesa; prisotna mora biti že od začetka.

O tem govori tudi moja knjiga Umetna humanistika. Humanisti morajo sodelovati pri samem oblikovanju tehnoloških produktov, ne pa zgolj popravljati posledice. Če od začetka ne razmišljamo, kaj gradimo, tehnologija nujno ponovi obstoječe vzorce moči.

Naj navedem konkreten primer iz svetovalnega dela v Silicijevi dolini. Podjetje je želelo razviti virtualno bitje in nas prosilo za pomoč pri vprašanju čustev in spomina. Najprej smo jih vprašali, zakaj sploh govorijo o »bitju« in kakšno prtljago ta pojem že vnaprej prinese s seboj. Delno smo jih uspeli ustaviti, a tržnega interesa za takšne produkte ni bilo mogoče zares zajeziti. Kjer je trg velik in zaslužek enostaven, je odpor zelo omejen.

Zakaj pa so virtualni roboti oziroma asistenti tako pogosto zasnovani kot ženske, kot sta Siri in Alexa? Kako si razlagate to izbiro in kakšno vlogo ima spol pri takšnih tehnoloških podobah?

Prav to je bil razlog, da sem se s to temo sploh začela ukvarjati že leta 2012, ko sem prišla v ZDA in prvič srečala Siri. Presenetilo me je, da ni zgolj glasovni iskalnik, temveč virtualna asistentka z ženskim likom, zasnovana tako, da vzpostavlja odnos z uporabnikom.

Njeni odgovori niso bili zgolj funkcionalni, ampak trivialni, skoraj intimni. Če si jo vprašal: »Katera je tvoja najljubša žival?«, je sicer dodala standardno pojasnilo, da je le programska oprema, a hkrati odgovorila z nečim povsem človeškim, na primer, da ima najraje pse, in vprašanje vrnila uporabniku. To je bil jasen signal, da ne gre zgolj za orodje, temveč za lik.

Ko sem to povezala s širšim dogajanjem v industriji, z velikimi preboji v strojnem učenju, ter s fikcijo – z zgodbami, filmi, kot sta Ona in kasneje Ex Machina –, je postalo očitno, kako močna je vloga fikcije v tehnoloških imaginarijih. Takrat sem vedela, da sem našla temo, s katero se moram resno ukvarjati.

Kaj se tukaj v resnici dogaja? Zakaj so ta virtualna bitja tako pogosto ženske? Zdi se, da gre za kombinacijo podrejenosti, objektifikacije in uslužnosti. Čeprav so podjetja kasneje ponudila tudi druge glasove, je osnovni vzorec še vedno zelo jasen. Primer organizacije OpenAI je zgovoren: ko je igralka Scarlett Johansson sama stopila v javnost in povedala, da je organizacija želela za svoj produkt Sky uporabiti glas, ki spominja na njenega, ne da bi se sama s tem strinjala. Če tega ne bi storila, za to morda sploh ne bi vedeli.

Ko podjetja danes odkrito govorijo o vključevanju UI-spremljevalcev in erotike v jezikovne modele, postane jasno, da ne gre le za naključne tendence, temveč za zavestno oblikovanje določenega tipa odnosa. Očitno je, da gradijo nekaj, kar jim je film Ona že prej sugeriral – in uporaba glasu Scarlett Johansson bi to povezavo še dodatno utrdila.

Ti tehnološki liki so zasidrani v specifičnih kulturnih tradicijah. V knjigi govorim o umetni inteligenci na podlagi lika Elize Doolittle v Shawovi igri Pigmalion. Elize njen Pigmalion, Profesor Higgins, ne obravnava kot celostno osebo, temveč kot nekoga, ki ga je treba naučiti pravilnega govora, kar močno spominja na zgodnje zasnove virtualnih asistentk, na primer že pri tem, da se profesor Higgins nanjo naveže, ne da bi jo priznal kot enakovredno. Presenetljivo je, kako to klasično literarno delo močno rezonira z današnjim razvojem umetne inteligence, kar ni povsem naključno: Alan Turing je bil velik ljubitelj Shawovih dram. Kolega je ob tem dodal še zanimivo misel: da bi bila v britanskem kulturnem kontekstu idealna oblika virtualnega asistenta pravzaprav butler – ne ženska asistentka, temveč strežaj.

Kdor dela na področju evolucijske antropologije, bi rad vedel, ali je kdo preučeval socialno učenje z vidika fizike ali jezikoslovja. Se vam zdi, da lahko umetna inteligenca raziskovalcem pomaga videti onkraj lastne discipline in odkriti povezave, ki bi jih sicer spregledali?

Sem dosti bolj optimistična kot veliko drugih v humanistični sferi. Zame ima UI velik potencial, saj nas lahko pripelje do novih uvidov zaradi popolnoma drugačnega procesiranja informacij. To ne zadeva le odkritij v medicini, ampak tudi humanistike, na primer pri razvozlavanju starih rokopisov. Pomembna je ideja, da bo imelo več ljudi dostop do znanja, prilagojenega njihovi ravni.

Problem jezikovnih modelov pa je, da niso deterministični, ampak probabilistični, zato vsakemu uporabniku predstavijo malo drugačno sliko in se nanje ne moreš zanašati kot na dejstva. Inženir pri podjetju Anthropic mi je pojasnil, da se da v modelu videti, kdaj ta zavaja oziroma govori neresnico, ker ve, da določenih stvari (npr. kako vlomiti v sef) ne sme povedati.

Tu je veliko dela okrog tega, kako modeli delujejo in kakšni so njihovi rezultati, saj imajo ogromen vpliv na družbo. Če model uporablja toliko ljudi, nastane kulturna zanka, ki omogoča tudi manipulacijo in dezinformacije. Na umetno inteligenco vedno gledam kot na farmakon: je hkrati zdravilo in strup. Važno je, kako jo uporabimo. Zaupam v človeški značaj – ljudje smo dobri v reševanju problemov, a hkrati tudi v ustvarjanju novih.

Ko govorimo o tem, kako močno družbo oblikujejo današnji modeli umetne inteligence, se ne moremo izogniti vprašanju, kdo te tehnologije sploh ustvarja. Ada Lovelace je bila ena od začetnic računalništva, danes pa med vodilnimi v UI prevladujejo moški. Kako vi gledate na ta “boy’s club” v tehnološki industriji?

Nedvomno je vpliv Kalifornije močan. Ker sem živela tako na vzhodni kot na zahodni obali, sem pobliže spoznala specifično kulturo, ki je popolnoma vpisana v produkte, ki se nato širijo po vsem svetu. Ti produkti so nesporno odsev tehnologov in njihovega razmišljanja. Res je, da v teh poklicih prevladujejo moški, deloma zaradi usmerjenosti k inženirstvu, pa tudi zato, ker vodenje takšnih podjetij ni preprosto.

Seveda so bile na vodilnih položajih tudi ženske; pri Facebooku Sheryl Sandberg ali Susan Wojcicki, ki je prevzela YouTube. Vendar vodenje takšnega giganta zahteva pravega človeka. Pri tem ne gre toliko za vprašanje spola, temveč za sposobnost delovanja na izjemno zahtevnem in stresnem položaju, ki terja jasno vizijo.

V Silicijevi dolini se veliko govori o genijih, pri čemer je Steve Jobs odlična prispodoba. Če pogledamo zgodovino znanosti in izumov, vidimo, da do prebojev dejansko prihaja s sodelovanjem številnih ljudi. Znanost smo zgradili tako, da vsak prispeva svoj delček, kar na koncu privede do preboja. Kljub temu pa zgodovino velikih osebnosti, ki so večinoma moški, še vedno malikujemo. Okoli določenih posameznikov, kot je bil Jobs, se ustvarja mitologija. Danes je to Sam Altman, čez nekaj let bo nekdo drug.

Zdi se mi, da je feminizem v Ameriki drugačen od tistega, ki smo ga vajeni v Evropi. Mnogim Američanom je ideja o ženski na vodilnem položaju še vedno skoraj nepojmljiva, kar se odraža tudi na predsedniških volitvah. Ta mitologija se gradi predvsem okoli moških. Samuel Morse je dober primer: s telegrafom je zgradil imperij, ker je znal izum prodati. Patentiral ga je, ustanovil podjetje in pridobival sredstva, saj je vsakič pokazal napredek. Po drugi strani je imel Charles Babbage, sodelavec Ade Lovelace, briljantne ideje, a stroja nikoli ni realiziral, zato so viri financiranja presahnili. Ob njegovi smrti je veljalo prepričanje, da iz njegovega dela ni nastalo nič oprijemljivega, danes pa sta z Ado Lovelace veliki figuri v zgodovini računalništva.

Zgodovina se torej piše s fokusom na posameznike, ki jih častimo kot izumitelje, kot da bi delovali v izolaciji, kar pa nikoli ne drži. Zaradi feminističnih pristopov se o pomenu Ade Lovelace dejansko glasneje govori šele zadnjih 15 ali 20 let. Danes tako poznamo Inštitut Ade Lovelace, Inštitut Alana Turinga in podobne ustanove.

Ste zato optimistični, da se bo zgodovina prihodnosti pisala širše, da bo manj osredotočena na ozke, manj raznolike poglede in bolj v korist širše družbe in planeta?

Menim, da se danes o teh temah razpravlja veliko intenzivneje. Če primerjam način, kako smo se etike lotevali pred desetimi leti in kako to počnemo danes, so spremembe očitne. Vedno je obstajal demokratični pristop, koncept foruma, kjer so se v enem prostoru zbrali ljudje različnih družbenih razredov, spolov, ras in strok ter razpravljali o določenem problemu.

Danes pa delujemo na družbeni ravni, ki si jo komaj predstavljamo, sploh če pomislimo, da nas je na svetu osem milijard. Poleg tega pa ne vemo, koliko virtualnih entitet sodeluje z nami in skupaj z nami razmišlja o problemih. To predstavlja kolosalno družbeno spremembo.

Poglejmo primer finančne industrije. Vidimo, da ima lahko vsak zaposleni od tri do deset pomočnikov z umetno inteligenco. To vzpostavlja popolnoma nov odnos do dela, saj ti ljudje sočasno opravljajo svoje prvotne naloge in trenirajo umetnointeligentne agente.

Vrnimo se k izhodišču. Ob vaši omembi N. Katherine Hayles in njenega dela Kako smo postali posthumani se da pomisliti tudi na Descartesa in njegov dualizem telesa in duha. Kot da se ti koncepti med seboj presenetljivo prepletajo.

Fama okoli umetne inteligence se ustvarja že od samega začetka, še preden smo v petdesetih letih prejšnjega stoletja sploh dobili termin zanjo. Že ob pojavu prvih nevronskih mrež so denimo v časopisu The New York Times pisal o »zarodku računalnika, ki bo nekoč govoril in bral«. Takšna pričakovanja so bila vedno prisotna, sočasno z njimi pa tudi velik skepticizem.

Zavedati se moramo, da ljudje, ki prodajajo te modele, vodijo posel. Svoj produkt morajo predstaviti kot nekaj velikega, kar bo spremenilo svet. V Silicijevi dolini poteka bitka za novosti in preboje; če želiš prodati svoje delo, moraš ljudi prepričati, da z njim spreminjaš svet. Poslušamo torej zelo ozko skupino ljudi, ki ima od tega dobiček in nam govori, kaj vse umetna inteligenca zmore.

Osebno menim, da gre res za veliko tehnologijo, primerljivo z izumom elektrike, ki bo v 21. stoletju spremenila svet. A razvoj ne poteka tako hitro, kot pogosto napovedujejo zagovorniki singularnosti (prelomnica, ko bi umetna inteligenca presegla človeško inteligenco in bi se začela izboljševati sama, brez našega nadzora, op. a.). Poglejmo ljudi, ki so bili del tega razvoja, na primer Geoffreyja Hintona. V znanstvenih krogih je bil desetletja podcenjen, ker njegovi modeli niso delovali dobro. Tako je bilo preprosto zato, ker nismo imeli dovolj digitalnih podatkov in računalniške moči. Zdaj smo te pogoje dosegli. Vendar je moral v znanstveni skupnosti marsikaj prestati, da je prišel do te točke. Tudi v Sloveniji smo se z nevronskimi mrežami ukvarjali že v osemdesetih letih. Ne vem, kako je Hinton to preživel; potreboval je ogromno vere v svoje delo.

Zdaj, ko končno slavi zmagoslavje, pa nas opozarja, da gre za nevarno stvar. Zakaj? Razloga sta dva. Prvič, čuti osebno odgovornost za svojo stvaritev. Ko opazuje razvoj in napoveduje prihodnost, vidi, kako hitro gredo lahko stvari narobe. Drugič, mislim, da pri njem prevladuje spoznanje, da ima umetna inteligenca prednost ravno zato, ker nima telesa. Nima bioloških omejitev, kakršne ima človek. Informacije se pri nas, v človeškem jeziku, prenašajo bistveno počasneje in bolj omejeno kot med stroji. Hinton torej vidi našo omejenost, ki je umetna inteligenca nima. Njegova razlaga o nevarnosti umetne inteligence postane smiselna, ko razumemo premise, ki so ga pripeljale do teh zaključkov.

Ustvarjanje podkastov in drugih vsebin je na Javnem razpisu za (so)financiranje aktivnosti popularizacije znanosti v letu 2025 denarno podprl ARIS.

Maja ČakarićDecember 30, 2025Strašno hudi, Znanost brez kravate, Nina Beguš, znanost intervju