955 OCENA / REVIEW Paolo Benanti. Human in the LOOP: Decisioni umane e intelligenze artifi- ciali. Mondadori: Milano, 2022. 161 str. ISBN 979-12-206-0047-7. Paolo Benanti, profesor na Papeški univerzi Gregoriana v Rimu, raziskuje zapleteno razmerje med človeškim od- ločanjem in UI. Pomenljivi naslov knjige Paola Benantija, ki je izšla leta 2022, Hu- man in the LOOP: Decisioni umane e in- telligenze artificiali, bi lahko v slovenšči- no prevedli Človek v zanki: Človeške od- ločitve in umetna inteligenca. V tej knji- gi avtor obravnava ključno vprašanje – kako ohraniti človeško delovanje in do- stojanstvo v dobi, ko stroji vse bolj vpli- vajo na naše odločitve? Osnovno vpra- šanje, ki si ga Benanti postavi na samem začetku in se ponavlja skozi vso knjigo, je: »Če umetna inteligenca (UI) postane nevidna kot voda, kakšne posledice lah- ko pričakujemo za človeka in družbo?« Kot voda, skozi katero lahko vidimo in je na neki način nevidna, a je z razvojem digitalne tehnike omogočila ponoven razvoj UI. Pri tem razvoju so težnje, ki želijo zakriti njegove negativne posledi- ce za človekovo dostojanstvo. Zato je naloga etike, da pri razvoju nenehno so- deluje: opozarja na probleme oz. zanke, jih dela vidne. Knjiga je razdeljena na dva dela. V pr- vem je obravnavan razvoj inteligentnih strojev in njihova sposobnost sprejema- nja odločitev na podlagi podatkov in al- goritmov. Benanti trdi, da umetna inte- ligenca sicer lahko obdeluje velike koli- čine informacij in ugotavlja povezave, vendar pa ji manjkata razumevanje in etično razmišljanje, ki sta značilna za človeško odločanje. To je razlog, zakaj morajo ljudje ostati v te procese vklju- čeni in biti nanje posebej pozorni: zago- toviti morajo, da umetna inteligenca ne bo delovala samostojno, kar bi lahko privedlo do odločitev brez moralnega premisleka (9–86). V drugem delu so obravnavane raz- lične etične dileme, kot so tiste, ki jih ponazarja eksperiment ‚moralni stroj‘; poudarjena je zapletenost človeških od- ločitev, ki jih ni mogoče enostavno zre- ducirati na algoritemske modele. Be- nanti znova svari pred tem, da bi stroji postali ‚nevidne‘ sile v naših življenjih, podobno kot voda za ribe – vseprisotni, a neopaženi. Treba je zagotoviti, da bodo sistemi UI zasnovani ob upošteva- nju človekovega dostojanstva in pravic ter preprečiti zdrs v utilitarizem brez etičnega razmisleka (89–150). Benanti poudarja, da je človek biolo- ško pomanjkljivo bitje, saj brez pripo- močkov ne more preživeti v nobenem naravnem okolju. V tem biološkem sta- nju je slabši od živali, saj nima posebej prilagojenih organov, ki bi ga neposre- dno zaščitili, ampak je preživetje odvi- sno od njegove sposobnosti, kako lahko svoje pomanjkljivosti preseže s pomo- čjo orodij. Zato človek ‚manjkajoče or- gane‘ nadomešča, krepi obstoječe in razbremenjuje delovanje organizma (12–15). 956 Bogoslovni vestnik 84 (2024) • 4 Vendar pa človek svojega preseganja ne razvija le na funkcionalni ravni, am- pak tudi simbolni. Med temi najstarej- šimi sledovi so jamske poslikave in po- grebni obredi, ki kažejo na človekovo iskanje in poskus izražanja človeškega presežka. Človek je torej po svoji iden- titeti duhovno bitje – in ta njegov kon- stitutivni presežek se nahaja na križišču njegovega doživljanja sveta in tehnolo- gije: zmožnost delovanja, izražanja, skli- cevanja na ‚onostransko‘ predstavlja globoko jedro njegovega eksistencialne- ga doživljanja. Toda v trenutku, ko je za- čel ustvarjati sintetično resničnost, je človekov odnos do sveta postal proble- matičen. Izvor te resničnosti je v prese- čišču več pojavov: industrializacije, vzpona kapitalističnega gospodarstva konec 19. stoletja, vojn in državnih in- teresov ter vrste drugih konfliktov 20. stoletja. Avtor je prepričan, da gre da- nes za revolucijo, ki so jo na področje znanosti in tehnologije prinesli računal- niki in računalništvo. Z računalnikom lahko skoraj vsak človeški problem spre- menimo v statistične podatke, grafe in enačbe. Zanj je resnično zaskrbljujoče to, da s tem ustvarjamo iluzijo, da so ti problemi rešljivi z računalniki. Danes se za dovolj natančno napovedovanje upo- rablja korelacija. Ker smo se na stvar- nost ne samo naučili gledati kot na niz podatkov, temveč smo se velike količine podatkov naučili tudi zbirati, smo se opremili z novim orodjem za raziskova- nje: ne potrebujemo več kamenčkov, kalkulatorjev, temveč nova orodja, ki nam omogočajo vidnost povezav v veli- kem podatkovju. Vendar pri ugotavlja- nju morebitnih vzročno-posledičnih po- vezav (korelacij), na katerih deluje UI, pogosto prihaja do lažnih korelacij. O njih govorimo takrat, ko med dvema pojavoma, ki statistično sicer sta v ko- relaciji, ne obstaja nobena dejanska ne- posredna vzročno-posledična povezava (16–50.) Računalnik je postal medij par excel- lence 21. stoletja prav zato, ker obdelu- je jezik vseh drugih medijev v digitalni obliki. Zlasti je orodje za pisanje za vse: novinarje, pisatelje, znanstvenike, inže- nirje, pesnike in umetnike. V veliki meri je spremenil tradicionalne tehnike pisa- nja, enako pa velja za urejanje, foto- montažo in sam tisk (51–52). Cilj UI – ki je mlada disciplina, stara komaj šestdeset let in izhaja iz sklopa znanosti, teorij in tehnik – je posnema- nje kognitivnih sposobnosti človeka. Pri opisu UI se uporabljajo pojmi, ki so iz- posojeni iz matematične logike, statisti- ke, verjetnosti, računalniške nevrobio- logije in računalništva. Problem, ki ga avtor vedno znova izpostavlja, je tran- sparenost delovanja: velike težave so pri razložljivosti procesov odločanja, ki jih UI izvaja (52–59). Računalništvo postane sredstvo, s ka- terim računalnik lahko odredi končno zaporedje osnovnih operacij (tistih, ki jih procesor izvede v določenem času in jih ni mogoče dodatno zmanjšati ali raz- členiti v druge operacije za pretvorbo vhoda v koherenten izhod). Med drugim velja poudariti, da avtor omenja temeljno razliko med računal- niškimi algoritmi in programsko kodo. Prvi so logični računski postopki za pri- dobitev rezultata z združevanjem osnovnih operacij; koda je izražena s programskim jezikom: formalnim jezi- kom, zasnovanim za realizacijo sklopov navodil (vhod), s katerimi se ustvarijo izhodni podatki (izhod). Razvojni jeziki abstraktne človeške pojme v bistvu pre- 957 Ocena tvarjajo v strojno kodo, tj. jezik, s kate- rim deluje računalnik. Pojma sta pove- zana, vendar na različnih ravneh. Raču- nalniški algoritem je mogoče pretvoriti v različne programske kode. Te kode se lahko razlikujejo ne le po različnih sin- taksah (formalnih jezikih, ki se danes uporabljajo), temveč tudi po načinu, kako programer logični postopek za op- timizacijo izvede jezikovno (programski slog). Algoritem je končna zaporedna vrsta osnovnih pravil ali navodil, ureje- nih po natančnem vzorcu, ki omogoča njihovo izvajanje korak za korakom za reševanje določene vrste problema in ustvarjanje niza končnih podatkov na podlagi niza začetnih podatkov. Algori- temska navodila so lahko ali linearna ali ciklična. V sodobnih programskih jezikih lahko algoritem s pomočjo tako imeno- vanih knjižnic prikliče druge algoritme zunaj kode in tako uporablja algoritme, ki jih izvajajo drugi. Sodobna koda je še posebej zapletena – ne le zaradi kom- pleksnosti problemov, temveč tudi zato, ker noben programer programa dejan- sko ne napiše popolnoma sam: ustvari ga z vključitvijo in izvajanjem algorit- mov, napisanih in razdeljenih v tako imenovanih ‚knjižnicah‘ (60–71). Danes razvoj ni usmerjen toliko v strojno učenje kot v globoko učenje. To temelji na različnih ravneh predstavitve, ki ustrezajo hierarhijam značilnosti de- javnikov ali pojmov, kjer so pojmi višje ravni opredeljeni na podlagi pojmov nižje ravni. Z drugimi besedami, stroj je tisti, ki sam najde vzorce in podatke po- veže tako, da se med njimi pojavi po- men – nepovezane podatke zavrže ali pa določi kategorije podatkov, za katere se je zdelo, da za odgovor na vprašanje niso pomembni. To lahko povzamemo v treh sposobnostih stroja. Prva sposob- nost, ki jo avtor opredeli kot videnje ali opazovanje, pomeni, da je stroj v po- datkih sposoben zaznati elemente pra- vilnosti. Druga sposobnost vključuje zmožnost predvidevanja učinkov na- mernih sprememb v okolju. Od tod iz- haja sposobnost predvidevanja, katera od več možnih sprememb bi lahko pri- vedla do želenega rezultata. Da bi dose- gli to zavedanje, je potrebna tretja ra- ven: domišljija. Cilj tako imenovane močne umetne inteligence je ustvariti stroje s človeku podobno inteligenco – stroje, ki so sposobni vzročnega sklepa- nja in pogovora z ljudmi (72–79). Prav korelacija je danes ključ, s po- močjo katerega je mogoče iz podatkov pridobiti informacije. Korelacija v stati- stiki pomeni razmerje med dvema na- ključnima spremenljivkama, tako da vsaka vrednost prve spremenljivke z do- ločeno pravilnostjo ustreza vrednosti druge. Ni nujno, da gre za dejansko vzročno-posledično povezavo, ampak preprosto za tendenco spreminjanja ene spremenljivke v odvisnosti od dru- ge. Veliko podatkovje razkriva, da je ide- al ugotavljanja vzročnih mehanizmov iluzija: priča smo nastanku nove episte- mološke paradigme, ki prehaja od vzročnosti h korelaciji. Vendar pa obsta- ja težava v načinu zbiranja in označeva- nja podatkov (80–83). V nadaljevanju avtor v povezavi z zbi- ranjem podatkov izpostavlja nekaj pri- merov vprašanj: Zakaj je bil nabor po- datkov ustvarjen? Kdo je oblikovanje nabora podatkov financiral? Kakšna predhodna obdelava/čiščenje je bilo opravljeno? Če se sklicujete na ljudi – ali so jim povedali, za kaj bo nabor po- datkov uporabljen, in ali so se s tem strinjali? Če da, na kakšen način? Ali so jim bili na voljo mehanizmi za preklic 958 Bogoslovni vestnik 84 (2024) • 4 privolitve v prihodnosti ali za določene namene? Ali se bo zbirka podatkov po- sodabljala? Če da, kako pogosto in kdo jo bo posodabljal? Sklicuje se na Isaaca Asimova, ki je pred več kot petdesetimi leti predvidel potrebo po etičnih pravilih, ki bi usmer- jala vedênje robotov. Ko obravnavamo zmožnost delovanja strojev, zato najprej pomislimo na tri zakone robotike Isaaca Asimova: 1. robot človeka ne sme po- škodovati ali z neukrepanjem dopustiti, da bi bil človek poškodovan; 2. robot mora ubogati ukaze ljudi, razen kadar so ti ukazi v nasprotju s prvim zakonom; 3. robot mora varovati svoj obstoj, če to varovanje ni v nasprotju s prvim ali dru- gim zakonom (84–85). Benanti je prepričan, da bi se brez izrecnega etičnega upravljanja UI, algo- ritmov in njihovega povezovanja z lju- dmi lahko znašli pred ustvarjanjem tre- tjega (umetnega) kognitivnega sistema. Človeški razvoj je treba razumeti kot cilj in ne kot sredstvo. Govoriti o razvoju torej pomeni, da v središče pozornosti ne smemo postavljati tehničnih zmoglji- vosti, temveč mora tam ostati človek. Etična uporaba tehnologije danes po- meni, da si inovacije prizadevamo spre- meniti v razvoj; pomeni usmerjanje teh- nologije v razvoj in za razvoj – ne pa zgolj iskanje napredka kot cilja samega po sebi (86–113). Avtor svoje razmišljanje zaključuje s trditvijo, da so potrebni različni pristopi – vključno s humanističnim pristopom in tudi prispevkom različnih religij. Ra- zvoj, ki je za soočanje z izzivi spreminja- joče se dobe sicer potreben, bi moral biti globalen, pluralen, ploden in prija- zen. Z izrazom globalen nakazuje, da bi moral biti dostopen vsem ljudem brez izjem. S pluralnostjo želi poudariti po- zornost na družbeni kontekst, v kate- rem živimo, in spoštljiv odnos do različ- nih kultur. Usmerjenost v prihodnost pa izraža z besedo ploden – tj. sposoben postaviti temelje za prihodnje genera- cije. Naposled izpostavlja tudi prija- znost oz. spoštljivi odnos do zemlje, ki nas gosti, do virov in do vseh živih bitij (122–151). Ob koncu lahko poudarimo, da je knjiga odličen komentar na aktualno dogajanje, ki poteka v presečišču teh- nologije in etike. Avtor zagovarja mo- del, pri katerem človek ostaja sestavni del procesov odločanja, ki vključujejo UI. Edino na tak način lahko naš moral- ni kompas v vse bolj avtomatiziranem svetu ohranimo. Knjiga je poziv obliko- valcem politik, tehnologom in širši druž- bi, naj razmislijo, kako lahko UI odgo- vorno izkoristimo – obenem pa zaščiti- mo človeške vrednote. David Kraner