415 STROKOVNI ČLANEK Pravni in etični izzivi uporabe umetne inteligence v medicini Avtorske pravice (c) 2024 Zdravniški Vestnik. To delo je licencirano pod Creative Commons Priznanje avtorstva-Nekomercialno 4.0 mednarodno licenco. Pravni in etični izzivi uporabe umetne inteligence v medicini: poti k večji zanesljivosti in zaupanju bolnikov Legal and ethical challenges of using artificial intelligence in medicine: paths to greater reliability and patient trust Nina Cek,1 Sara Ahlin Doljak2 Izvleček Umetna inteligenca (UI) se v medicini širi in postaja vse bolj pomembna, saj ponuja večjo natančnost pri zdravljenju in zmanjšuje obremenitev zdravstvenega osebja. Vendar pa njena uporaba odpira številna pravna in etična vprašanja, zlasti v zvezi z razkrivanjem informacij bolnikom. Obstajata dva pristopa k razkritju uporabe UI: prvi zagovarja popolno transpa- rentnost in izčrpno razkritje vseh informacij bolnikom, medtem ko drugi priznava strokovno presojo zdravnikov pri odlo- čanju, katere informacije so pomembne za razkritje. Čeprav bi lahko razkritje vseh informacij povečalo zaupanje bolnikov, lahko hkrati poveča tudi zmedo in njihove strahove. V praksi bi moral zdravnik izbrati najboljši pristop, ki bi zadovoljil potrebe bolnikov po informacijah in jim omogočil sprejem t.i. informirane odločitve. Poleg tega je zanesljivost UI ključnega pomena za krepitev zaupanja bolnikov v UI. To zahteva ustrezno usposabljanje zdravnikov o delovanju algoritmov in ome- jitvah UI. Vprašanja odškodninske odgovornosti zaradi uporabe UI so kompleksna, pri čemer obstaja več možnih pristopov k rešitvi, vključno z različnimi oblikami odgovornosti in z uvedbo nekrivdnih odškodninskih sistemov. Kljub trenutnim izzivom in dilemam pa je jasno, da je UI v medicini še v fazi razvoja, kar sproža vrsto vprašanj, ki jih bo treba še raziskati in razrešiti v prihodnosti. Abstract Artificial intelligence (AI) is expanding in medicine, offering greater treatment accuracy and reducing healthcare staff work- load. However, its use raises numerous legal and ethical questions, particularly regarding the disclosure of information to patients. There are two approaches to disclosing AI use: one advocates for full transparency and comprehensive disclosure of all information to patients, while the other recognizes physicians’ professional judgment in deciding which information is essential to disclose. While disclosing all information to patients could increase their trust, it may also increase con- fusion and fears. In practice, physicians should choose the best approach that satisfies patients’ information needs and enables them to make informed decisions. Furthermore, the reliability of AI is crucial to strengthening patients’ trust in Zdravniški VestnikSlovenia Medical Journal 1 Odvetniška družba Nina Cek o.p., d.o.o., Koper, Slovenija 2 Evropska pravna fakulteta Nove univerze, Ljubljana, Slovenija Korespondenca / Correspondence: Sara Ahlin Doljak, e: sara.ahlin-doljak@epf.nova-uni Ključne besede: umetna inteligenca (UI); pojasnilna dolžnost; odškodninska odgovornost; medicina; nekrivdni sistem Key words: artificial intelligence (AI); informed consent; liability; medicine; no-fault system Prispelo / Received: 4. 4. 2024 | Sprejeto / Accepted: 4. 7. 2024 Citirajte kot/Cite as: Cek N, Ahlin Doljak S. Pravni in etični izzivi uporabe umetne inteligence v medicini: poti k večji zanesljivosti in zaupanju bolnikov. Zdrav Vestn. 2024;93(11–12):415–20. DOI: https://doi.org/10.6016/ZdravVestn.3533 eng slo element sl article-lang 10.6016/ZdravVestn.3533 doi 4.4.2024 date-received 4.7.2024 date-accepted Public health, epidemiology Javno zdravstvo, epidemiologija discipline Professional article Strokovni članek article-type Legal and ethical challenges of using artificial intelligence in medicine: paths to greater reliability and patient trust Pravni in etični izzivi uporabe umetne inteligence v medicini: poti k večji zanesljivosti in zaupanju bolnikov article-title Legal and ethical challenges of using artificial intelligence in medicine Pravni in etični izzivi uporabe umetne inteligence v medicini alt-title artificial intelligence (AI), informed consent, liability, medicine, no-fault system umetna inteligenca (UI), pojasnilna dolžnost, odškodninska odgovornost, medicina, nekrivdni sistem kwd-group The authors declare that there are no conflicts of interest present. Avtorji so izjavili, da ne obstajajo nobeni konkurenčni interesi. conflict year volume first month last month first page last page 2024 93 11 12 415 420 name surname aff email Sara Ahlin Doljak 2 sara.ahlin-doljak@epf.nova-uni name surname aff Nina Cek 1 eng slo aff-id Law firm Nina Cek o.p., d.o.o., Koper, Slovenia Odvetniška družba Nina Cek o.p., d.o.o., Koper, Slovenija 1 European Faculty of Law Nova Univerza, Ljubljana, Slovenia Evropska pravna fakulteta Nove univerze, Ljubljana, Slovenija 2 416 JAVNO ZDRAVSTVO, EPIDEMIOLOGIJA Zdrav Vestn | November – december 2024 | Letnik 93 | https://doi.org/10.6016/ZdravVestn.3533 1 Uvod Razvoj in področje uporabe umetne inteligence (UI) dosegata neslutene razsežnosti in praktično z vsakim trenutkom premikata meje mogočega. Iz tega izhodi- šča se tudi na področju zdravstvenih storitev pričakuje, da bo osnovna svetovalna funkcija programskih rešitev vse bolj suvereno vstopala na polje nadomeščanja člo- veških odločitev in tudi praktične izvedbe medicinskih posegov. Namen tega članka je raziskati pravne in etične izzive, povezane z uporabo UI v medicini, s posebnim poudarkom na pojasnilni dolžnosti zdravnika. Članek preučuje dva glavna pristopa k razkritju uporabe UI: popolno transparentnost in izčrpno razkritje vseh infor- macij bolnikom v primerjavi s strokovno presojo zdrav- nikov pri odločanju, katere informacije so pomembne za razkritje. Medtem ko bi popolno razkritje lahko povečalo zaupanje bolnikov, bi lahko hkrati povzroči- lo tudi zmedo in strah. Zdravniki morajo torej izbrati najboljši možni pristop, ki zadovoljuje potrebe bolnikov po informacijah in jim omogoča sprejem informirane odločitve. Rešitve, ki jih ponuja UI, omogočajo uporabo na področju diagnosticiranja (zlasti slikovnih preiskav), napovedi izida, odločitev o zdravljenju in načrtovanju njegove izvedbe. Po mnenju nekaterih utegne UI na področju slikovnih preiskav in načrtovanja zdravlje- nja celo prekositi človeški dejavnik in s tem izkušenega strokovnjaka (1). Trenutno sistemi UI omogočajo sve- tovanje, odločitve pa so še vedno prepuščene medicin- skemu osebju. Toda nihče ne ve, kdaj se utegne tehtni- ca tudi glede slednjega prevesiti v korist programskih rešitev kot bolj zanesljivih, varnih in kakovostnih. Zato se na tem polju odpirajo povsem nove dileme glede od- govornosti za posledice uporabe UI. Akt o umetni in- teligenci EU (angl. The EU Artificial Intelligence Act) (18) je pomemben korak v smeri reguliranja UI, a še ne pomeni popolne sistemske pravne regulacije. Namen tega akta je ustvariti celovit okvir za varno in odgovorno uporabo UI v EU, kar vključuje določanje odgovorno- sti za uporabo UI. V širšem pravnem prostoru še ved- no ni sistemske pravne regulacije UI, ker se specifične pravne norme še razvijajo in se lahko razlikujejo med različnimi pravnimi ureditvami držav članic EU. Akt o it, requiring proper training of physicians on algorithm operation and limitations. Questions of liability for AI use remain complex, with various possible approaches to resolution, including different forms of legal liability and the introduction of non-fault-based compensation systems. Despite current challenges and dilemmas, it is clear that AI in medicine is in a developmental phase, opening up a range of questions that will need to be further researched and resolved in the future. umetni inteligenci EU zagotavlja le osnovne smernice in postavlja pravila za visoko tvegane sisteme UI, kar pa je že pomemben korak k večji pravni jasnosti. Načelno si- cer še vedno končno odločitev sprejme izvajalec zdrav- stvenih storitev oz. pri njem zaposleni zdravniki. To pa ne pomeni, da je to edino stališče, ki ga je v zvezi s tem moč zagovarjati. V pravno razmerje med bolnikom in izvajalcem zdravstvenih storitev je namreč z uporabo UI neogibno vključen tudi ponudnik programske opreme. To pa že tako kompleksen odnos še dodatno zaplete. Če v zvezi s tem razmerjem ohranimo stališče, da je vloga UI izključno svetovalna, potem je odgovornost zaradi napak, ki nastanejo kot posledica uporabe le-te, izključ- no na izvajalcu zdravstvenih storitev. To stališče pa je problematično z gledišča, da naj bi informacijski sistem omogočal boljšo presojo od človeške. Druga možnost je, da se napake, ki izvirajo iz uporabe UI, pripišejo slednji na enak način, kot pozna pravo varstva potrošnikov od- govornost za izdelek. Pri vsaki od navedenih možnosti obstaja vrsta dilem, do katerih bi se pravo moralo opre- deliti tako na teoretični kot na praktični ravni. 2 Nadomeščanje zdravnika z umetno inteligenco (UI) pri pojasnilni dolžnosti S pomočjo klinične podporne programske opreme (angl. Clinical Decision Support Softwares, CDSS) (2) si zdravstvena stroka pomaga v procesih odločanja. Na- men CDSS je izboljšati zdravstveno oskrbo z izboljše- vanjem medicinskih odločitev z usmerjenim kliničnim znanjem, informacijami o bolniku in z drugimi zdrav- stvenimi podatki. Namenjen je neposredni pomoči pri kliničnem odločanju (3). Na enak način, kot je s tem zagotovljena pomoč zdravstveni stroki pri odločanju v postopkih diagnosticiranja in zdravljenja, bi bilo z upo- rabo UI in CDSS moč zagotoviti tudi pojasnilo bolniku, ne da bi bila ob tem potrebna vključenost zdravnika. Vendar pa ob tem trčimo na etične dileme, ki so prav- no opredeljene tako na mednarodnopravni ravni kot v nacionalnih pravnih virih na področju pravice bolnika, da izrazi svobodno privolitev v poseg. Konvencija o člo- vekovih pravicah v zvezi z biomedicino (sicer poznana 417 STROKOVNI ČLANEK Pravni in etični izzivi uporabe umetne inteligence v medicini kot Oviedska konvencija) poudarja pomen seznanitve o namenu, naravi posega ter o posledicah in nevarnostih, ki ga spremljajo. Toda glede osebe, ki je dolžna podati informacije, ni specifična. Dopušča razlago, da bi sez- nanitev lahko podal tudi informacijski sistem (Uradni list RS – MP, št. 70/98). Slovenska zakonodaja je glede tega vprašanja izrazito specifična in pojasnilno dolžnost nalaga zdravniku, ki je odgovoren za zdravljenje, pri če- mer je pojasnila dolžan podati bolniku v neposrednem stiku. Če gre za operacijo ali drug medicinski poseg, ki je povezan z večjim tveganjem ali večjo obremenitvijo, daje ustna in pisna pojasnila tisti zdravnik, ki bo opravil medicinski poseg. Če to ni možno, pa drugi zdravnik, ki je za tak medicinski poseg usposobljen (20. člen Zakona o pacientovih pravicah - ZPacP). Pojasnilna dolžnost in pridobivanje informirane pri- volitve s strani bolnika pomeni predstavitev tega procesa na njemu razumljiv način. V osnovi vključuje pojasnil- na dolžnost zdravnika pojasnilo o diagnozi, terapevtsko pojasnilo in pojasnilo tveganja. Zdravnik, ki je ustrezno strokovno usposobljen za izvedbo zdravljenja ali pose- ga, je dolžan bolniku predstaviti naravo njegove bolezni ali poškodbe. V okviru terapevtskega pojasnila mu je nato dolžan predočiti predlagano metodo zdravljenja, pri čemer je dolžan predstaviti tudi možnosti alternati- ve. Ob predstavitvi tveganj, ki jih ima predvideni način zdravljenja, je dolžan upoštevati značilnosti konkretne- ga bolnika in podati informacije o relevantnih vidikih možnih posledic opustitve zdravljenja oz. možnih po- sledicah pri njegovi izvedbi. Sledeč aktualni slovenski zakonodaji je nedvoumno, da za izvedbo pojasnilne dolžnosti vselej odgovarja zdravnik. Tudi kolikor bi pri izvedbi te dolžnosti upo- rabil sistem UI, ta odgovornost ne bi bila drugačna in bi možno napako pri pojasnilu v razmerju do bolnika lah- ko pripisali izključno zdravniku, v nobenem primeru pa razvijalcu programske opreme. V notranjem razmerju med izvajalcem zdravstvenih storitev in razvijalcem programske opreme pa bi bilo moč zagovarjati stališče, da je do napake pri pojasnilu prišlo zaradi napake v in- formacijskem sistemu ter bi zato lahko izvajalec zdrav- stvenih storitev uveljavljal povračilo nastale (in bolni- ku izplačane) odškodnine od ponudnika programske opreme na podlagi njunega pogodbenega razmerja. Z vidika varstva bolnika kot šibkejše stranke tudi na osno- vi načela de lege ferenda ni legitimnega razloga, da bi zakonodaja v tovrstnih primerih naložila odgovornost UI. Položaj bolnika pri dokazovanju napak ter ugotav- ljanju povzročitelja škode bi bil tako nedvomno slabši od tega, pri katerem ima pravico uveljavljati odškodni- no v primerih kršitev pojasnilne dolžnosti od izvajalca zdravstvenih storitev. Zdravnik je torej tisti subjekt, ki mora opraviti po- jasnilno dolžnost in ga pri tem vsaj zaenkrat ne more nadomestiti informacijski sistem (npr., da bi pojasnilo namesto njega opravil medicinski robot). Vendar pa je možno pričakovati, da se bo z razvojem UI na podro- čju medicine razširil tudi obseg in da se bo predrugačila vsebina pojasnilne dolžnosti na način, da se bodo po- rajala številna vprašanja v smeri, kaj poleg običajnega pojasnila o tveganjih, kot jih trenutno predvideva za- konodaja, v luči uporabe novih tehnologij od izvajalcev zdravstvenih storitev še pričakujemo. 3 Pojasnilna dolžnost glede uporabe umetne inteligence 3.1. Zdravnikova dolžnost, da pojasni uporabo umetne inteligence (UI) Prednosti uporabe umetne inteligence (UI) v medi- cini zajemajo večjo natančnost obravnave in zmanjša- nje časovne obremenitve medicinskih strokovnjakov. UI pomeni zmanjšanje možnosti človeške napake in obdelavo različnih podatkov o bolnikih za pridobitev uporabnih priporočil, ki jih ljudje ne bi mogli oblikovati sami. Toda uporaba UI v medicini poraja pravna in etič- na vprašanja. Zdravnike skrbi pravni vidik uporabe UI v medicini. Tovrstni pomisleki oblikujejo njihovo stališče in vedênje, posebej v zvezi z naravo in obsegom razkritij podatkov bolnikom (4). Menimo, da pravica do samostojnega odločanja o zdravljenju in do sodelovanja v procesu zdravljenja ob- sega tudi pravico bolnika, da je predhodno obveščen glede uporabe UI. Slovenski pravni red, ki v Zakonu o pacientovih pravicah (ZPacP) (16) določa pravico do obveščenosti bolnika, ureja obveznost informiranja opi- sno, s čimer dopušča širok okvir vsebine pojasnila. Upo- rabo UI je moč predvideti v okviru določbe 1. alinee 1. odstavka 20. člena ZPacP, po kateri mora biti bolnik ob- veščen tudi o načinu izvedbe predvidenega zdravljenja. Na tej podlagi lahko zaključimo, da je privolitev bolni- ka lahko veljavna, če je seznanjen z uporabo tovrstne tehnologije in s tem tudi soglaša. Temu ustrezno bi bilo smotrno prilagoditi privolitveni obrazec tako, da bi iz- vršna veja oblasti s spremembo Pravilnika o obrazcih o pisnih izjavah volje (17) vsebinske zahteve dopolni- la tako, da bi že sam obrazec dopuščal tudi privolitev v uporabo UI. Bolnik, ki izve za uporabo UI šele po zdravljenju, bi namreč utegnil imeti pomisleke, čeprav ni zdravnik kršil nobenega zakona. 418 JAVNO ZDRAVSTVO, EPIDEMIOLOGIJA Zdrav Vestn | November – december 2024 | Letnik 93 | https://doi.org/10.6016/ZdravVestn.3533 3.2. Kdaj bi morali ponudniki obvestiti bolnike, da uporabljajo tehnologije umetne inteligence (UI) Zdravniki morajo razkriti uporabo UI, kadar je to za- konsko določeno. UI se pojmuje kot medicinski pripo- moček, ki ga predpisuje Uprava za hrano in zdravila ZDA (FDA) (5,6). Njena uporaba se mora prilagajati sistemu razkritja informacij, ki uravnava druge medicinske pri- pomočke. Ker pa je tehnologija UI še v razvoju, še preiz- kuša meje obstoječe zakonodaje. Upoštevanje obstoječih zahtev glede razkritij zagotavlja zdravnikom izpolnitev njihove dolžnosti bolnikom. Zdravniki bi morali razkriti uporabo UI tudi takrat, kadar se to dotika njihove etične dolžnosti ali kadar bol- niki pričakujejo, da se jim posreduje takšna informacija. Zaradi pravnih vrzeli bi morali zdravniki slediti pričako- vanim standardom oskrbe, ki jo dolgujejo svojim bolni- kom (6). Ustrezni etični premisleki zahtevajo od zdravni- kov, da delijo z bolniki vse materialne informacije, ki bi lahko izboljšale njihovo sposobnost odločanja, vključno z razkritji uporabe UI. To spodbuja vzajemno odločanje pri izbiri med različnimi možnostmi zdravljenja (7,8). 3.3. Koliko informacij o tehnologiji bi morali razkriti Glede količine informacij o uporabi UI, ki bi jih mo- rali posredovati zdravniki, so mnenja deljena. Eden od pristopov trdi, da bi moral obseg razkritih informacij usmerjati etični premislek, ki vključuje poštenost, tran- sparentnost, zanesljivost, odgovornost, zasebnost in em- patijo (5). Transparentnost zahteva, da zdravnik seznani bolnika z vsemi primeri, pri katerih se opira na UI, in da tudi zanjo pridobi bolnikovo izrecno privolitev. Ta pogled temelji na bolnikovi pravici do odločanja o sebi. Potrebno je razkritje povezanih tveganj in njihove verje- tnosti (8). Žal je uvajanje te predpostavke problematično, saj je najboljša UI tudi najmanj transparentna. Alternativni pristop trdi, da mora zdravnik opraviti strokovno presojo, kaj bo razkril in česa ne bo. Kiener (8) meni, da morda ni ravno produktivno razkrivati bol- niku, kako je celo najboljša UI dovzetna za kibernetske napade, sistemsko pristranskost ali možnost določenega neujemanja. V javnosti je navzoč splošen strah pred upo- rabo UI. Zato takšno razkritje stopnjuje pomisleke ljudi. Ta pogled zagovarjata Schiff in Borenstein (9), ki menita, da informirano privolitev v uporabo UI otežujejo stra- hovi bolnikov, zmeda ali prevelika samozavest zdravni- ka. V takšnih okoliščinah bi moral zdravnik uporabiti svojo strokovno presojo pri odločanju, kaj razkriti, ter imeti pravico, da ne razkrije nematerialnih informacij, ki bi lahko bolnika odvrnile od sprejetja priporočila za zdravljenje, ki bi sicer izboljšalo klinične rezultate zanj. Alternativni pogled izgleda prepričljiv in ga potrjuje pregled pravnega okvira, povezanega z vsemi razkritji o uporabi UI. Cohen (10) po preučitvi pravnega okvira, ki se nanaša na UI v medicini, zaključi, da zdravniki ne no- sijo odgovornosti, če ne seznanijo bolnikov o uporabi UI pri oblikovanju priporočil za zdravljenje. Ta situacija je razumna, kajti orodja UI izvedejo vnaprejšnjo odobritev, ki ščiti bolnikovo varnost. Toda pravni manevrski prostor in strokovna presoja morata biti v ravnovesju z zdravni- kovo etično dolžnostjo, zlasti ob upoštevanju morebitne- ga negativnega učinka na zaupanje bolnikov, ki se lahko pojavi, če bolniki kasneje ugotovijo, da so jim prikrili in- formacije, ki bi lahko vplivale na njihovo odločitev. 3.4. Najboljši načini za razumljivo pojasnitev kompleksnosti umetne inteligence (UI) Eden od pristopov za pojasnitev kompleksnosti UI je zdravniško upoštevanje etike. Etika se nanaša na mo- ralni značaj zdravnikov (5). To pomeni, da gredo onkraj pravnih zahtev in so v odnosu do bolnikov neposredno vključeni v tveganja in možne nove koristi UI v medicini (9). Ta pristop povečuje zaupanje bolnikov v zdravnike. Poleg tega lahko sprejem pojasnjene UI okrepi razum- ljivost le-te za bolnika. Takšna UI podpira osebno pri- lagojene razlage o rezultatih, ki jih generirajo algoritmi (5). Kadar bolniki razumejo, kako se uporabljajo končni rezultati UI in kako to izboljšuje njihovo zdravje, drugače vrednotijo in bolj cenijo njen prispevek. Nejasnost delo- vanja algoritmov je možna ovira, ki jo pomaga premostiti njihova razlaga (11). Bolnikom pojasnjena uporaba UI zahteva od zdravnikov usposabljanje o zgradbi algorit- mov, nizih podatkov, na katere se opirajo, in o njihovih omejitvah (9). To jim omogoča prepričljivo odgovoriti na skrbi in pomisleke bolnikov ter poveča verjetnost z infor- macijami podprte privolitve. Omeniti velja, da bi morala izbiro UI oblikovati njena zanesljivost. Za zanesljivo UI so značilne možnost poja- snitve, nepristranskost algoritmov in veljavnost (7). Te lastnosti pomagajo krepiti zaupanje bolnikov vanjo. Eden od vidikov UI je tudi njena t. i. interpretabilnost. Inter- pretabilnost je namreč predhodnik zaupanja in je ključni dejavnik za uspešno klinično uvajanje sistemov UI (13). Ti sistemi morajo biti razložljivi, kar pomeni, da morajo zdravniki in bolniki razumeti, kako UI prihaja do svojih sklepov. To povečuje zaupanje in omogoča boljše spreje- manje odločitev. Razumevanje in obvladovanje teh ne- gotovosti lahko bistveno prispevata k interpretabilnosti 419 STROKOVNI ČLANEK Pravni in etični izzivi uporabe umetne inteligence v medicini in s tem k zaupanju v sisteme UI. Zdravniki in razvijalci morajo tesno sodelovati pri ocenjevanju teh vidikov, da se zagotovi, da so sistemi UI ne le zanesljivi, temveč tudi pregledni in razumljivi, kar je ključnega pomena za nji- hovo uspešno vključevanje v klinično prakso. Zaneslji- vost zahteva, da se izbira oblikuje na podlagi potrebe po ustvarjanju sinergije med UI in zdravniško prakso (12). Kadar bolniki vidijo, da namen uporabe UI ni nadome- ščanje, temveč izboljševanje zdravniške obravnave, so njihova stališča drugačna, kot bi bila, če bi UI pojmovali kot nadomestek za vlogo zdravnikov. Zanesljivost UI je odvisna od kliničnih preizkusov, ki so opravljeni, preden se uradno sprejme, ter učinkovitosti in stabilnosti njenih ukrepov (9). Zdravniki morajo te ocene ustrezno preteh- tati in objektivno izbrati najbolj primerno UI. 4 Umetna inteligenca (UI) v klasičnem odškodninskem sistemu Klasični odškodninski sistem bi se problematike od- škodninske odgovornosti zaradi uporabe UI lahko lotil z različnih zornih kotov. Najprej z oblikovanjem položaja oz. pravne fikcije, da je vloga UI izključno svetovalna, zaradi česar je odgovornost za nastalo škodo še vedno na strani izvajalca zdravstvenih storitev. To pa je problema- tično z gledišča, da naj bi informacijski sistem vendarle omogočal boljšo presojo od zgolj človeške presoje. Dru- ge vrste rešitev se ponuja z uporabo doktrine po načelu res ipsa loquitur. Pri tem bi izvajalec zdravstvenih stori- tev lahko zahteval, da razvijalec sistema UI kot stranski udeleženec sodeluje v pravdi, v kateri se ugotavlja, ali je škoda nastala zaradi napačne uporabe podatkov ali zara- di napake sistema (1). Tretjo možnost pa bi lahko predstavljala vzpostavitev objektivne odškodninske odgovornosti tako, kot to za določene primere vzpostavlja potrošniško pravo. V pri- meru odgovornosti za produkt namreč ni potrebno ugo- tavljati dolžne skrbnosti ali predvidljivosti nastanka ško- dnega dogodka, temveč zgolj to, da je škoda povzročena zaradi napake na izdelku. Sistem UI bi namreč lahko podvrgli tovrstni argumentaciji ter odgovornost pripisa- li razvijalcu sistema. Težava se pojavi v tistih pravnih sis- temih (jurisdikcijah), v katerih je odgovornost za napake z uporabo informacijskih sistemov že po zakonodaji iz- ključena iz odgovornosti za produkt. Poleg tega odgo- vornost za produkt običajno nudi varstvo potrošniku, ki je utrpel škodo neposredno zaradi uporabe stvari, česar za UI ni mogoče zatrditi. Skrb tu vzbuja tudi dejstvo, da odgovornost za produkt predvideva napako na produk- tu, ki bi jo proizvajalec glede na strokovno in tehnično znanje lahko pričakoval, kar v primeru UI nikakor ni jasno in nedvoumno. Četudi bi bila vsa ta vprašanja raz- rešena, je vprašljivo, ali bi objektivna odgovornost lahko predstavljala ustrezno rešitev, če ne bi šlo za sistemske napake, ki se ne bi pojavljale pogosteje kot v drugih po- dobnih sistemih UI, ki so nastali v istem času (1). Četrto potencialno rešitev predstavlja možnost, da je za nastalo škodo odgovoren razvijalec sistema na pod- lagi lastne krivdne odgovornosti. Ta pristop vzpostavlja zapletena vprašanja o tem, kaj pomeni malomarnost oz. opustitev dolžne skrbnosti v zvezi z matematičnim mo- delom, ki se realizira v obliki programske opreme. Vpra- šanje je namreč, s kom oz. s čim se primerjajo izsledki, ki jih poda sistem UI: morebiti z drugim sistemom UI ali pa z zdravnikom. Toda zdravnik ni primeren subjekt za primerjavo, saj sistemi UI uporabljajo drugačno logiko pri sprejemanju odločitev kot ljudje. UI sistemi črpajo podatke iz ogromne količine referenčnih podatkov, ki so jih vnesli ljudje, potem pa skušajo posnemati te odločit- ve. UI sistemi poskušajo uporabljati enako logiko. Zlas- ti skušajo umetne nevronske mreže oponašati biološke nevronske mreže (14). Tak sistem torej ne more biti ma- lomaren, saj ne uporablja zavestnega mišljenja. Zato pa je za primerjavo moč uporabiti le drug sistem UI. To pa sproža nadaljnje praktične in konceptualne dileme (1). 5 Zaključek Etična in pravna vprašanja v zvezi z uporabo UI v medicini vplivajo na zdravniško oceno narave in obsega razkritja njenih podatkov bolnikom. Odločitve zdrav- nikov o tem, kdaj naj razkrijejo uporabo UI, bi morale usmerjati njihove pravne in etične dolžnosti. Medtem ko pristop etičnih dolžnosti zahteva razkritje vseh informa- cij o uporabi UI, alternativni pristop temelji na strokov- ni presoji, kdaj je razkritje primerno. Praksa etike vrlin, sprejetje zanesljive UI in pojasnjevanje UI lahko pri bol- nikih okrepijo razumevanje kompleksnosti UI. Vse bolj verjetna uporaba UI v postopkih zdravlje- nja utegne predstavljati pomemben argument v prid ne- krivdnim odškodninskim sistemom. Postopek zdravlje- nja postane z uporabo UI še bolj kompleksen in pravna razmejitev odgovornosti toliko bolj zapletena. To bi ne- krivdna shema lahko poenostavila z znižanjem meril za priznanje odškodnine. Glede na to, da govorimo pravza- prav šele o začetkih in razvoju sistemov UI, je nedvomno dejstvo, da je odprtih dilem in vprašanj na tem področju še veliko več, kot bi si v sedanjem času in prostoru lahko sploh predstavljali. Izjava o navzkrižju interesov Avtorici nimava navzkrižja interesov. 420 JAVNO ZDRAVSTVO, EPIDEMIOLOGIJA Zdrav Vestn | November – december 2024 | Letnik 93 | https://doi.org/10.6016/ZdravVestn.3533 Literatura 1. Holm S, Stanton C, Bartlett B. A New Argument for No-Fault Compensation in Health Care: The Introduction of Artificial Intelligence Systems. Health Care Anal. 2021;29(3):171-88. DOI: 10.1007/s10728-021-00430-4 PMID: 33745121 2. Wasylewicz ATM, Scheepers-Hoeks AMJW. Clinical decision support systems. Fundamentals of clinical data science. 2019:153-69. 3. Sutton RT, Pincock D, Baumgart DC, Sadowski DC, Fedorak RN, Kroeker KI. An overview of clinical decision support systems: benefits, risks, and strategies for success. NPJ Digit Med. 2020;3(1):17. DOI: 10.1038/s41746- 020-0221-y PMID: 32047862 4. Reffien MA. Physicians’ attitudes towards artificial intelligence in medicine, their expectations and concerns: an online mobile survey. Malays J Public Health Med. 2021;21(1):181-9. DOI: 10.37268/mjphm/ vol.21/no.1/art.742 5. Siala H, Wang Y. SHIFTing artificial intelligence to be responsible in healthcare: A systematic review. Soc Sci Med. 2022;296. DOI: 10.1016/j. socscimed.2022.114782 PMID: 35152047 6. Jassar S, Adams SJ, Zarzeczny A, Burbridge BE. The future of artificial intelligence in medicine: medical-legal considerations for health leaders. Healthc Manage Forum. 2022;35(3):185-9. DOI: 10.1177/08404704221082069 PMID: 35354409 7. Sauerbrei A, Kerasidou A, Lucivero F, Hallowell N. The impact of artificial intelligence on the person-centred, doctor-patient relationship: some problems and solutions. BMC Med Inform Decis Mak. 2023;23(1):73. DOI: 10.1186/s12911-023-02162-y PMID: 37081503 8. Kiener M. Artificial intelligence in medicine and the disclosure of risks. AI Soc. 2021;36(3):705-13. DOI: 10.1007/s00146-020-01085-w PMID: 33110296 9. Schiff D, Borenstein J. How Should Clinicians Communicate With Patients About the Roles of Artificially Intelligent Team Members? AMA J Ethics. 2019;21(2):E138-45. DOI: 10.1001/amajethics.2019.138 PMID: 30794123 10. Cohen IG. Informed consent and medical artificial intelligence: what to tell the patient? Geol J (Chichester). 2019;108:1425. 11. Sand M, Durán JM, Jongsma KR. Responsibility beyond design: Physicians’ requirements for ethical medical AI. Bioethics. 2022;36(2):162- 9. DOI: 10.1111/bioe.12887 PMID: 34089625 12. Ahuja AS. The impact of artificial intelligence in medicine on the future role of the physician. PeerJ. 2019;7. DOI: 10.7717/peerj.7702 PMID: 31592346 13. Amann J, Vetter D, Blomberg SN, Christensen HC, Coffee M, Gerke S, et al.; Z-Inspection initiative. To explain or not to explain?-Artificial intelligence explainability in clinical decision support systems. PLOS Digit Health. 2022;1(2). DOI: 10.1371/journal.pdig.0000016 PMID: 36812545 14. Amrehn M, Gaube S, Unberath M, Shebesch F, Horz T, Strumia M. UI-Net: Interactive artificial neural networks for iterative image segmentation based on a user model. arXiv. 2017:170903450. 15. Slovenija. Zakoni. Konvencija o varstvu človekovih pravic in dostojanstva človeškega bitja v zvezi z uporabo biologije in medicine: Konvencija o človekovih pravicah v zvezi z biomedicino. Url l RS. 1998(19). 16. Slovenija. Zakoni. Zakon o človekovih praicah. Url l RS. 2008(8). 17. Slovenija. Zakoni. Pravilnik o obrazcih in pisnih izjvah volje pacientov. Ur l RS. 2008(82). 18. European Parliamentary Research Service. Artificial intellignece act. Bruxelles: EPRS; 2024.