103 BARBARA PAVLEKOVIĆ, JERCA PETROVIČ diplomirani pravnici (UN), študentki magistrskega študijskega programa pravo 2. stopnje na Pravni fakulteti Univerze v Ljubljani Civilnopravni vidiki umetne inteligence v zdravstvu Pregledni znanstveni članek UDK 347.51:004.8:61 1. Uvod Umetna inteligenca (UI) pomembno spreminja vsa področja našega življenja. V medicini so postale naprave, ki vsebujejo določeno stopnjo UI, povsem običajne za uporabo v skoraj vsaki fazi zdravljenja, od diagnostike, operacij do postoperativne nege in avtonomnih naprav za zdravljenje bolezni. Z napredkom UI se zdi, da bodo dnevi napačnih diagnoz in zdravljenje le simptomov namesto bolezni same kmalu za nami. Čeprav se nekateri algoritmi lahko kosajo z zdravniki in jih včasih celo prekašajo, človeškega dela nikakor ne moremo povsem nadomesti- ti. Čeprav lahko algoritmi pomembno vplivajo na medicino in izboljšajo medicinske posege, obstajajo številni regulativni problemi, ki preprečujejo popolno nadomestitev.1 Zdravljenje je za pacienta izjemno intimen proces, ki zahteva njegovo privolitev. Pacient lah- ko veljavno privoli samo v posege, o katerih je v zadostni meri in obsegu informiran. Težava nastane, saj so algoritmi, ki delujejo v napravah, težavni (ali celo nemogoči) za razumevanje. Zaradi tega lahko na koncu celo sklepamo, da so kot nekakšne črne škatle (angl. black box), ki v sebi nosijo nerazložljive in nerazumljive procese. Uporaba UI v medicini sproža zapletena pravna vprašanja v zvezi z odgovornostjo zdravstve- nih delavcev in proizvajalcev tehnologije. Prispevek obravnava izbrana vprašanja s tega po- dročja in vsebuje nekatere predloge rešitev za take težave. Poglavja si smiselno sledijo glede na potek zdravljenja, torej od prve diagnoze, operacije in do morebitnih medicinskih pripo- močkov. 1 Glej: (2. 3. 2021). 104 II. Civilnopravni vidiki umetne inteligence 2. Umetna inteligenca v diagnostiki UI v zdravstvu za namene medicinske diagnoze postaja običajno orodje zdravnikov po vsem svetu. Zdravniki zdaj ne uporabljajo le svojega osebnega medicinskega znanja, ampak tudi orodja UI, kot so IBM Watson, Watson for Oncology ali Deep Mind, ki sprejmejo informa- cije o želenem pacientu, te podatke obdelajo in nato priporočijo oskrbo bolnika, kar zagotavlja natančnejšo diagnozo in izbiro zdravljenja.2 Kljub številnim prednostim uporabe te tehnologije je neizpodbitno, da ta način zdravljenja pomeni motnjo v klasičnem odnosu med strankami, ki sodelujejo pri zagotavljanju zdra- vstvenih storitev. Če je prej pacient, ki je utrpel škodo med diagnozo ali zdravljenjem, ki ga je predpisal zdravnik, še lahko identificiral, zoper koga naj naslovi odškodninski zahtevek (tj. proti zdravniku ali zdravstveni ustanovi, v kateri je zdravnik opravljal zdravstvene storitve), danes z uporabo orodij UI postaja ta identifikacija zamegljena. Poleg zdravnika se namreč pojavlja še ena entiteta, ki je lahko odgovorna za škodo, in to je rezultat algoritma, ki mu je zdravnik sledil. Do nedavnega je bila zdravstvena programska oprema označena predvsem kot tehnologija, ki izvajalcem zdravstvenih storitev pomaga pri sprejemanju odločitev tako, da jim zagotavlja informacije ali analize, pri čemer je odločitev vedno ostala v rokah zdravnika.3 Zdaj je med najpogostejšimi aplikacijami UI v zdravstvu uporaba t. i. napovednih algoritmov. Te namreč omogočajo natančno diagnozo pacienta, izbiro zdravljenja in zdravil, predvidevajo tveganja za bolnike ter celo bolnike prednostno delijo, da se uspešno razporedijo omejeni zdravstveni viri.4 Pomembno je razumeti, da mehanizmi za vsa ta dejanja niso znani in jih trenutno tudi ni mogoče odkriti. Algoritem, ki ne more prikazati poti do svojega sklepa, je navsezadnje »črna škatla«. Deluje po načelu tisočih simuliranih nevronov, razporejenih v desetine ali celo sto- tine zapletenih medsebojno povezanih slojev. Vzemimo za primer MRI-slikanje možganov. Algoritem dobi vhodni podatek, na podlagi katerega lahko nevronska mreža, usposobljena za predelavo velikega nabora podatkov, najde vzorec v podatkih in da rezultat, na primer kla- sifikacijo tumorjev, vendar ne more pojasniti razlogov za sklep. Simulirana nevronska mreža se po vzoru človeških možganov uči na podoben način kot človeški možgani, tudi s samou- čenjem. Ko pridobi dodatne podatke, lahko nevronska mreža spremeni postopek odločanja in zagotovi natančnejši odziv, ne da bi pojasnila, kako je to storila. Z vsakim izboljšanjem 2 Gonçalves, str. 14. 3 Prav tam. 4 Sullivan in dr. 105 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu postanejo algoritmi avtonomnejši, tako pa postanejo manj razumljivi uporabnikom in celo razvijalcem, ki so tehnologijo prvotno programirali.5 Na podlagi nedavnih raziskav ocenjujejo, da bodo strokovni sistemi UI v zdravstvu dosegli splošno natančnost nad 95 odstotki v svojih diagnostičnih zmožnostih, hkrati pa naj bi se ohranila vloga zdravnika kot izvajalca nege.6 Zaradi vse večje uporabe in samostojnosti sistemov UI se pojavlja vprašanje, ali so lahko in ali bi sploh morali biti izvajalci zdravstvenih storitev odgovorni za odločitve, ki jih predlagajo ali sprejmejo algoritmi črne škatle, ki jih ne razumejo ali ne morejo razumeti. Ali morajo ponudniki zdravstvenih storitev sami oceniti kakovost algoritmov črne škatle na podlagi po- stopkovnih ukrepov (izvedene validacije, statistike uspešnosti itd.), preden se pri zagotavljanju oskrbe zanesejo na te algoritme? In ali bi morale zdravstvene ustanove opraviti podrobne ocene, preden bi uvedle »black box« programsko opremo?7 Glede na nepregledno naravo »black box« UI se pri srečevanju z morebitnimi zdravniškimi napakami, ki jih povzroča takšna tehnologija, pojavijo številna pravna vprašanja. Zamislimo si lahko na primer situacijo, v kateri sistem črne škatle pomaga pri odkrivanju raka dojke z uporabo podatkov mamografije in predlaga napačno diagnozo, ki pacientki povzroči škodo. Navedeno prinaša več vprašanj glede razporeditve odgovornosti, zato bova v prispevku skušali prikazati, ali tej novi resničnosti ustrezajo tradicionalni koncepti odškodninske odgovornosti ali pa bi bilo treba to področje ustrezno dopolniti. V tem smislu bova tudi predstavili ali UI v zdravstvu tako močno poruši odnos med zdravnikom in pacientom, da je treba spore, ki nastanejo na tem področju, oblikovati izključno v skladu z režimi odgovornosti za izdelke – proizvajalčeve odgovornosti. 2.1. Tradicionalna odškodninska odgovornost Za zdaj ne obstajajo nobena posebna pravila za odškodnino, ki bi izhajala iz uporabe tehno- logije UI, ne v zdravstvenem sektorju in ne na kateremkoli drugem področju uporabe. Pravna in znanstvena skupnost še vedno razpravljata o tem, ali bi morala odgovornost, ki izhaja iz uporabe UI, biti urejena posebej ali zadošča, da je podrejena zakonodaji, ki jo je posamezna država že sprejela v zvezi z zasebnostjo in varstvom podatkov, varstvom potrošnikov, pravili o medicinskih pripomočkih, civilni odgovornosti ali kazenski odgovornosti.8 5 Prav tam. 6 Artificial Intelligence and Civil Liability, str. 114. 7 Price, str. 10–12. 8 Gonçalves, str. 8. 106 II. Civilnopravni vidiki umetne inteligence V tem smislu se spori o odgovornosti, ki nastanejo na tem področju, urejajo in odločajo bodisi s pravili o zdravniški napaki bodisi v skladu s trenutno veljavno zakonodajo, ki velja za izdelke z napako.9 Odgovornost za zdravniške napake je večinoma urejena po splošnih načelih krivdne odgovor- nosti (v praksi praviloma zaradi malomarnosti), tako bo zdravnik odgovoren za povzročeno škodo, če je krivdno kršil zahtevan zdravstveni standard. Pacient pa bo kot oškodovanec lah- ko zahteval odškodnino za škodo, ki jo je povzročil zdravnik s svojim krivdnim ravnanjem. Pacienti lahko odškodnino zahtevajo od zdravnikov in tudi od zdravstvenih organizacij ter proizvajalcev. Od zdravstvene ustanove lahko oškodovanec zahteva odškodnino po načelu odgovornosti delodajalca za ravnanje delavca,10 od proizvajalca pa takrat, kadar je škoda na- stala zaradi napake proizvoda.11 Tako tipične odškodninske tožbe na področju medicine in zdravja vključujejo zdravniško napako, odgovornost nadrejenega in odgovornost proizvajalca (odgovornost za izdelke).12 2.1.1. Odgovornost zdravnika Kot navedeno temelji odgovornost za zdravniške napake na krivdi. V praksi bo zdravnik praviloma odgovarjal, ker je pri zdravljenju ravnal malomarno. Navadna malomarnost (culpa levis) pomeni zanemarjanje skrbnosti, ki se zahteva od posebno skrbnega in pazljivega člove- ka. Pri strokovnjakih pa je treba upoštevati njihovo znanje in sposobnosti, ki so v stroki večje od znanja povprečnega človeka. Kadar je strokovnjak storil dejanje, ki terja njegovo posebno znanje, mora odgovarjati strožje.13 O strokovni napaki zdravnika govorimo, če ta ne ravna z večjo skrbnostjo, po pravilih zdrav- niške znanosti in stroke ter po običajih in če ne prepreči škode za pacienta oziroma povzroči, da se pacientu zdravje poslabša. V prvem delu gre za pravni standard skrbnosti dobrega stro- kovnjaka, ki je opredeljen v Obligacijskem zakoniku. Njegova vsebina je odvisna od okoliščin konkretnega primera in od izoblikovanih standardov vedenja in ravnanja, ki so tako raznoliki in vsebinsko soodvisni od spreminjajočih se dejanskih okoliščin, da jih ni mogoče relativno določno opredeliti. V primeru skrbnosti zdravnika se sklicujejo na strokovne, poklicne stan- darde vedenja in ravnanja, ki veljajo v medicini.14 9 Prav tam, str. 29. 10 Več v poglavju 2.1.2 – Odgovornost zdravstvenih organizacij. 11 Več v poglavju 2.1.3 – Odgovornost proizvajalcev orodij umetne inteligence. 12 Sullivan in dr. 13 Sklep Višjega sodišča v Mariboru I Cp 963/2012 z dne 23. 10. 2012. 14 Sklep Vrhovnega sodišča RS II Ips 302/2011 z dne 26. 4. 2012. 107 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu Tako sodišča presojajo zdravnikova dejanja glede na ravnanja razumnega zdravnika z istim strokovnim znanjem in spretnostmi v podobnih okoliščinah. Pridobiti je treba strokovno pri- čevanje usposobljenih zdravnikov, da se določi standard oskrbe oziroma da se določi, kaj je bilo smiselno pričakovati od strokovnjaka glede na stanje medicinskega znanja med obravna- vanim zdravljenjem.15 Problem pa nastane, ker se medicinske odločitve vedno pogosteje sprejemajo z uporabo algo- ritmov črne škatle, katere način delovanja je nepoznan in ga zdravnik ni sposoben razumeti. V zdravstvenem okviru uporaba tehnologije črnih škatel prinaša dodatne pomisleke, ker me- dicinske odločitve ne bi smele temeljiti na avtonomnih sredstvih, ki jih zdravniki ne morejo razumeti, pogosto pa niti razvijalci programske opreme ustrezno obrazložiti. Zato nekateri menijo, da bi moral zdravnik, da bi zadostil standardu skrbnega ravnanja, vsako odločitev algoritma kritično presoditi.16 Več teoretikov trdi, da glede na to, da ima UI namen razširiti in izboljšati zdravnikovo sedanje znanje, ne pa ga nadomestiti, mora zadnja beseda vedno ostati pri zdravniku.17 V tem primeru bi zadoščali klasični koncepti standarda oskrbe, saj zadnjo odločitev sprejme zdravnik sam.18 Po drugi strani je treba omeniti, da je zdravstveni standard omejen s stanjem medicinske znanosti med zdravljenjem, kar pomeni, da če zdravniki uporabljajo tehnologijo, ki vsebuje algoritme in sredstva delovanja, ki ga niti oblikovalci in razvijalci tehnologije ne zmorejo povsem razumeti, predvsem zaradi samoučenja algoritma, potem tudi zdravniku ne moremo očitati malomarnosti, če je ravnal v skladu z rezultatom, ki ga je zagotovil algoritem.19 Seveda, če ni bilo v skladu s standardom razumnega zdravnika ugotovljeno, da predpisana diagnoza ali zdravljenje ne ustreza profilu pacienta. Opisana, t. i. krepka UI se že uporablja na trgu, vendar ta še ni dosegla vseh pričakovanj. 2.1.2. Odgovornost zdravstvenih organizacij Poleg odgovornosti zdravnika za napake poznamo tudi odgovornost nadrejenega oziroma odgovornost delodajalca. Obligacijski zakonik v 147. členu določa, da za škodo, ki jo povzroči delavec pri delu ali v zvezi z delom tretji osebi, odgovarja pravna ali fizična oseba, pri kateri je delavec delal takrat, ko je bila škoda povzročena, razen če dokaže, da je delavec v danih 15 Sullivan in dr. 16 Gonçalves, str. 20. 17 Prav tam. 18 Prav tam. 19 Prav tam. 108 II. Civilnopravni vidiki umetne inteligence okoliščinah ravnal tako, kot je bilo treba.20 V skladu s to doktrino so bolnišnice odgovorne za dejanja svojih zaposlenih, vključno z zdravniki, ki storijo zdravniško napako. Druga možnost odgovornosti zdravstvene organizacije pa je, da so bolnišnice in drugi izva- jalci zdravstvenih storitev ločeno odgovorni za malomarnost, ker niso ustrezno skrbeli pri zaposlovanju, usposabljanju ali nadzoru zaposlenih ali ker niso ustrezno vzdrževali prostorov in opreme.21 2.1.3. Odgovornost proizvajalcev orodij umetne inteligence Proizvajalci odgovarjajo na podlagi odgovornosti za izdelke. Bistvo proizvajalčeve odgovor- nosti je, da mora proizvajalec odgovarjati za posledice, ki jih imajo kupci in uporabniki zaradi napak v proizvodu. Direktiva o proizvajalčevi odgovornosti je temeljni okvir odgovornosti proizvajalca v EU, uvaja namreč okvir in obveznost poplačila določenih oblik škode. Vprašanje je, ali se lahko orodja UI uvrstijo med produkte. Če orodja (krepke) UI štejemo za medicinske pripomočke, bi za te izdelke z napako veljala Direktiva Sveta 85/374/EGS22 z dne 25. julija 1985 o odgovornosti za napake proizvodov, ki predvideva strožjo odgovornost za proizvajalce. Če bi torej sprejeli, da se orodja UI v zdravstvu štejejo za medicinski pripomoček, bodo za proizvajalca veljala strožja pravila v skladu z ureditvijo odgovornosti za izdelke z na- pako, kar pomeni, da bi bili dovzetnejši za odškodninske zahtevke. Vendar je takšno kvalifici- ranje orodij UI sporno, saj so ta precej bolj zapletena kot klasični medicinski pripomočki prav zaradi narave črne škatle. Problem je predvsem v tem, da tudi sam ustvarjalec kode algoritma ne bo znal pojasniti, kako je algoritem prišel do rezultata in kje je nastala napaka.23 Tu velja omeniti tudi zanimivo ameriško pravno doktrino učenega posrednika. Doktrina učenega posrednika se nanaša predvsem na uporabo farmacevtskih izdelkov in medicinskih pripomočkov, pri čemer zdravniki posredujejo med proizvajalcem in končnim potrošnikom. Doktrina učenega posrednika dejansko preprečuje, da bi oškodovanci neposredno tožili pro- izvajalce medicinskih pripomočkov. V skladu s to doktrino se zdravnik, in ne pacient, šteje za končnega potrošnika medicinskih pripomočkov. Ponudnik zdravstvenih storitev naj bi bil v najboljšem položaju, da oceni tveganja glede na mogoče prednosti uporabe naprave. To, da se zdravnik obravnava kot končni potrošnik, pomeni, da lahko proizvajalec izpolni svojo dolžnost opozarjanja na potencialne nevarnosti svojih izdelkov z opozorilom zdravnika, ki bo izdelek uporabljal. Če zdravnik pozneje ne bo pravilno opozoril pacienta in ustrezno razkril 20 Uradni list RS, št. 97/07 in nasl. 21 Sullivan in dr. 22 UL L 210, 7. 8. 1985. 23 Gonçalves, str 12. 109 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu tveganj ter koristi, povezanih z izdelkom, je zdravnik tisti, ki bo odgovoren.24 Vprašanje je, ali se mora pravna doktrina učenega posrednika prilagoditi temu, da zdravniki ne morejo v celoti razumeti vseh tehnologij, ki jih uporabljajo.25 In temu primerno tudi ne odgovarjati na podlagi te doktrine. 2.2. Uporaba sedanjih doktrin o odgovornosti za umetno inteligenco v zdravstvu Če navedene koncepte odškodninske odgovornosti poskušamo uporabiti za UI v zdravstvu, naletimo na težavo, ki pretežno izhaja ravno iz nepregledne narave in nepredvidljivih rezul- tatov črne škatle. Če niti oblikovalci UI ne morejo predvideti, kako bodo izdelki delovali po sprostitvi v promet, kako lahko potem očitamo odgovornost njim ali zdravnikom, ki to UI uporabljajo? In če pravni sistem oblikovalce oprosti odgovornosti, ker so ukrepi UI nepredvi- dljivi, kako zagotoviti, da bo oškodovani pacient prišel do pravične odškodnine? Težava pri umestitvi črne škatle v sedanje sisteme odgovornosti je povečana avtonomija. Večja ko je avtonomija, bolj rahla postane meja razdeljevanja pravne odgovornosti med udeleženci. Bolj ko je sistem UI samostojen, vse manj je strank, ki dejansko nadzorujejo delovanje sis- tema. Pravni standardi, ki temeljijo na posredovanju, nadzoru in predvidljivosti, neposredno vplivajo na možnosti izterjave škode. Poleg tega je težko najti odgovorno stranko, saj toliko različnih subjektov sodeluje že samo na strani proizvajalcev, na primer razvijalci programske opreme, inženirji strojne opreme, oblikovalci in korporacije.26 Del pravne skupnosti zagovarja stališče, da zdravniki ne bi smeli biti odgovorni za zdrav- niške napake, ki so nastale z uporabo diagnoze oziroma z izbiro zdravljenja, ki ga predlaga programska oprema UI. Še vedno pa obstajajo tudi teoretiki, ki trdijo, da intervencija pro- gramske opreme UI pri zdravstveni odločitvi ne izključuje odgovornosti zdravnika. Ta sku- pina zagovarja, da lahko zdravnika še vedno štejemo za malomarnega, če dokažemo, da je ta sledil rešitvi algoritma brez ustrezne strokovne presoje le-te. Tu pa ni jasno, kakšen mora biti standard skrbnosti zdravnika, ki uporablja programsko opremo UI.27 Poleg vprašanja, ali je zdravnik naredil zdravniško napako pri upoštevanju algoritma in ali mora za to odgovarjati, se zdaj pojavlja tudi nekoliko ironično vprašanje, ali bi moral zdravnik, ki je sledil lastni presoji, odgovarjati v primeru neupoštevanja orodij UI.28 24 Prav tam, str. 23. 25 Price, str. 10–12. 26 Rankin in dr. 27 Gonçalves, str. 23. 28 Prav tam. 110 II. Civilnopravni vidiki umetne inteligence Če si spet pogledamo navedeni primer pacientke, ki je utrpela škodo zaradi napačne diagnoze raka dojke s strani »black box« algoritma na podlagi podatkov mamografije, ugotovimo, da ima pacientka več možnosti za izterjavo odškodnine. To bi lahko zahtevala od zdravnika, zdravstvene ustanove in od proizvajalca sistema UI, saj delitve odgovornosti med navedenimi udeleženimi še ni. Kogarkoli bi se odločila tožiti, bi se pri vsakem srečala s problematiko dokaznega bremena in težavnosti dokazovanja odgovornosti za algoritem. Navedeno pomeni tveganje za negotovost odškodninske odgovornosti in s tem povezane pridobitve pravične odškodnine. Navedeno govori v prid določenim posodobitvam pravnega sistema, saj se zdi, da s tradicionalnimi doktrinami ta vprašanja niso dovolj obravnavana in pacientom ne dajejo zadostnega varstva v primeru nastanka škode. 2.3. Mogoče pravne rešitve Glede na navedeno problematiko uporabe dosedanjih oblik odškodninske odgovornosti za UI so v nadaljevanju predstavljene mogoče inovativne rešitve ureditve pravnih razmerij. Med bolj kontroverznimi idejami je predlog, da bi se vzpostavila t. i. osebnost UI. Avtonomna orodja UI bi obravnavali kot samostojen pravni subjekt, ki bi lahko samostojno odgovarjal za morebitno nastalo škodo,29 kar bo podrobneje obravnavano v nadaljevanju prispevka. Pred- nost te oblike odgovornosti bi bila, da se ne bi več ukvarjali z vprašanjem, kdo je odgovoren za škodo, temveč bi tožili subjekt UI, ki bi bil kot kvazipravna oseba. Ta bi bil lahko zavarovan (podobno kot so zdravniki zavarovani za zdravniške napake) in bi se morebitni odškodninski zahtevki izplačali iz zavarovanja.30 Kot mogoča rešitev se kaže tudi skupna odgovornost vseh udeležencev zdravljenja. Namesto da bi posamezni osebi ali subjektu pripisali krivdo ter poskušali ugotoviti, ali je napaka sploh nastala, bi v primeru, ko je sistem UI povzročil pacientu škodo, vse skupine, ki sodelujejo pri uporabi in izvajanju sistema UI, skupaj prevzele odgovornost za nastalo škodo. Korist te rešitve je, da si vse vpletene strani delijo breme in da ni potrebno nobeno odkrivanje napak, kar bi bilo morda nemogoče zaradi narave UI.31 Namesto tega se odgovornost deli med vsemi ustreznimi strankami, kar oškodovancem omogoča lažjo izterjavo odškodnine za povzročeno škodo. Finančno breme odškodninskih zahtevkov pa se ustrezno razporedi med vse udeležene in ga ne prevzema le en subjekt. Prav tako bi bila mogoča rešitev sprememba standarda oskrbe. Standard bi bilo treba ustre- zno preoblikovati, tako da bi zahteval, da ustanove in zdravstveni delavci izvajajo potrebno 29 Ranking in dr. 30 Gonçalves, str. 23. 31 Sullivan in dr. 111 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu skrbnost pri postopkovnem ocenjevanju in izvajanju algoritmov črne škatle. V skladu s tem standardom oskrbe bi morali ustanove in zdravniki oceniti algoritme črne škatle in potrditi algoritmični rezultat. Po tem modelu so zdravstveni delavci odgovorni za škodo, če niso ustre- zno ukrepali pri pravilni oceni tehnologij črne škatle, ki se uporabljajo pri oskrbi pacienta.32 Meniva, da je zaradi porasta UI v zdravstvu, zlasti pri diagnosticiranju, in zaradi njenega velikega potenciala ter hitrega razvijanja treba ustrezno in hitro preoblikovati veljavno od- škodninsko zakonodajo, saj ta ne zadošča za obravnavo novih tehnologij. Navedene možnosti novih pravnih rešitev, ki oblikujejo nove pravne standarde in modele, so potrebne za pošteno in predvidljivo pravno doktrino za zdravniške napake, povezane z UI. Pri določitvi novih pravnih pravil je treba misliti tudi na to, kako bo določitev odgovornosti vplivala na razvoj UI v prihodnosti. Zato se nama zdi najbolj smiseln sistem skupne odgovornosti vseh udeležen- cev, saj ta omogoča finančno razporeditev tveganja in tudi lažjo pridobitev odškodnine s strani oškodovanca, saj temu ne bi bilo treba dokazovati napake posameznega subjekta. 3. Robotske operacije V nasprotju z vedno bolj avtonomnimi napravami, ki se uporabljajo v diagnostiki, v kirurgiji še ne moremo govoriti o napravah z UI v pravem pomenu besede. Kirurški posegi so vendarle veliko »delikatnejše« področje, saj je večina napak ireverzibilne narave. Upava si trditi, da bo- mo nekoč, čez mnoga leta, tudi v kirurgiji poznali povsem avtonomne robote, ki bodo opera- cijo opravljali povsem neodvisno od prisotnosti kirurga, vendar meniva, da bo to področje eno od zadnjih, ki se bo razvilo v to smer. Uporaba tovrstne tehnologije je zaradi hitrega razvoja, številnih priložnosti in mnogo prednosti namreč neizbežna. Ko danes govorimo o robotski operaciji, s tem mislimo kirurški poseg, pri katerem je med kirurga in pacienta postavljen računalnik oziroma računalniška tehnologija, ki jo nadzoruje kirurg. Operacijo z asistenco robota je prvotno razvil Nato za potrebe zagotovitve kirurškega zdravljenja vojakov na vojnem območju.33 Pozneje je takšen način operiranja najbolj zaživel v urologiji, ginekologiji, kardiologiji, zdaj pa vedno bolj tudi v splošni kirurgiji.34 Robota za opravljanje operacij pri nas uporabljajo v Splošni bolnišnici Celje in Univerzite- tnem kliničnem centru Ljubljana. Robot se imenuje Da Vinci, sicer pa kot že omenjeno ta ni povsem pravi robot, saj ga ne upravlja neposredno računalnik, temveč ga nadzira za to uspo- 32 Prav tam. 33 Pande, str. 636–640. 34 Glej: (3. 3. 2021). 112 II. Civilnopravni vidiki umetne inteligence sobljen kirurg.35 Sistem sestavljajo tri komponente: kirurška konzola, robot s štirimi rokami in sistem za prenos tridimenzionalne slike. Kirurški instrumenti so povezani z rokami robota in so v telo vstavljeni skozi majhne odprtine. Prednosti robotske operacije v primerjavi z odprto metodo (tj. klasično operacijo) so med drugim krajša hospitalizacija, manjša izguba krvi, manj bolečin, manjše brazgotine, manjše tveganje za vnetje, hitrejša vrnitev v normalno aktivnost itd.36 Pri nas za zdaj še ni podatkov o tem, da bi med robotsko operacijo nastali neželeni za- pleti, je pa z uporabo Da Vincija v ZDA povezanih vsaj 144 primerov smrti.37 3.1. Informirana privolitev Ena temeljnih pacientovih pravic skoraj povsod v razvitem svetu je njegova pravica do privoli- tve po vnaprej pridobljenem ustreznem pojasnilu. Izvorno se je ta pravica razvila iz anglosaške doktrine »informed consent«.38 Žnidaršič Skubic v monografiji Civilno medicinsko pravo po- jasni, da je vsebina avtonomije pacienta sestavljena iz pravice, da je pacient seznanjen z vsemi relevantnimi informacijami, pravice, da sprejme ali zavrne konkretni zdravstveni poseg, in pravice, da vnaprej izrazi voljo za tiste zdravstvene primere, ko ne bo več sposoben odločati o samem sebi. Pacientova pravica, da je seznanjen z vsemi relevantnimi informacijami, na drugi strani po- meni zdravnikovo dolžnost, da mu na ustrezen način in v ustreznem obsegu predstavi vse relevantne okoliščine v zvezi s posegom. Samo ustrezno pojasnilo lahko namreč pacienta postavi v položaj aktivnega subjekta v procesu zdravljenja. Pomembno je tudi poudariti, da pojasnilna dolžnost zdravnika ni le enkratna dolžnost, temveč pomeni zahteven, nepretrgan in dolgotrajen proces, ki traja ves čas zdravljenja pacienta.39 Informirano soglasje oziroma neobstoj le-tega ima za posledico odškodninsko odgovornost zdravnika. Ni namreč podane zdravnikove odgovornosti, če nastanejo med zdravljenjem, za katero je pacient dal veljavno privolitev, zapleti. Odgovornost je zaradi ozaveščene privolitve »prevaljena« na bolnikova ramena. Če pa zdravnik v okviru pojasnilne dolžnosti bolnika ni opozoril na morebitne zaplete in nesrečne posledice ter ta ni privolil v tako zdravljenje, do prenosa odgovornosti ne pride. Zdravnikova odgovornost je tako lahko podana tudi, če je si- cer zdravljenje potekalo strokovno neoporečno. V situacijah, ko bolnikovega soglasja za poseg 35 Glej: (2. 3. 2021). 36 Glej: (1. 3. 2021). 37 Glej: (2. 3. 2021). 38 Žnidaršič, str. 53. 39 Prav tam, str. 54. 113 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu ni mogoče dobiti takoj, ogroženo pa je njegovo življenje ali mu grozi težka poškodba zdravja, se lahko uporabi institut domnevne privolitve. V takšnem primeru se pomanjkanje soglasja, ki bi ga bolnik dal, če bi vedel za medicinsko nujnost posega, odpravi na podlagi hipotetične volje.40 Na tej točki se zastavi vprašanje, kakšen je ustrezen način in ustrezen obseg predstavitve rele- vantnih okoliščin v primeru, da operacijo v celoti ali le v manjšem obsegu opravi robot.41 Po- stavlja se vprašanje, kako pacientu predstaviti tveganja in statistične možnosti za napake brez posebnega spodbujanja za odločitev o posegu. Ustrezno informiranje vključuje informacije o zdravljenju, njegove koristi, tveganja in možnosti za alternativno zdravljenje. Neizogibno je, da uporaba tehničnih naprav z UI postavlja dodatne zahteve v postopek informirane privoli- tve. Kadar se takšna naprava uporablja pri posegu, je informiranje še dodatno zapleteno zaradi morebitnih strahov pacienta, predsodkov do naprav in na splošno nerazumevanja njihovega delovanja. Od zdravnika se pričakuje, da dovolj razumljivo razloži pacientu, kako naprava de- luje, in da to stori v čim bolj »enostavnem« jeziku. Vendar se tu odpira povsem novo poglavje, ali je zaradi zapletenosti algoritmov sploh mogoče zares razložiti in zares razumeti delovanje teh naprav.42 Na informirano privolitev zelo vpliva tudi pacientova percepcija robota. Raziskava, ki je bila izvedena leta 2016 med 12.000 prebivalci evropskih, bližnjevzhodnih in afriških držav, je po- kazala, da bi le 47 odstotkov vprašanih bilo pripravljenih soglašati z manj zahtevno operacijo, ki bi jo izvedel robot. Ta številka se je še dodatno zmanjšala na 37 odstotkov, ko bi šlo za večje in bolj invazivne operacije.43 Mnogi avtorji so poskušali določiti jasna merila informiranega soglasja v primeru robotskih operacij. Susan J. Lee predlaga, da pojasnilna dolžnost zdravnika vsebuje generični opis pose- ga z vsemi tehničnimi podrobnostmi, potencialnimi tveganji, izkušnjami zdravnika in uspe- šnost že izvedenih posegov ter na koncu tudi oceno zdravnika samega o primernosti posega.44 Poleg naštetega predlagava, da je pacient informiran tudi o postopkih, ki so predvideni, če med operacijo nastanejo kakršnekoli tehnične težave. 40 Sklep VSL I CP 4295/2009 z dne 19. 5. 2010. 41 Na tem mestu se »robot« lahko razume tako v sedanjem pomenu kot tudi v prihodnosti, ko bo deloval povsem avtonomno. 42 Več v poglavju 2.1.1 – Odgovornost zdravnika, str. 5. 43 Müller, str. 555–572. 44 Lee Char, str. 473–480. 114 II. Civilnopravni vidiki umetne inteligence 3.2. Odgovornost za škodo, nastalo z robotsko operacijo Načela odškodninske odgovornosti, ki sva jih opisali pri uporabi UI za diagnozo, veljajo tudi pri odškodninski odgovornosti za napake pri operacijah z roboti.45 O robotski operaciji raz- mišljava tako, kot se jo razume sedaj in jo bomo razumeli tudi v prihodnosti, ko bodo kirurški roboti bolj avtonomni. Kdo prevzame odgovornost, je odvisno od primera do primera. V sodnih postopkih glede ta- kšnih sporov bi lahko našli nekakšno povezavo med dokazovanjem zdravniške malomarnosti in odgovornostjo za izdelke, čeprav sta ti področji historično gledano nepovezani.46 Ko gledamo z vidika oškodovanca, zagotovo velja, da bi bila najboljša rešitev solidarna od- govornost vseh vpletenih v poseg (torej zdravstvena ustanova, kirurg, proizvajalec robota ...), saj bi v tem primeru moral le dokazati, da mu je nastala škoda, ne pa, kdo je odgovoren za njo. Takšen sistem omogoča zaščito šibkejše osebe, saj bi bilo v nasprotnem primeru zanjo vse probatio diabolica. Pri čemer pa se zavedava, da bi v praksi nastajale težave z regresnimi zahtevki med udeleženimi. Tradicionalno zdravstvene ustanove in njihovi zaposleni ponujajo storitve, ne pa izdelkov, zato običajno niso povezani z odgovornostjo za produkte. Medicinski pripomočki, ki se med operacijo uporabljajo ali celo vsadijo v telo, se štejejo za postranske pri zdravstvenem posegu.47 3.3. Odgovornost zdravnika Kot že povedano, odgovornost zdravnika obstaja, če zdravljenja ni izvajal po standardu naj- boljše oskrbe, ki temelji na običajni praksi, in je to njegovo ravnanje neposredni vzrok za znatno poslabšanje stanja pacienta. Seveda to velja ob predpostavki, da je pacient informirano soglašal s posegom. Zdravnik je odgovoren za vse vidike lastne prakse, vključno z indikacijami za diagnostične in terapevtske postopke, sprejemanjem odločitev in nadaljnjim ukrepanjem ter vzdrževanjem najvišje ravni usposobljenosti (tj. stalno izobraževanje in usposabljanje). Če zdravnik dokaže, da je ravnal kot dober strokovnjak, ki je izvedel metodo oziroma tehniko posega, ki je sprejemljiva v medicinskih krogih, škodljiv izid ne bo pomenil njegove odgovor- nosti. Težava pa nedvomno ostaja, da je robotska kirurgija šele v svojih povojih, zato je včasih težko presoditi, ali je določena metoda oziroma tehnika sprejemljiva v medicinski družbi in potrjena v klinični praksi. 45 Več v poglavju 2.1.1 – Odgovornost zdravnika, str. 5. 46 Glej: (1. 3. 2021). 47 Saceanu. 115 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu Pri robotskih operacijah, kot jih poznamo danes, je kirurg še vedno tisti, ki upravlja napravo in je zato dolžan zagotoviti pravilno uporabo instrumenta. Njegova odgovornost bi bila tako podana, če se dokaže, da kirurg robota ni upravljal v skladu s skrbnostjo dobrega strokovnja- ka.48 Kirurg se najlažje razbremeni odgovornosti, tako da je na vsakem koraku izredno pazljiv in upošteva vse razumne preventivne ukrepe. Ob tem razmišljava, da bi bilo morda smiselno razmisliti o snemanju tovrstnih operacij, predvsem v obsegu, da se lahko pozneje preverijo kirurgovi ukazi robotu. Dokazovanje odgovornosti bi postalo še zlasti kompleksno, če bi pacient trdil, da usposablja- nje kirurga, ki ga je zagotovil proizvajalec robota, ni zadostovalo za učinkovito upravljanje robota med operacijo. Ne obstajajo namreč globalno sprejeti standardi o tem, katero usposa- bljanje je zadostno za akreditacijo kirurga za upravljanje naprave z robotom. Vsaka institucija določi svoj postopek preverjanja usposobljenosti. Zato je težko prepoznati različne dolžnosti in odgovornosti vpletenih subjektov. 3.4. Odgovornost proizvajalca robota Proizvajalec je dolžan kupce (v našem primeru so to zdravstvene ustanove) opozoriti na ne- varnosti svojih izdelkov. Te nevarnosti in tveganja morajo nato zdravniki prenesti na paciente v okviru informirane privolitve. Tukaj lahko spet govorimo o doktrini »učenega posrednika«.49 Če torej proizvajalec zdravniku oziroma zdravstveni ustanovi zagotovi ustrezno izobraževanje, ji prenese navodila in opozo- rila, potem je proizvajalec razbremenjen dolžnosti nadaljnjega opozarjanja pacienta, saj se ta obveznost prenese na zdravnika.50 Na splošno bi bil sodni postopek v primeru napake, storjene med operacijo z robotom, izre- dno zapleten zaradi prepletanja razmerja med odgovornostjo proizvajalca in odgovornostjo kirurga. Zato spet predlagava rešitev solidarne odgovornosti med zdravstveno ustanovo, ki odgovarja za delo svojega delavca (kirurga), in proizvajalcem.51 Rešitev vidiva tudi v poseb- nem zavarovanju bolnišnice, v kateri se izvajajo robotske operacije in ki bi v ta namen posebej zavarovala škodo, nastalo pri zapletih iz tovrstnih posegov. 48 Nekateri avtorji se s tem ne strinjajo in pravijo, da mora pacient dokazati, da bi bilo tveganje za tako napako znatno manjše, če bi poseg opravil drug kirurg v drugi bolnišnici, glej: (2. 3. 2021). 49 Več v poglavju 2.1 – Tradicionalna odškodninska odgovornost, str. 4 50 Saceanu. 51 Več na str. 4 116 II. Civilnopravni vidiki umetne inteligence 4. Avtonomni medicinski pripomočki Pojem medicinski pripomoček je za vse vrste pripomočkov predlagala Svetovna zdravstvena organizacija in jih opredelila kot sredstvo, potrebno za zdravljenje in medicinsko rehabilitaci- jo, ki osebi: omogoči izboljšanje osnovnih življenjskih funkcij, omogoči samostojno življenje, omogoča premagovanje ovir v okolju, prepreči bistveno poslabšanje njenega zdravstvenega stanja ali celo smrt.52 Kot aktivne medicinske pripomočke Zakon o medicinskih pripomočkih (ZMedPri)53 obrav- nava tiste izdelke, ki za svoje delovanje potrebujejo vir električne ali druge energije. Posebej obravnava še aktivne medicinske pripomočke za vsaditev (ti se delno ali v celoti, kirurško ali z drugim medicinskim posegom vsadijo v človeško telo ali z zdravstvenim posegom vstavijo v naravno odprtino človeškega telesa in po tem postopku tam ostanejo).54 Aktivni medicinski pripomočki vsebujejo strojno in/ali programsko opremo, lahko so mišljeni kot vmesniki za povezovanje različnih naprav oziroma pripomočkov, nekateri tudi komuni- cirajo med seboj. Nekateri lahko podatke pridobijo prek različnih vhodnih enot (senzorji) ter so jih zmožni obdelovati ali izmerjene vrednosti pošiljajo prek izhodnih naprav različnim akterjem.55 To je širok spekter izdelkov, mednje med drugim štejemo defribilatorje, inzulinske črpalke, srčne spodbujevalnike itd. Zakon o medicinskih pripomočkih ne omenja napake izdelka, temveč uvede pojem zaplet. Pod pojem zaplet uvršča »vsako nepravilno delovanje ali poslabšanje lastnosti ali zmogljivosti medicinskega pripomočka z medicinskega ali tehničnega vidika, pa tudi vse neskladnosti pri označevanju oziroma pri navodilih za uporabo, ki bi lahko povzročile ali so že povzročile smrt ali resno poslabšale zdravstveno stanje bolnika, uporabnika ali tretjih oseb« (24. točka 9. člena). Zaplet je pojem, ki se med drugim uporablja v zvezi z zdravnikovo odgovornostjo in oprede- ljuje situacijo, v kateri zdravniku ni mogoče pripisati odgovornosti za škodo, ki je nastala kot posledica zapleta. Zdravnik odgovarja subjektivno, če pacienta ni opozoril na mogoče zaplete, ki se lahko nastanejo ob posegu.56 Zato je pomembno omeniti tudi informirano privolitev, ki jo lahko pacient poda po tem, ko ga zdravnik v primernem obsegu informira o pomembnih lastnostih posega. 52 Maren, str. 4. 53 Uradni list RS, št. 98/09. 54 Dreven, str. 7. 55 Prav tam. 56 Maren, str. 26. 117 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu Tako je tudi sodišče odločilo, da se za izvajalce zdravstvenih storitev zahteva, da ravnajo z večjo skrbnostjo v skladu s sodobno medicinsko doktrino, strokovnimi standardi, normativi in z razvitostjo zdravstvenega sistema v Republiki Sloveniji. Ena njihovih dolžnosti je tudi ta, da medicinske (tehnične) pripomočke in naprave pravilno uporabljajo v skladu z navodili in relevantno strokovno literaturo. Še zlasti to velja za obratovanje tehničnih naprav, ki so za paciente bistvene, z njimi naj bi se seznanili, kolikor je pri ljudeh, odprtih in dojemljivih za tehniko in naravoslovje, mogoče in razumno. Medicinske tehnične pripomočke naj bi toliko obvladali, da lahko z njimi pravilno delajo in da tudi preprečijo morebitno škodo za pacienta, če bi se ti pokvarili. Ker uporaba teh pripomočkov ni brez nevarnosti za pacientovo življenje in zdravje, so tudi zahteve glede skrbnosti pri njihovi uporabi (tudi glede nadzora in varno- stnih ukrepov) zelo visoke.57 Tako je lahko zdravnik odgovoren predvsem glede podajanja ustreznih informacij in prido- bitve informiranega soglasja. Glede programskih napak pa se predvsem postavlja vprašanje odgovornosti proizvajalca ter morda odgovornosti posrednika. Za medicinske pripomočke kot navedeno velja Direktiva Sveta 85/374/EGS z dne 25. julija 1985 o odgovornosti za napake proizvodov, ki predvideva režim stroge odgovornosti za pro- izvajalce.58 Prav tako je Sodišče EU v zadevi Boston Scientific Medizintehnik GmbH proti AOK Sachsen- -Anhalt – Die Gesundheitkasse59 marca 2015 poudarilo, da morajo medicinski pripomočki, kot so srčni spodbujevalniki in vsadni defibrilatorji, glede na svojo naravo in občutljivo funkcijo ter posebno ranljivost bolnikov izpolnjevati visoke zahteve glede varnosti, ki jo taki bolniki lahko upravičeno pričakujejo. Določilo je tudi, da kadar se na takih proizvodih, ki spadajo v isto skupino ali serijo proizvodnje, ugotovi napaka, je mogoče vse proizvode istega modela, skupine ali serije opredeliti kot proizvode z napako, ne da bi bilo treba dokazati napako po- sameznega proizvoda. Zdi pa se, da avtonomnost medicinskih pripomočkov še ni dosegla takšne stopnje, kot so algoritmi pri diagnostiki, zato se vprašanje odgovornosti rešuje predvsem na podlagi proi- zvajalčeve odgovornosti. Poglejmo si le primer inzulinske črpalke. Medtronicova inzulinska črpalka 670G uporablja podatke senzorja za neprekinjeno merjenje glukoze (CGM), ki ga nosi bolnik, da dosledno spremlja dovajanje inzulina. Pretok podatkov, ki ga zagotavlja CGM, omogoča algoritmu, ki je vgrajen v inzulinsko črpalko, da samodejno dovaja manj ali več inzu- lina glede na to, ali pacientu glukoza v krvi raste ali pada. Ta tehnologija je pomemben korak 57 Sodba Vrhovnega sodišča RS II Ips 288/2012 z dne 21. 3. 2013. 58 Gonçalves, str. 12. 59 Sodba Sodišča EU v zadevi C-503/13. 118 II. Civilnopravni vidiki umetne inteligence naprej pri zdravljenju sladkorne bolezni tipa 1 in mnogi jo vidijo kot predhodnico »umetne trebušne slinavke«, ki jo poskušajo znanstveniki sestaviti že leta. T. i. sistem zaprte zanke bi samostojno uravnaval krvni sladkor brez številnih posegov bolnikov.60 Čeprav je ta nova tehnologija za dovajanje inzulina pomemben korak naprej za bolnike in zdravnike, še ni toliko avtonomna, da bi samostojno delovala brez nadzora pacienta. Črpalka 670G prav tako uporablja strojno učene algoritme, vendar pacient še vedno sam sprejema večino pomembnih odločitev. Dejansko sistem morda nikoli ne bo dovolj »pameten«, da bi bil resnično avtonomen v nekaterih okoliščinah zaradi velike količine spremenljivk, ki jih ni mogoče predvideti. Nosljiva tehnologija, kot je inzulinska črpalka z zaprto zanko 670G, vključuje veliko notranjih in zunanjih spremenljivk, ki močno vplivajo na vrednosti glukoze v krvi in omejujejo stopnjo avtonomije, ki jo je mogoče doseči v tem kontekstu zdravljenja.61 Kot navedeno je za brezhibno delovanje algoritma predvsem odgovoren proizvajalec, ki od- govarja po navedenih pravilih. K sreči takih zapletov – nepravilnega delovanja algoritma in s tem na primer čezmernega dovajanja inzulina, ki pacientu povzroči škodo, v Sloveniji še ni bilo. Če bi lahko inzulinske črpalke (in preostali medicinski pripomočki) dosegle večjo avtonomnost, se znova zastavlja vprašanje nadzora in stopnje avtonomnosti algoritma ter že omenjena vprašanja, torej kdo ima dejansko nadzor nad algoritmom in kdo bi za njegove morebitne napake odgovarjal. Drug sklop vprašanj, ki jih zastavlja medicinska UI, sta kibernetska varnost in zasebnost podatkov. Vdori v medicinske pripomočke zajemajo vse od le zlorabe pripomočka za dostop do podatkov do nadzora nad pripomočkom in upravljanja pripomočka, vendar bi navedeno vprašanje preseglo okvire tega prispevka.62 5. Mogoče rešitve de lege ferenda Uporaba UI v zdravstvu ima brez dvoma pozitivne lastnosti in možnosti za razvoj v priho- dnosti. Hkrati je nedvomno tudi dejstvo, da njena prisotnost v medicini zaplete uporabo sedanjih struktur odškodninske odgovornosti pri reševanju zahtevkov zaradi napak. Tovrstni modeli pogosto ne zadoščajo za obravnavanje novonastalih situacij. Razviti bo treba nove pravne standarde in modele, ki obravnavajo uporabo UI v medicini in pacientu olajšajo polo- žaj, kadar mu v postopku zdravljenja z UI nastane škoda. Pravila o odgovornosti ne določajo le tega, kdo čuti ekonomske posledice škodnega dogodka (ali je to žrtev, ki ne dobi odškodnine, ali lastnik naprave z UI, njen oblikovalec, proizvajalec ali distributer), temveč povzročijo tudi 60 Reyes in dr. 61 Prav tam. 62 Več v Dreven. 119 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu druge pomembne posledice, s čimer pravzaprav oblikujejo tehnološki razvoj. Pravila o odgo- vornosti vplivajo na razvoj produktov in tudi na racionalno odločitev za sprejetje tehnološko naprednejših rešitev v primerjavi s tradicionalnejšimi na drugi strani.63 V članku sva že omenili možnost vzpostavitve UI kot samostojnega pravnega subjekta, vzpo- stavitev skupne odgovornosti64 in uveljavitev posebnega zavarovanja, zdaj bova te modele še podrobneje predstavili. 5.1. »Osebnost umetne inteligence« Pod pravne subjekte uvrščamo nosilce pravic in dolžnosti, ki so lahko udeleženci določene- ga pravnega razmerja. Pravna sposobnost je lastnost pravnih subjektov, da lahko pridobivajo pravice in hkrati prevzemajo odgovornost. V modernih pravnih sistemih poznamo dve vrsti pravnih subjektov, to sta fizična in pravna oseba. Fizične osebe so posamezniki, ki pridobijo pravno sposobnost z rojstvom in jo izgubijo s smrtjo. Pravne osebe pa so subjekti, ki jim pravni red ob izpolnjevanju določenih pogojev priznava pravno sposobnost. Če se ozremo v zgodo- vino, vidimo, da vedno ni bilo tako. V rimskem pravu so sužnji veljali za stvari in niso imeli pravne subjektivitete. To je argument, ki kaže, da je pravna subjektiviteta umetni konstrukt, ki temelji na aktivnem dejanju (ureditvi v zakonodaji), ki osebo opredeljuje za pravni subjekt. Na podlagi tega ugotovimo, da lahko pozitivno pravo načeloma pravno subjektiviteto pripiše katerikoli entiteti, odvisno od tega, ali zakonodajalec meni, da je taka dodelitev potrebna za zaščito pravno relevantnih pravic, svoboščin in interesov.65 Navsezadnje ni razloga, zakaj takšnim napravam ne bi podelili določenega pravnega statusa, če bi to narekovale potrebe prakse. Podrobnejša ureditev te možnosti je zelo obsežna in presega meje najinega prispevka. Povedati velja tudi, da bi bile prednosti takšnega modela velike, saj se ne bi bilo več treba spraševati, kdo je odgovoren, temveč bi bila v primeru škodnega dogodka pasivno legitimirana kar UI kot taka. Ta bi bila zavarovana, podobno kot so zdravniki zavarovani za svoje napake. Ob tem se seveda zastavi vprašanje, kdo bi plačeval zavarovalne premije, morda je najlažji odgovor kar lastniki teh naprav, vendar je to v nekakšnem nasprotju z idejo o subjektiviteti. Pri tem obstaja nevarnost za upočasnjevanje napredka tehnologije, saj bi odgovornost UI kot pravnega subjekta pomenila hkrati odgovornost njegovega razvijalca, ti pa bi se verjetno bali velikih finančnih bremen, ki jih takšna odgovornost prinese. 63 Artificial Intelligence and Civil Liability, str. 66. 64 Več v poglavju 2.1.3 – Odgovornost proizvajalca orodij umetne inteligence, str. 6. 65 Glej: (2. 3. 2021). 120 II. Civilnopravni vidiki umetne inteligence 5.2. Solidarna odgovornost vseh udeležencev Zanimiva je tudi ideja o solidarni odgovornosti vseh udeležencev zdravljenja. Ti udeleženci so torej razvijalec UI, proizvajalec, distributer, bolnišnica, ki takšno napravo kupi, in kirurg (za katerega po pravilih odgovornosti za delavca odgovarja njegov delodajalec). Po tem modelu bi, namesto da osebi ali subjektu pripisujemo krivdo (ali poskušamo ugotoviti, ali je napaka sploh nastala), ko sistem UI povzroči škodo, samodejno vse skupine, ki sodelujejo pri upo- rabi in izvajanju, prevzele določeno stopnjo odgovornosti.66 Takšen model bi oškodovancem omogočal lažjo izterjavo odškodnine za nastalo škodo, saj bi oškodovanec po pravilih o soli- darni odgovornosti lahko tožil enega od odgovornih, ta pa bi pozneje imel regresni zahtevek do vseh preostalih. Finančno breme bi se porazdelilo med vse udeležence, kar bi pozitivno vplivalo na razvoj UI, saj razvijalci ne bi bili pretirano obremenjeni z morebitnimi napakami. Z vidika oškodovanca je to zagotovo najboljša rešitev. 5.3. Obvezno zavarovanje Kot je že bilo omenjeno, bi k reševanju problema odgovornosti za napake UI v zdravstvu lahko prispevali tudi novi modeli zavarovanja za orodja UI, ki bi lahko pomagali ublažiti tve- ganja novih tehnologij. Zdravstvene ustanove bi tako lahko sklenile zavarovalne police zaradi zdravniške malomarnosti, da bi zaščitile podjetje pred potencialnimi tveganji in obveznostmi, ki bi izhajale iz uporabe UI. Uporaba takega kritja bi lahko bila tudi obvezna.67 Kot morebitna rešitev se kaže tudi možnost vstopa države kot regulatorja. Ta bi ocenila tve- ganje za določen izdelek UI in nato posameznemu razvijalcu podelila pravico trženja izdelka v zameno za plačilo ustrezne provizije za tveganje. Morebitna dosojena odškodnina za nastalo škodo, ki bi bila posledica uporabe takega izdelka, bi se nato plačala iz bazena teh prispevkov.68 6. Sklep Trenutno ne poznamo posebnih pravil odškodninske odgovornosti, ki izhaja iz uporabe teh- nologije UI, ne v zdravstvu ne na kateremkoli drugem področju. Pravna skupnost še vedno razpravlja o tem, kakšna bi bila najprimernejša ureditev, ali bi morala biti tovrstna odškodnin- ska odgovornost urejena posebej ali zadošča veljavna zakonodaja, ki jo ima posamezna država 66 Vladeck, str. 117–150. 67 Gonçalve, str. 30. 68 Prav tam. 121 Barbara Pavleković, Jerca Petrovič Civilnopravni vidiki umetne inteligence v zdravstvu v zvezi s civilno odgovornostjo. Zdaj se spori, ki nastanejo na tem področju, urejajo ali po pravilih o zdravniški napaki ali po pravilih, ki veljajo za izdelke z napako. Ko poskušamo te oblike odškodninske odgovornosti prenesti na UI, naletimo na težavo, saj te temeljijo na pravnih doktrinah, ki so osredotočene na človeško ravnanje in vedenje. Meniva, da bo v prihodnje treba posodobiti to pravno področje, pri čemer je zaslediti tudi precej kontroverzne rešitve, kot je podelitev pravne subjektivitete napravi z UI, ali povsem znane institute, kot so posebne zdravstvene police, regulacija države ali pa, kot v prispevku predlagava, vzpostavitev solidarne odgovornosti vseh udeležencev v procesu zdravljenja. Ta- kšna rešitev se nama zdi dober kompromis, saj ne zavira razvoja novih tehnologij, hkrati pa oškodovancu omogoča lažje izplačilo odškodnine. Razvoj UI v prihodnosti je neizbežen, saj so prednosti, ki jih prinaša, revolucionarne. Splošno gledano ima njena uporaba v medicini veliko več prednosti kot slabosti, vendar je treba z ustrezno reformo prava urediti ta mali delež neželenih izidov. Literatura Artificial Intelligence and Civil Liability. Legal Affairs, STUDY Requested by the JURI committee. July 2020. ČAKARIĆ, Maja. Tudi roboti imajo včasih slab dan. Dostopno na: (2. 3. 2021). DREVEN, Maša. Vdori v medicinske pripomočke. Diplomsko delo, Ljubljana 2018. GREENFIELD, Daniel. Artificial Intelligence in Medicine: Applications, implications, and limi- tations. Dostopno na: (2. 3. 2021). GONÇALVE, Mariana Alpalhão. Liability arising from the use of Artificial Intelligence for the pur- poses of medical diagnosis and choice of treatment: who should be held liable in the event of damage to health?. Tilburg Law School, 2018. HILDEBRANDT, Mireille. Legal Personhood for AI?. Dostopno na: (3. 3. 2021). Kaj je robotska kirurgija? Dostopno na: (1. 3. 2021). LEE CHAR, Susan J. Informed consent for innovative surgery: a survey of patients and surgeons. Surgery, 2013, letn. 153, št. 4, str. 473–480. Malfunctions of robotic system in surgery: role and responsibility of surgeon in legal point of view. Dos- topno na: (2. 3. 2021). MARN, Mitja. Objektivna odgovornost in medicinski pripomočki. Diplomsko delo, Maribor 2011. 122 II. Civilnopravni vidiki umetne inteligence MÜLLER, Vincent C., BOSTROM, Nick. Future progress in artificial intelligence: a survey of expert opinion. V: Müller, V. C. (ed.), Fundamental Issues of Artificial Intelligence. Cham: Springer, 2016, str. 555–572. PANDE, Ravi U., PATEL, Yatin, POWERS, Colin J., D‘ANCONA, Giuseppe, KARAMANO- UKIAN, Hratch L. The telecommunication revolution in the medical field: present applications and future perspective. Curr Surg., 2003, letn. 60, št. 6, str. 636–640. PRICE, W. Nicholson, II. Artificial Intelligence in Health Care: Applications and Legal Implica- tions. V: The SciTech Lawyer, no. 1, 2017. Dostopno na: (3. 3. 2021). RANKIN, Andrew, CARR, Christian. AI and the potential liability issues arising from use in a clinical setting. Dostopno na: (4. 3. 2021). REYES, Carla L., NELSON, Victoria R. Legal Issues Raised by Medical AI: An Introductory Exploration. Dostopno na: (2. 3. 2021). ROZBRUCH, Libby. Litigation & Robotic Surgery: Product Liability or Medical Malpractice?. Dostopno na: (2. 3. 2021). SACEANU, S. M., ANGELESCU, C., VALERIU, S., PATRASCU, A. Telesurgery and Robo- tic Surgery: Ethical and Legal Aspect. Journal of Community Medicine & Health Education, July 7, 2015. Dostopno na: (3. 3. 2021). SULLIVAN, Hannah R., SCHWEIKART, Scott J. Are Current Tort Liability Doctrines Adequate for Addressing Injury Caused by AI?. Dostopno na: (2. 3. 2021). VLADECK, D. C. Machines without principles: liability rules and artificial intelligence. Wash Law Rev., 2014, letn. 89, št. 1, str. 117–150. ŽNIDARŠIČ SKUBIC, Viktorija. Civilno medicinsko pravo. Ljubljana: Uradni list RS, 2018.