James J. Hughes1
james.hughes@trincoll.edu
Globalna regulacija tehnologije in potencialno apokaliptične tehnološke grožnje2
»Očka, kaj če prihodnosti ne bo?«
Tristan Bock-Hughes, star šest let
1 Dr. James J. Hughes je izvršni direktor
Grožnja samoreplicirajočih tehnologij	Institute for Ethics and Emerging Techno-
logies, bioetik in sociolog na Trinity
Aprila leta 2000 je Bill Joy, glavni tehnolog, soustanovitelj College v ^rtforiu Cot^c^ kjer
podjetja Sun Microsystems in izumitelj računalniškega jezika predava zdravstveno politik°. Je avtor '	,v . ..	. . .	knjige Citizen Cyborg: Why Democratic
java ob|avil ludistično |eremi|ado na na|man| ver|etnem mestu, societies Must Respond to the Redesi-
v militantno protehnološki reviji Wired. Ko je premišljeval o gned Human of the Future (Westview
potencialno apokaliptičnih posledicah treh tehnologij - genskega Press, 2004) ter eden vodilnih mislecev
inženiringa, nanotehnologije in robotov, navdahnjenih z umetno »demokratičnega transhumanizma«, ki zagovarja potenciale emergentnih tehnologij
inteligenco, je Joy dobil resen primer slutenj o sodnem dnevu.
° Ti	t	i za premagovanje bioloških in družbenih
Kl|učna in kvalitativno drugačna grožnja, ki jo je Joy prepoznal	virov neenakosti, pri tem pa poudarja
v teh tehnologijah, je bila potencialna samoreplikacija. Medtem	ključno vlogo demokratičnih mehanizmov ko strelno orožje ne ustvarja novega strelnega orožja in ne izvaja in javnih institucij pri regulaciji tveganj in
samostojnih morilskih pohodov, pa lahko gensko prirejene kuge,	zagotavljanju enakopravnega d°st°pa.
bodoči roboti in nanofagi teoretično počnejo prav to.	2 Prvotno objavljeno kot HUGHES, J. Joy je sklenil, da se moramo vrniti k prizadevanjem mirovnega J. »Global Technology ^guhthn and
gibanja, kjer bi se vse države odrekle razvoju orožij množičnega Potentially-APocalyPtic Technological & .v . ' 1v . , .	. '	. .	Threats«. V: ALLHOF, F., LIN, P., MOOR,
m^j ter takšna prizadevan)a usmeriti k opustitvi genetskih j. in WECKERT, j. (ur). Nanoethics:
in molekularnih raziskav ter raziskav na področju umetne inte- The Ethical and Social Implications of ligence (AI). »Te tehnologije so preveč mogočne, da bi se pred Nanotechnology. John Wiley & Sons, Inc. njimi lahko zavarovali v doglednem časovnem okviru. Edina Hoboken, New Jersey, 2007 realistična alternativa, ki jo vidim, je opustitev: omejiti razvoj
tehnologij, ki so prenevarne, tako da omejimo naša prizadevanja pri iskanju določenih oblik znanja« (Joy, 2000). Joyev poziv k opustitvi ni imel posebnega učinka na razprave o javnih politikah, vendar pa je dodal težo rastočemu neoludističnemu gibanju proti nano- in biotehnologiji. V tem eseju želim podpreti Joyevo skrb glede potencialno apokaliptičnih posledic teh emergentnih tehnologij, kakor tudi razložiti, zakaj Joyev predlog za globalno opustitev omenjenih tehnologij ni uporaben predlog, poleg tega pa želim predlagati globalno regulativno alternativo.
Grožnja je resnična
Vendar pa je najprej treba priznati, da te tehnologije dejansko pomenijo potencialno apokaliptične grožnje.
Bioorožja. Namerna izdelava bakterijskih in virusnih orožij v velikem obsegu se je začela v 60. letih 20. stoletja, tako v ZDA kot v Sovjetski zvezi. V 80. letih so bile razvite tehnike za rekombinantno preoblikovanje bakterij in virusov. Ko so postale razpoložljive, so bile pred razpadom sovjetske znanstvene infrastrukture uporabljene na virusu koz in na drugih vektorjih. Dandanes imajo številne države in organizacije dostop do tehničnega znanja in orodij, potrebnih za zagon raziskovalnih programov o bioorožjih, ki omogočajo tudi poskuse za gensko manipulacijo bioloških agensov (Williams, 2006; Chyba, 2006).
Genomi gripe, kuge, vraničnega prisada, SARSa, pljučnice in drugih patogenov so že bili dekodirani in so javno dostopni. Z uporabo teh informacij bi bilo mogoče zasnovati nove organizme, ki bi združevali nalezljivost, daljši čas nedejavnosti in smrtonostnost prej naštetih patogenov, obenem pa bi bili sposobni napasti zgolj določene rase ali telesne dele, lahko pa bi bili odporni tudi na antibiotike in antiseptične metode. Sovjetski program bioloških orožij je proučeval kombinacije sevov vraničnega prisada, koz, kuge in ebole (Williams, 2006). Opozorila pred gensko inženiranimi bioorožji so pod Clintonovo administracijo sprožila oblikovanje bioobrambnega programa, teroristični napadi 11. septembra in napadi z vraničnim prisadom leta 2001 pa so z grožnjo bioterorizma spodbudili širitev pobud za razširjeni bionadzor in bio-obrambo pod Bushevo administracijo.
Vendar pa Joya ne skrbi zgolj namerni izpust gensko prirejenih nalezljivih agentov, zasnovanih kot orodje množičnega uničenja, temveč tudi nenamerni izpust gensko inženiranih mikroorganizmov, zasnovanih v koristne namene, ki bi v naših telesih ali ekosistemih lahko imeli podobne katastrofične učinke kot omenjena orožja. Ključ do učinkovite genske terapije je bil poiskati virusne vektorje, ki so dovolj nalezljivi, da bi koristne gene lahko razširili po celotnem telesu pacienta. Kot sredstva prenosa genov so raziskovalci proučevali vse, od navadnega prehlada do virusa HIV. Terapevtski uspeh pa nosi tveganje, da bi se genski vektor lahko razširil, mutiral in imel nenameravane posledice. Avstralski raziskovalci so na primer odkrili, da so, medtem ko so poskušali ustvariti virusno kontracepcijsko sredstvo, ustvarili virus mišjih koz, ki je imel 100- odstotno smrtnost (pri miših) (Nowak, 2001). Bakterije, inženirane za čiščenje naftnih razlitij, bi lahko mutirale tako, da bi začele jesti plastiko. Biotehnološki pridelki bi se lahko izmuznili s kmetij in povzročili opustošenje v lokalnih ekosistemih.
Nano zdrizi. Medtem ko so grožnje onesnaženja z nanomateriali že spodbudile pozive k moratoriju na nanotehnološke inovacije (ETC, 2005), so grožnje samoreplicirajočih nanorobo-tov bolj teoretične in segajo dlje v prihodnost. Čeprav ocenjujejo, da je ta sveti gral programsko vodenega nanoreplikatorja oddaljen več desetletij, je dokajšnja verjetnost razvoja proizvedla množico razprav o apokaliptičnem scenariju »sivega zdriza«, v katerem se niz replikatorjev izmuzne svojim programiranim omejitvam in začne požirati vse okrog sebe ter tako uniči življenje na Zemlji. Po eni izmed ocen (Freitas, 2000) bi nanoroboti lahko pojedli biomaso Zemlje v približno enem tednu.
Vendar pa so nanotehnologi v simulacijah demonstrirali tudi, da bi se pobegli »ekofaški« nanoroboti dokaj verjetno sestradali, se sežgali, ali pa rasli dovolj počasi, da bi bilo mogoče vzpostaviti protiukrepe (Freitas, 2000). Nanoinženirji so predlagali industrijske standarde, s katerimi bi nanostroje naredili odvisne od specifičnih virov snovi, ali pa samoomejujoče pri
njihovi replikaciji, da bi preprečili izbruhe nanokug (Foresight, 2000). Modri zdriz, torej nano-imunske sisteme, bi bilo mogoče uporabiti za zaznavanje in uničevanje sivega zdriza. Kljub temu pa bodo grožnje široko razširjenega uničenja zaradi namernega ali nenamernega izpusta uničujočih nanostrojev sčasoma postale resnične.
Ubijalski roboti. Končno in najbolj špekulativno Joy zgovorno obravnava enega najstarejših predmetov znanstvene fantastike, idejo, da bi strojni razumi ali roboti lahko zavladali svetu in uničili človeštvo: »superiorni roboti bi gotovo enako vplivali na ljudi, kot so severnoameriški placentali vplivali na južnoameriške vrečarje (in kot so ljudje vplivali na nešteto vrst) ... biološki ljudje bi bili izrinjeni iz obstoja« (Joy 2000).
Joyeva zaskrbljenost zaradi samovoljnih, samoreplicirajočih robotov je povezana z ekstrapolacijami Hansa Moravca, Raya Kurzweila in drugih, ki so razmišljali o morebitnem nastanku strojnih umov. Računska moč se je v zadnjem stoletju podvojila vsakih 18 mesecev, kot opaža ugotovitev, znana pod imenom Moorov zakon. Z ohranjanjem eksponentne hitrosti rasti bodo osebni namizni računalniki dosegli kompleksnost človeških možganov v prihodnjem desetletju. Če so samozavedanje in druge značilnosti živih umov emergentne (porajajoče) lastnosti kompleksne obdelave informacij, potem že danes obstaja možnost spontanega nastanka samovoljne inteligentnosti v strojih, saj je kompleksnost vseh informacijskih tehnologij, povezanih prek spleta, že dosegla ravni človeških možganov. Medtem ko nekateri domnevajo, da bo to začetek nove zlate dobe, Joy gotovo ni osamljen v svoji domnevi, da bi posledice takšnega dogodka segale od močno razdiralnih do apokaliptičnih.
Veliko kritikov je zavrnilo Joyeve skrbi kot »znanstveno fantastiko«, kar pomeni, da ne verjamejo v možnost superkug, nanorobotov in samovoljne AI. Toda tudi če so te grožnje malo verjetne, moramo celo najmanjšo grožnjo tako velikanskega potencialnega katastrofičnega učinka vzeti resno. Strinjam se z Billom Joyem, ETC in drugimi zagovorniki tehnoloških prepovedi, da so apokaliptične grožnje teh tehnologij zelo resnične in da upravičujejo dramatične ukrepe. Vendar pa se ne strinjam, da so moratoriji na razvoj tehnologij alternativa tveganjem emergentnih tehnologij, saj njihova izvedba ni mogoča in tudi ne bo izvedena. Na apokaliptična tehnološka tveganja se je mogoče učinkovito pripraviti ter jih zmanjšati zgolj z učinkovito transnacionalno regulacijo, regulacijo, o kateri ludistični kritiki menijo, da je nezadostna, in ki jo industrijski in vojaški sponzorji emergentnih tehnologij vidijo kot grožnjo njihovim kor-poracijskim in nacionalnim varnostnim interesom. Pravzaprav nas, kot poudarja Joy, ta dilema spremlja že vse od nastanka jedrskih orožij: ali lahko zgradimo učinkovito globalno infrastrukturo, s katero bi zagotovili povečevanje koristi tehnologij dvojne rabe, kot je na primer jedrska energija, ne da bi se pri tem povečala njihova tveganja, kot na primer pri jedrskih orožjih?
Upravljanje širjenja tehnologij dvojne rabe
Če predpostavimo, da so grožnje emergentnih tehnologij dejansko potencialno apokaliptične, opustitev pa donkihotovski predlog, bi moralo biti jasno, da je tako zagovarjanje avtonomne znanstvene in industrijske samoregulacije kot tudi politično dirigirane samoregulacije s strani nacionalnih držav neustrezen odziv. Ker ni učinkovitih globalnih regulacij, so lahko etični kodeksi in samoregulacija dobrodošli prvi koraki, ki bi zagotovili neko kritično prehodno obdobje, v katerem bi bilo mogoče formulirati svetovne regulativne odzive, preden se tehnologije razširijo, še posebno tedaj, ko države v tehnološkem vodstvu določijo stroge omejitve glede izvoza
tehnologij potencialnega vojaškega pomena, kot to počnejo ZDA. Vendar pa je treba zaradi teh groženj končno, tako kot pri regulaciji jedrskega, kemičnega in biološkega orožja, oblikovati transnacionalne regulacije in agencije, ki so pooblaščene za kontrolo in izvedbo teh regulacij. V ta namen sledi kratek pregled zgodovine sporazumov o nadzorovanju oboroževanja in njihovem uresničevanju, da bi lahko poudarili težave, s kakršnimi se soočajo takšne transnacionalne regulacije, kadar gre za tehnologije »dvojne rabe«, ki imajo tako koristne kot uničevalne načine uporabe, in kadar korporacije ter nacionalne države nočejo sklepati kompromisov glede lastninske tajnosti in nacionalne avtonomije.
Lekcije iz režimov za nadzor oboroževanja
Preden je bilo na območju Trinity v Nevadi preizkušeno prvo atomsko orožje, je Edward Teller objavil izračune, ki so kazali, da bi preizkus lahko vžgal Zemljino atmosfero v nenadzorovani verižni reakciji. Robert Oppenhemer je bil tako zaskrbljen, da se je posvetoval s svojim mentorjem, Arthurjem Comptonom, ki je predlagal izračun tveganj in koristi, po kateri bi bila morebitna izguba vojne z nacisti manjše tveganje, če bi bilo tveganje uničenja Zemljine atmosfere tri proti milijon ali več. Do izvedbe preizkusa je ekipa v Trinityju dokazala, da je vžig Zemljine atmosfere teoretično nemogoč. Toda kako malo verjetna možnost je še vedno preveč mogoča? Kako lahko vemo, kdaj smo presegli možnost tri proti milijon in ali je to sploh ustrezna raven tveganja, ki ga hočemo sprejeti za prihodnost življenja na planetu? Kako velike morajo biti potencialne koristi določene smeri raziskav, da bi se bili pripravljeni igrati z obstojem človeštva?
Po drugi svetovni vojni so številni znanstveniki in mirovni aktivisti predlagali globalno odpoved jedrskemu orožju. Niti takrat niti kdajkoli pozneje ni bilo zadostne politične podpore za razorožitev, ki bi omogočila izvršitev takšne prepovedi, delno zaradi prepričanja o nacionalnih varnostnih interesih jedrskih sil in delno zaradi pomanjkanja učinkovitega globalnega telesa za izvajanje pogodb. Rast industrije z jedrsko energijo, ki proizvaja cepljive snovi, kakršne v bombah lahko uporabljajo države ali teroristi, je prav tako jasno pokazala, da bi morala regulacija jedrskega širjenja dovoljevati koristno uporabo tehnologije ter obenem odvračati od širjenja jedrskih orožij. Leta 1957 so se Združeni narodi odzvali na dilemo tako, da so oblikovali Mednarodno agencijo za atomsko energijo (IAEA).
Glavna naloga IAEA je bila zagotavljati varnost jedrske energije. Od leta 1970, ko je začela veljati Pogodba o neširjenju atomskega orožja (NPT), je bila IAEA čedalje pogosteje poklicana k preiskovanju držav, ki uporabljajo proizvodnjo jedrske energije kot krinko za programe jedrskega orožja. IAEA je preiskovala domneve o iraškem programu jedrskega orožja pred in po invaziji s strani ZDA leta 2003 in je trenutno zaposlena s preiskovanjem jedrskih programov v Iranu in Severni Koreji. Kljub temu pa je, zopet, šibkost transnacionalnega upravljanja, še posebno nezmožnost ZN, da bi zbrali zadostno vojaško in gospodarsko moč, ki bi prisilila Irak, Iran in Severno Korejo k sodelovanju z inšpektorji za orožje in k upoštevanju mednarodnih prepovedi o orožnih jedrskih programih, pripomogla k večfaktorski racionalizaciji Busheve administracije za katastrofalno invazijo Iraka ter k še vedno trajajoči politiki na robu vojne z Iranom in Severno Korejo.
Vendar pa težavnost reguliranja orožij množičnega uničenja nikakor ni bila omejena le na te »odpadniške države«. Ne ZDA in ne Rusija niso bile nikoli pripravljene privoliti v inšpekcije jedrskih objektov »kadarkoli, kjerkoli«, določene v Pogodbah o zmanjševanju strateškega orožja iz let 1992 in 1993, namesto tega pa so se zanašale na druge, veliko manj zanesljive oblike nadzorovanja in preverjanja. Podobno so ZDA in Sovjetska zveza zavrnile podelitev prostih rok
mednarodnim agencijam pri nadzorovanju in preiskovanju laboratorijev z bioobrambnimi zmožnostmi pod Konvencijo o biološkem orožju (BWC), ki je začela veljati leta 1975. Ker BWC ni imela nikakršnih mehanizmov za preiskovanje ali izvrševanje, so se v 90. letih začele razprave o krepitvi omenjene pogodbe, kar bi poleg drugih ukrepov omogočilo takojšnje inšpekcije bio-obrambnih objektov. Leta 2001 je Busheva administracija kot odziv na zaskrbljenost o zaščiti lastninskih biotehnoloških informacij ter tajnosti bioobrambnih raziskav ZDA, državo umaknila iz BWC. Pogajanja BWC pa so bila onemogočena tudi zaradi vztrajanja držav v razvoju, da mora režim olajšati njihovo pridobivanje biotehnologije v miroljubne namene (Marchant in Sylvester, 2006).
Ta prizadevanja za regulacijo jedrskih, bioloških in kemičnih tehnologij, s katerimi bi preprečili njihovo uporabo kot orožij množičnega uničenja, kažejo, da popolna prepoved tehnologij ni bila nikoli politično izvedljiva ravno zaradi dvojne, koristne uporabe omenjenih tehnologij. Edini napredek, in še to majhen, je nastal pri prizadevanjih za oblikovanje agencij, kot je IAEA, ki nadzorujejo varnost uporabe miroljubnih tehnologij, medtem ko preiskujejo in odvračajo od njihove pretvorbe v orožja. Z enakim položajem se soočamo pri širjenju nano-tehnologije, genetskega inženiringa in umetne inteligence, ki bi lahko zdravile bolezni, dajale nove vire energije, omogočile čistejše in učinkovitejše industrijske postopke ter na splošno ponujale boljšo prihodnost. Globalne prepovedi teh tehnologij so tako malo verjetne, kot so bile pri nuklearnih in bioloških tehnologijah.
Tehnološka opustitev je nemogoča tudi zaradi potrebe po razvoju učinkovitih varovalnih in obrambnih ukrepov proti uporabi emergentnih tehnologij s strani odpadniških držav in terorističnih skupin. Potem ko so Združene države podpisale Konvencijo o biološkem orožju iz leta 1972 in je Richard Nixon odstranil program kemičnega orožja v ZDA, so Sovjetska zveza in vrsta drugih podpisnic skrivno razširile lastne programe biološkega orožja. Kljub temu pa imamo danes v Združenih državah s poznejšim nastankom robustne biomedicinske strukture zmogljivost odziva na potencialna bioorožja s pobudami, kot je Bioshield, uzakonjen leta 2004. Popolna prepoved dela s patogeni, kot so koze, vranični prisad in ebola, bi obenem ustavila tudi raziskave za razvoj učinkovitih biomonitorjev, cepiv in antibiotikov za te patogene, kakršne spodbuja program Bioshield. Pravzaprav je Busheva administracija ob svojem umiku iz BWC leta 2001 navedla potrebo po izvajanju bioobrambnih raziskav. Podobno bi vsaka obsežna prepoved nanotehnologije ali robotike ovirala zmožnost podpisnic za opravljanje obrambnih raziskav na področju teh tehnologij, v pričakovanju uporabe nano- in bioorožij s strani nepodpisnic, neposlušnih držav in nedržavnih skupin.
Opustitev pa je neprivlačna tudi zato, ker apokaliptična tveganja, s katerimi se soočamo, ne izhajajo zgolj iz teh tehnologij, temveč tudi iz narave same. V kalkulaciji tveganj in koristi, izhajajočih iz emergentnih tehnologij, obstajajo apokaliptična tveganja na obeh straneh.
Bioobrambne raziskave niso uporabne samo kot potencialna bioorožja, temveč tudi kot zdravila za emergentne kužne bolezni, kot sta SARS in ptičja gripa. Nove bio- in nanotehnologije lahko zmanjšajo človeško obremenjevanje ekosistema tako, da bi omogočile gojenje večjih količin hrane na manjšem zemljišču z manjšo porabo virov, s stvaritvijo novih in učinkovitejših virov energije ter industrijskih procesov, kakor tudi s tem, da bi človeška bitja naredile manj ranljiva za posledice hitrih podnebnih sprememb in naravnih katastrof, kot so potresi, poplave, orkani in udari asteroidov. Raziskave proti staranju, temelječe na konvergenci pospešujočih bio-, nano- in informacijskih tehnologij, obljubljajo rešitev milijard življenj, ki bi bila v tem stoletju izgubljena zaradi bolezni, povezanih s staranjem. Na mejah napovedovanja in v nekaj desetletjih je
mogoče, da je tehnološko odpovedovanje bolj eksistenčno tvegano kot pa tehnološki napredek. Kljub vsemu pa lahko z ustrezno regulacijo zmanjšamo tveganja in bistveno izboljšamo verjetnost koristi.
Transnacionalna in nacionalna regulacija
Emergentne tehnologije je torej treba vključiti v obstoječi režim mednarodnega nadzora nad orožjem in v mednarodno regulacijo okolja in izdelkov, režim sam pa je treba okrepiti. Trgovanje z gensko spremenjenimi rastlinami in živalmi je izpostavljeno reviziji, ki poteka po Codexu Alimentariusu, skupnem projektu Organizacije združenih narodov za prehrano in kmetijstvo ter s pomočjo Svetovne zdravstvene organizacije, ki določa prostovoljne varnostne smernice za trgovanje s prehranskimi in kmetijskimi pridelki. Ker so to potencialno toksične snovi, je mednarodno trgovanje z nanosnovmi podrejeno regulaciji v Sporazumu o sanitarnih in fitosanitarnih ukrepih Svetovne trgovinske organizacije (Thayer, 2005). Sporazum sicer spodbuja države, da oblikujejo notranje predpise na podlagi mednarodnih standardov, ki jih je razvil Codex Alimentarius, vendar pa ne vsebuje mehanizmov za izvajanje.
Prodaja računalniških sistemov s potencialom za avtonomno inteligenco trenutno ni podrejena nobeni drugi mednarodni regulaciji kot varovanju intelektualne lastnine, čeprav Ministrstvo za trgovino ZDA prepoveduje izvoz sistemov, ki veljajo za vojaško pomembne, kot na primer šifrirni algoritmi. Ce je tehnologije mogoče uporabiti za proizvodnjo orožja, resoluciji 1540 in 1673 Varnostnega sveta ZN od vseh držav zahtevata sprejetje ukrepov, ki nedržavnim akterjem preprečujejo dostop do omenjenih tehnologij, kakor tudi poročanje o izvedenih postopkih za identifikacijo in preprečevanje uporabe teh tehnologij s strani nedržavnih akterjev.
Čeprav nekatere države zvesto zagotavljajo, da je njihova notranja regulacija skladna s temi mednarodnimi sporazumi, večina tega ne počne. Vse od ameriške invazije na Irak, ki jo je Busheva administracija delno zagovarjala z nesodelovanjem Huseinovega režima z inšpektorji za nadzor orožja ter nezmožnostjo Združenih narodov, da bi Huseina prisilili k sodelovanju, je vprašanje krepitve mehanizmov mednarodnih sporazumov za nadzor orožja postalo osrednje vprašanje v mednarodni diplomaciji. Leta 2006 je bilo to vprašanje osrednjega pomena v konfliktih med Iranom in Severno Korejo na eni strani ter IAEA in svetovno skupnostjo na drugi. Nezmožnost Združenih narodov za mobilizacijo sile proti Sudanu, Kartumu omogoča oviranje mednarodnih preiskav genocida v Darfurju ter uporabo mirovnih enot za zaščito Darfurcev.
Čeprav imajo Združeni narodi v modrih čeladah več enot kot kdajkoli prej, z več kot 100.000 vojaki na misijah na osemnajstih različnih območjih, mirovne sile ZN ostajajo priložnostne in premalo financirane. Uspeh pri prepričevanju držav članic ZN, da bi dovolile oblikovanje nad-nacionalne sile, zmožne izvrševanja svetovne zakonodaje, ostaja zelo majhen.
Čeprav se le občasno upoštevajo, so mednarodne regulacije same pogosto oslabljene zaradi nesorazmernih vplivov interesov korporacij in nacionalnih držav. Številne nevladne organizacije menijo, da so regulacije o varnosti živil iz Codex Alimentariusa neustrezne, ter opozarjajo, da omenjeni organ na posvetovanja veliko pogosteje vabi korporacijske predstavnike kot pa predstavnike zagovornikov javnega zdravja in nevladnih organizacij. Z nekoliko prizanesljivosti lahko priznamo, da so pogajanja v zvezi z mednarodnimi regulacijami težavna, bojevita in draga ter da so omenjene regulacije zato pogosto skrčene na najmanjšo mero. Cilj zaščite proste trgovine pred muhastimi in protekcionističnimi trgovinskimi ovirami, je prav tako pogosto v konfliktu z zahtevami nevladnih organizacij in nekaterih evropskih držav, ki se nanašajo na »previdnostno
načelo«. Leta 2006 je na primer Svetovna trgovinska organizacija sprejela dokončni sklep, da EU nima razlogov za omejitev uvoza genetsko modificiranih poljščin, ker nima dokazov, da omenjene poljščine niso varne. To je precedens za podobno visoko mejo pri kakršnih koli nacionalnih ali regionalnih prizadevanjih za omejitev širjenja nanosnovi.
Tako mora režim regulacije tehnologije, kakršen je potreben za preprečevanje širjenja tehnologij množičnega uničenja, segati daleč prek obstoječih, prostovoljnih regulacij o nadzoru in trgovanju z orožjem ter ustvariti mednarodne mehanizme, ki bi preverjali, da nacionalne države izvajajo mednarodne sporazume, ali pa tvegajo, da so izpostavljene prisilnim sankcijam. Primer takšne svetovne zakonodaje in izvajanja, bi bil sporazum pod Konvencijo o genocidu, kjer države dovoljujejo mednarodno preiskovanje obtožb zaradi genocida in ukrepanje Varnostnega sveta Združenih narodov za preprečevanje genocida. (Vendar pa smo, znova na primeru Darfurja in nezmožnosti ZN, da bi začeli vojno s Sudanom, videli, kako neučinkovit je bil ta sporazum.) Obstajajo tudi sporazumi o globalni intelektualni zaščiti, ki jih nadzorujeta Svetovna organizacija za intelektualno lastnino in GATT in ki zavezujejo nacionalne države, da preiskujejo in zaustavijo domača podjetja, ki kršijo globalne avtorske pravice in patente, sicer so proti njim uvedene mednarodne sankcije.
Regulacija groženj potencialno apokaliptičnih tehnologij tako ne zahteva zgolj, da varnost emergentnih tehnologij naslavljajo transnacionalni sporazumi, temveč da ti sporazumi tudi oblikujejo in podpirajo agencije, ki so zmožne izvajati nadzor in preverjanje tako na državni kot na mednarodni ravni, s sprožilci mehanizmov prisilnega izvajanja, ki segajo od ekonomskih sankcij pa do vojaške sile.
Mehanizmi globalnega nadzorovanja
Glavna ovira pri oblikovanju infrastrukture za globalno regulacijo tehnologije je bila, kot je bilo že omenjeno, poleg nepripravljenosti odreči se potencialnim koristim tehnologij, nepripravljenost nacionalnih držav in podjetij, da bi odprla svoje vojaške in zasebne laboratorije robustnemu režimu inšpekcije in preverjanja. Ker je za učinkovito nadzorovanje emergentnih tehnologij potrebna še večja invazivnost, so grožnje korporacijski in nacionalni suverenosti še toliko večje. Vendar pa bodo glede na hitro eskalacijo groženj transnacionalni sporazumi za nadzor in obvladovanje nevarne tehnologije kmalu zopet na mednarodnem dnevnem redu.
Monitoring za potencialno apokaliptično nanotehnologijo, biotehnologijo in AI bo moral biti še bolj invaziven kot režim nadzorovanja, kakršnega so pod IAEA poskušali vzpostaviti za jedrsko energijo. Amy Stimson iz Centra za strateške in mednarodne študije je argumentirala, da bi bilo mogoče zgraditi sisteme za monitoring biotehnoloških objektov, ki bi dovoljevali preverjanje upoštevanja Konvencije o biološkem orožju, ne da bi pri tem razkrivali lastninske informacije ali informacije, povezane z nacionalno varnostjo (Stimson, 2004). Žal pa je takšne sisteme za monitoring sčasoma neizogibno mogoče preslepiti, obenem pa celo inšpekcije »kjerkoli, kadarkoli« hitro postanejo nepomembne, ko se velikost objektov, potrebnih za opravljanje raziskav in razvoja, vztrajno manjša. Nevarne nanotehnološke in biotehnološke raziskave je mogoče opravljati v zelo majhnih objektih, ki jih je za velikostno stopnjo teže odkriti kot objekte, potrebne za izdelavo jedrskega orožja. Mobilni, na prikolicah temelječi iraški laboratoriji za biološko orožje so se izkazali za izmišljotino Busheve administracije, vendar pa so bili tehnično mogoči. Pri raziskavah, povezanih z umetno inteligenco, je ideja »objekta« brez pomena, nadzorovanje za nevarno AI pa bi moralo biti razširjeno po vsej svetovni informacijski infrastrukturi.
Globalno nadzorovanje znakov nevarne ali odstopajoče tehnologije, bo tako zahtevalo oblikovanje novih in visokoavtomatiziranih sistemov z globalnim dosegom. Takšen primer bi bil sistem satelitskega nadzora nad toplotnimi znaki odpadniške nanotehnologije v divjini, kot ga je predlagal Robert Freitas (Freitas, 2000). Še en primer bi bilo Omrežje opozarjanja in odzivanja na globalne izbruhe pod okriljem Svetovne zdravstvene organizacije, cilj katerega so hitro identificiranje novih epidemičnih bolezni, gensko tipiziranje patogenov ter razvoj in uporaba cepiv na terenu. Obstoječe svetovno omrežje javnih in zasebnih skupin, ki nadzorujejo in se borijo z računalniškimi virusi, bi podobno lahko koordinirali skupaj z agencijami za kazenski pregon in kibernetsko vojskovanje, da bi skupaj nadzorovale morebitni nastanek samovoljnih informacijskih arhitektur.
Še eno področje režima za svetovni nadzor tehnologije bi bilo standardiziranje in monitoring dobrih laboratorijskih praks in varnostnih standardov. Snovi in vzorci morajo biti popisani in označeni, laboratorijska evidenca vzdrževana, laboratorijski delavci pa ustrezno izurjeni in preverjeni. Harvardski biolog George Church je na primer predlagal, da bi bilo treba vse naprave za sintetiziranje DNK, ki so zmožne naglega »tiskanja« nove DNK novih mikroorganizmov, označiti z elektronskimi oddajniki položaja, programirati tako, da preprečujejo sintezo nevarnih patogenov, prodajati samo odobrenim laboratorijem ter registrirati pri mednarodnem organu (Church, 2005; Wade, 2005; Chyba, 2006). Svetovni obveščevalni monitoring znanstvenih publikacij bi dovoljeval identifikacijo raziskovalcev in smeri raziskovanja, ki bi lahko obrodile potencialne grožnje.
Leta 2004 je kot odziv na poročilo Nacionalne akademije znanosti o regulaciji biotehnologije za preprečevanje bioterorizma Busheva administracija oblikovala Nacionalni znanstveni svetovalni odbor za biovarnost, da bi svetoval zveznim oddelkom in agencijam, ki opravljajo ali podpirajo raziskave, kakršne bi lahko uporabili teroristi, o načinih, kako zmanjšati tveganje širjenja nevarnih snovi in znanstvenega vedenja. Vendar pa ti ukrepi veljajo samo za zvezno financirane laboratorije v Združenih državah. Transnacionalne regulacije, veljavne za zasebne, akademske in vladne raziskovalce, bi bilo treba zasnovati tako, da bi identificirale specifične oblike znanstvenega raziskovanja, ki bi jih morale pred objavo pregledati nacionalne in mednarodne avtoritete, obenem pa bi bilo treba raziskovalce in znanstvene časopise o teh smernicah tudi poučiti (Purkitt in Wells, 2006).
Zanimivo je, da je militantni zagovornik emergentnih tehnologij, Ray Kurzweil, našel redko skupno točko strinjanja z Billom Joyem. Leta 2005 sta v New York Timesu objavila skupno izjavo, obsojajoč spletno publikacijo dekodiranega genoma virusa gripe, ki je izbruhnila leta 1918, kar sta označila kot recept za bioterorizem. Zapisala sta: »Nujno potrebujemo mednarodno strinjanje znanstvenih organizacij, da bodo omejile takšne publikacije, ter mednarodni dialog o najboljšem pristopu, s katerim bi preprečili, da bi recepti za orožja množičnega uničenja prišli v napačne roke« (Kurzweil in Joy, 2005).
Odprte in demokratične družbe
Vse te dejavnosti nadzorovanja in še posebej kakršne koli omejitve znanstvenega raziskovanja in objave odpirajo resna vprašanja o ravnovesju varnosti in svobode. Čeprav bo v primeru varnosti in svobode prihajalo do povečanja ene na račun druge, tako kot vedno, pa lahko vprašanje zastavimo drugače, in sicer tako, da poudarimo pomen odprtih in demokratičnih družb kot temeljnega pogoja za učinkovito transnacionalno identifikacijo in obvladovanje groženj.
Vendar pa najhujših svetovnih groženj ne pomenijo znanstvene dejavnosti, ki so javne in znane, temveč tajni vojaški programi in nedržavni akterji, skriti v zaprtih režimih. Bolj ko je družba svobodna in transparentna, bolj je verjetno, da bodo regulatorji zmožni identificirati emergen-tne tehnološke grožnje.
Sindikati in nevladne organizacije v liberalnih demokratičnih družbah dopolnjujejo in podpirajo nadzorne institucije države. Državljani avtoritarnih režimov se niso zmožni organizirati ali izražati zaskrbljenosti zaradi okoljskih toksinov ali sumljivih vzorcev bolezni. V odprtih družbah lahko sindikati in državljanske organizacije pomagajo pri monitoringu znanstvenih raziskav ter sprožijo alarm, če so interesi javnosti ogroženi. Čeprav so državljanske skupine in prizadevni regulatorji v demokratičnih družbah pogosto še vedno v slabšem položaju v primerjavi z vplivom moči korporacij in vojaško-industrijskega kompleksa, jim je vsaj še vedno dovoljeno preiskovati, mobilizirati in objavljati. Demokratične družbe lahko ustvarijo in trpijo dokaj neodvisna vladna telesa za svetovanje v zvezi s tehnologijo, kot je to počel nekdanji Urad za ocenjevanje tehnologije, ki je svetoval kongresu ZDA, dokler ni bil leta 1995 odstranjen.
Več znanosti, ne manj
Številnim zagovornikom znanstvenega napredka se globalni režim za regulacijo tehnologije, kot je ta, ki sem ga opisal, ne bo zdel nič boljši kot splošna prepoved raziskovanja. Ta »teh-no-libertarna« perspektiva vidi neovirani trg kot najboljšega in najvarnejšega poroka naglega tehnološkega razvoja. Vendar pa se je večji del tehnoloških inovacij v 20. stoletju odvijal v velikih akademskih, korporacijskih in vojaških laboratorijih, znotraj omejitev, ki jih postavlja regulacija, in ne v garažah podjetnikov, ki niso bile izpostavljene nobeni regulaciji. Z ustanovitvijo nacionalnih in mednarodnih virov financiranja za razvoj varnih, varovalnih in čistilnih tehnologij pa lahko učinkovit režim reguliranja tehnologije inovacije v večji meri spodbuja, ne pa zavira.
Za oblikovanje informacijskih tehnologij režima nadzorovanja računalnikov, laboratorijev, industrijskih objektov in globalnega ekosistema bo potrebne še več znanosti. Vzporedno z globalnim imunskim sistemom proti računalniškim virusom potrebujemo aktivne zaščite imunskega sistema in hitro uporabne protiukrepe za nevarno nanotehnologijo, robote in strojno inteligenco. Nagla konvergenca emergentnih tehnologij bo prinesla nove rešitve, kot je npr. uporaba ogljikovih nanocevk in sladkorja, s katerimi je ekipa z Univerze Clemson obložila in nevtralizirala v orožje spremenjeni vranični prisad (Polowczuk, 2006).
Raziskave bi se morale ukvarjati tudi z inženiranjem varnosti v samo zasnovo tehnologij. Ko je Monsanto proučeval prodajo zgolj sterilnih semen, da bi zaščitil svoje pravice intelektualne lastnine, so ga okoljevarstveniki obsodili, čeprav so bile te »terminatorske« linije semen dejansko najboljši način za preprečevanje genskega onesnaženja. Samoreplicirajoče nanostroje je mogoče zasnovati tako, da bi bilo tveganje mutacij minimizirano ter da bi za reprodukcijo potrebovali specifične snovi (Foresight, 2000). Nanotovarne je mogoče zgraditi s šifrirano programsko opremo črne skrinje, ki preprečuje nepooblaščene spremembe, obratni inženiring ali proizvodnjo nevarnih snovi in naprav (Treder and Phoenix, 2003). Dostop do izvorne kode nanotovarne bi bil omejen na inženirje, ki so ustrezno preverjeni in nadzorovani.
V težavnejšem primeru samovoljne strojne inteligence je Isaac Asimov pred petdesetimi leti predlagal, da bi vsako umetno inteligenco programirali z nespremenljivim moralnim kodeksom, »Tremi zakoni robotike«, ki so zahtevali, da robot postavi blaginjo ljudi in poslušnost ljudem pred
lastne interese. Vendar pa neurejenost samorefleksivnih razumov, zmožnih učenja in spreminjanja, ter neurejenost interpretacije specifičnih moralnih dilem pomenita, da bodo prizadevanja za kodiranje teh omejitev v AI verjetno uspešna samo toliko, kolikor je uspešna moralna vzgoja pri ljudeh. Kljub temu pa je mogoče, da bo informacijske strukture z zmogljivostjo samozavedanja mogoče zasnovati z zavarovanimi omejitvami in varovali, ki jih bo mogoče uporabiti v primeru samovoljnega vedenja.
Razvoj varovalnih in obrambnih tehnologij pa bo vseeno zahteval stopnjo industrijske politike in državnega subvencioniranja, ki sta v Združenih državah trenutno nepriljubljena, vsaj zunaj vojaško-industrijskega kompleksa. Ni se mogoče zanašati na to, da bo zasebna industrija brez velikih javnih investicij sodelovala v potrebnih raziskavah in razvoju, ker trg za preprečevanje hipotetične apokalipse ne pomeni privlačnega investicijskega tveganja. Z izjemo protivirusne programske opreme, ki morda lahko ponudi model za pripravljenost pred AI, ni predvidljivega zasebnega trga za protinanotehnološke ukrepe, niti za pandemična cepiva in oblike zdravljenja. Dejansko do dveh tretjin vseh smrti v državah v razvoju pride zaradi približno ducata kužnih bolezni - malarija, dengue itd. -, izmed katerih jih je le malo deležnih raziskovalne pozornosti farmacevtske industrije, saj le-ta ne bi mogla povrniti svojih investicij s prodajo cepiva ali oblik zdravljenja v podsaharski Afriki. Tržni neuspeh antiretrovirusnih drog, ki so bile veliko predrage za veliko večino revnega svetovnega prebivalstva, okuženega s HIV, je bil tisti, ki je vodil k oblikovanju dokaj uspešnega Svetovnega sklada za HIV, malarijo in tuberkulozo, k subvencioniranju zdravljenja v državah v razvoju ter k cenovnim znižanjem zaradi zagroženega preklica sporazumov o intelektualni lastnini.
Celo večmilijardni program Bioshield Busheve administracije, začet leta 2004, ki naj bi spodbudil farmacevtska podjetja k razvoju cepiv in oblik zdravljenja za potencialna biološka orožja, je bil neuspešen pri privabljanju farmacevtskih podjetij, saj ta niso verjela, da bi bili izdelki dovolj donosni, saj bo njihov glavni trg namenjen vladam za kopičenje zalog. Kot način za razrešitev te dileme bo Bioshield oblikoval Bioobrambno agencijo za napredne raziskave in razvoj (Biodefense Advanced Research and Development Agency - BARDA), ki bo institucionalizirala razmerje med biotehnološkimi podjetji in obrambnim sistemom, enako kakor ga Obrambna agencija za napredne raziskave in razvoj (Defense Advanced Research Projects Agency - DARPA) (Mackenzie, 2006) z inkrementalnimi plačili za doseganje raziskovalnih in razvojnih ciljev.
Pravzaprav bi bilo treba zasebna podjetja, ki so imela koristi tako od desetletja trajajočih javnih investicij v temeljne znanosti kakor tudi dobiček od tehnologij s potencialno katastrofičnimi tveganji, pozvati, naj ponotranjijo stroške novih raziskav za varovalne ukrepe s ciljno usmerjenim davkom, ki bi podpiral raziskave za varno načrtovanje in varovanje. Nočemo ponoviti napake Supersklada iz leta 1980, ki je uporabljal davčni denar za čiščenje toksičnih območij zaprtih tovarn, ali Price-Andersonovega zakona, ki je v 50. letih 20. stoletja dal zeleno luč za jedrsko energijo tako, da je ponudil pol milijarde dolarjev javnega zavarovanja za jedrske nesreče, brez zagotovila, da so elektrarne razvile varno dolgoročno ravnanje z jedrskimi odpadki.
Sklep
Leta 1947 je Albert Einstein, prepričan, da je zaradi jedrskega orožja potreba po svetovnem upravljanju postala neizogibno očitna, nagovoril novo nastale Združene narode. Dejal je, da je
končni cilj ustanovitev nadnacionalne avtoritete, kateri bi bila podeljena zadostna zakonodajna in izvršna moč za ohranjanje miru. Tedanji zastoj naj bi povzročalo dejstvo, da ni bilo zadostne, zanesljive mednarodne avtoritete. Tako pa tudi ne bo moglo obstajati popolno strinjanje o mednarodnem nadzoru in administraciji atomske energije ali o splošni razorožitvi, vse dokler ne bo spremenjen tradicionalni koncept nacionalne suverenosti.
V sodobnem času so pozivi k oblikovanju močnih transnacionalnih agencij morda slišati prav tako donkihotski kot pozivi k popolni odpravi emergentnih tehnologij s pomočjo prostovoljnih dejanj vesti. Vendar pa je edini način, kako naprej, ravno tisti, s pomočjo katerega smo se soočili z vsemi prejšnjimi tehnološkimi grožnjami, od toksičnih kemikalij do nevarnih avtomobilov: preiskovanje, izobraževanje javnosti, ustvarjanje političnega pritiska za nove zakone in regulativne agencije, ki te zakone izvajajo, namenjanje javnega denarja za raziskave, usmerjene v varnejše tehnologije, ter vzdrževanje javnega pritiska za omenjene agencije, da bi preprečili njihovo slabljenje in prevzem. Kvalitativna razlika pri teh emergentnih apokaliptičnih grožnjah v primerjavi z drogami, avtomobili in opekači, ki niso varni, je ta, da mora biti regulacija prvih globalna in varovalna. Ne moremo dopustiti, da bi nas šele potencialno apokaliptični dogodek spodbudil k delovanju. Ta režim moramo ustvariti še preden grožnje nastanejo.
Še pred sedemnajstimi leti je na splošno veljalo, da bo hladna vojna segala še daleč v 21. stoletje. Nato pa je Sovjetska zveza razpadla. Še pred desetimi leti je veljalo, da bo kapitalizem v 21. stoletju ostal neizzvan. Nato pa se je dvignilo antikapitalistično gibanje, v protest proti neodgovornosti globalnih finančnih institucij. Pred petimi leti so številni učenjaki menili, da islamski fundamentalizem upada ter da so teroristični napadi njegov zadnji protest proti koncu ideologij. Vse od 11. septembra in iraške vojne pa nasilju in terorizmu islamističnih upornikov, ki sega po vsem svetu, ni videti konca.
Zato mislim, da dandanes ni utopično ponoviti Einsteinovega poziva k oblikovanju pooblaščenih nadnacionalnih agencij, ki bi bile zmožne izvajati regulacijo emergentnih supertehnologij. Oblikovanje teh institucij bo zahtevalo globalno gibanje, ki bo dovolj močno, da bodo korporacije in države postavile globalno preživetje pred zasebne in nacionalne interese. Seveda bo prav tako težavno, kot je bilo od leta 1947 naprej. Vendar dejansko nimamo druge izbire.
Prevod Toni Pustovrh
Literatura
ASSOCIATED PRESS (2001): Physicist Warns Humans About A.I. Na http://archives.seattletimes.nwsource.
com/cgi-bin/texis/web/vortex/display?slug=hawking02&date=20010902. BAILEY, R. (2001): Rage Against the Machines: Witnessing the birth of the neo-Luddite movement. Reason,
na http://www.reason.com/0107/fe.rb.rage.html. BOSTROM, N. (2001): Existential risks: Analyzing Human Extinction Scenarios and related Hazards.
Na http://www.nickbostrom.com/existential/risks.html. CHURCH, G. M. (2005): A Synthetic Biohazard Non-proliferation Proposal. Na http://arep.med.harvard.edu/
SBP/Church_Biohazard04c.htm. CHYBA, C. (2006): Biotechnology and the Challenge to Arms Control. Arms Control Today. DANN, J., GARDNER, D. (ur.) (1988): Nanotech. New York, Ace Books. DERTOUZOS, M. (2006): Not by reason Alone. Technology Review, št. 103(5), 26.
DREXLER, K. E. (1986): Engines of Creation: The Coming Era of Nanotechnology.
ANCHOR PRESS/DOUBLEDAY. NEW YORK, NA http://www.foresight.org/eoc/.
DREXLER, M. (2001(a)): Undermining International Bioweapons Controls. The American Prospect, št. 12(19).
DREXLER, M. (2001(b)): The Invisible Enemy. The American Prospect, št. 12(19).
ETC (2005): A Tiny Primer on Nano-scale Technologies ... and The Little BANG Theory. Na http://www. etcgroup.org/upload/publication/55/01/tinyprimer_english.pdf.
FORESIGHT INSTITUTE (2000): Foresight Guidelines on Molecular Nanotechnology, v 3.7. Na http://www. foresight.org/guidelines/current.html.
FORREST, D. (1989): Regulating Nanotechnology Development. Foresight Institute. Na http://www.foresight. org/NanoRev/Forrest1989.html.
FREITAS, R. A. (1999): Nanomedicine, Volume I: Basic Capabilities. Austin, Texas, Landes Bioscience.
FREITAS, R. A. (2000): Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Foresight Institute, na http://www.foresight.org/NanoRev/Ecophagy.html.
GARRET, L. (1995): The Coming Plague: Newly Emerging Diseases in a World out of Balance. USA, Penguin.
GARRET, L. (2001): Betrayal of Trust: The Collapse of Global Public Health. Hyperion.
GUILLEMIN, J. (2001): Anthrax: The Investigation of a Deadly Outbreak. University of California Press.
JOY, B. (2000): Why the future doesn't need us. Wired, april 2000, na http://www.wired.com/wired/ archive/8.04/joy.html.
KURZWEIL, R., JOY, B. (2005): Recipe for Destruction. New York Times, 17. oktober 2005.
KANTROWITZ, A. (1992): The Weapon of Openness. V: CRANDALL, B. C., LEWIS J. (ur.): Nanotechnology Research and Perspectives.. Cambridge, Mass, MIT Press, 303-311.
MACKENZIE, D. (2006): Biodefence special: Fortress America?. New Scientist, št. 18-21.
MARCHANT, G., SYLVESTER D. (2006): Transnational Models for Regulation of Nanotechnology. Journal of Law, Medicine and Ethics. Na http://papers.ssrn.com/sol3/papers.cfm?abstract_id=907161.
MCMAHON, S. (1996): Unconventional Nuclear, Biological and Chemical Weapons Delivery Methods: Wither the 'Smuggled Bomb'. Comparative Strategy, št. 15, 123-134.
MILLER, J. (2001): U.S. Seeks Changes in Germ War Pact. New York Times. 1. november 2001.
MILLER, J., ENGELBERG, S., BROAD, W. J. (2001): U.S. Germ Warfare Research Pushes Treaty Limits. New York Times, 4. september 2001, na http://www.nytimes.com/2001/09/04/international/04GERM.html.
MORRIS, J. (ur.). (2000): Rethinking Risk and the Precautionary Principle. Butterworth-Heinemann.
NATIONAL SCIENCE FOUNDATION (2001): Societal Implications of Nanoscience and Nanotechnology. Na http://itri.loyola.edu/nano/NSET.Societal.Implications/.
NATIONAL INSTITUTES OF HEALTH (2001): NIH Guidelines for Research Involving Recombinant DNA Molecules. Na http://grants.nih.gov/grants/policy/recombinentdnaguidelines.htm.
NOWAK, R. (2001): Disaster in the making. New Scientist. 13. januar 2001.
OSTERHOLM, M., SCHWARTZ, J. (2000): Living Terrors: What America Needs to Know to Survive the Coming Bioterrorist Catastrophe. Random House.
POLOWCZUK, S. (2006): Clemson researchers develop nanotechnology to stop weaponized anthrax in its tracks. Clemson News, 2. oktober 2006, na http://clemsonews.clemson.edu/WWW_releases/2006/ October/anthrax.html.
PRESTON, R. (1998): Statement for the Record by Richard Preston Before The Senate Judiciary Subcommittee on Technology, Terrorism & Government Information and the Senate Select Committee on Intelligence on 'Chemical and Biological Weapons Threats to America: Are We Prepared?'. 22. April 1998, na http:// www.senate.gov/~judiciary/preston.htm.
PRESTON R. (1998): The Bioweaponeers. The New Yorker, 9. marec 1998, 52-65, na http://cryptome.org/ bioweap.htm.
PUESCHEL, M. (2001): DARPA System Tracked Inauguration For Attack. U.S. Medicine, April 2001, na http:// www.usmedicine.com/article.cfm?articleID=172&issueID=25.
PURKITT, H., WELLS V. (2006): Evolving Bioweapon Threats require New Countermeasures. The Chronicle of Higher Education, št. 53(7), B18, na http://chronicle.com/weekly/v53/i07/07b01801.htm.
REYNOLDS, G. H. (2002): Forward to the Future: Nanotechnology and regulatory Policy. Pacific Research Institute, na http://www.pacificresearch.org/pub/sab/techno/forward_to_nanotech.pdf.
RIFKIN, J. (1999): The Biotech Century: Harnessing the Gene and remaking the World. Jeremy Tarcher.
ROCO, M. C. (2006): Survey on Nanotechnology Governance. IRGC Working Group on Nanotechnology, Ženeva.
ROSENBERG, B. H. (2001): A way to prevent bioterrorism. San Francisco Chronicle. 18. september 2001.
SALE, K. (1995): rebels Against the Future: The Luddites and Their War on the Industrial revolution: Lessons for the Computer Age. Massachusetts, Reading, Addison-Wesley Publishing Company.
SELDEN, Z. (1997): Assessing the Biological Weapons Threat. Business Executives for National Security, na http://www.bens.org/pubs_0297.html.
STIMSON, A. (2004): resuscitating the Bioweapons Ban: U.S. Industry Experts' Plans for Treaty Monitoring. Center for Strategic and International Studies, november 2004.
SUNSHINE PROJECT (2001): The Biological Weapons Convention and the Negotiations for a verification Protocol. Na http://www.sunshine-project.org/publications/bk2en.html.
THAYER, J. (2005): The SPS Agreement: Can It regulate Trade in Nanotechnology? Duke Law and Technology Review, na http://www.law.duke.edu/journals/dltr/articles/2005dltr0015.html.
TREDER, M., PHOENIX, C. (2003): The Safe utilization of Nanotechnology. Center for Responsible Nanotechnology, na http://www.crnano.org/safe.htm.
TWIBELL, T. S. (2001): Nano law: The legal Implications of Self-replicating Nanotechnology, na http://www. nanozine.com/nanolaw.htm.
WADE, N. (2005): A DNA Success raises Bioterror Concern. New York Times, 12. januar 2005, na http:// www.nytimes.com/2005/01/12/national/nationalspecial3/12gene.html.
WEJNERT, J. (2004): regulatory Mechanisms for Molecular Nanotechnology. Journal of Jurimetrics, št. 44, 1-29.
WILLIAMS, M. (2006): The Knowledge. Technology Review, na http://www.technologyreview.com/printer_ friendly_article.aspx?id=16485.
ZELICOFF, A. P. (2001): An Impractical Protocol. Arms Control Today, na http://www.armscontrol.org/ act/2001_05/zelicoff.asp.