28 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/  Pregledni znanstveni članek Sara Blatnik, Hana Brezar, Lovrenc Cvijič, Andrej Kastrin Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine Povzetek. Nedaven preboj tvorbene umetne inteligentnosti je spodbudil uporabo nove tehnologije tudi v procesu priprave znanstvenih objav. Opravili smo sistematičen pregled znanstvenih objav, ki obravnavajo uporabo orodij tvorbene umetne inteligentnosti pri pripravi znanstvenih besedil na področju biomedicine. Analizirali smo 35 izvirnih in preglednih znanstvenih člankov ter identificirali tri skupine orodij, ki ob kritični rabi poenostavijo iskanje relevantne znanstvene literature, olajšajo strukturiranje, tvorjenje in dopolnjevanje znanstvenih besedil ter omogočajo hitro luščenje in povzemanje podatkov oziroma informacij iz znanstvene literature. Ključne besede: tvorbena umetna inteligentnost; veliki jezikovni modeli; znanstveno pisanje. Usage of Generative Artificial Intelligence for Preparing Scientific Publications in Biomedicine Abstract. Recent breakthroughs in generative artificial intelligence have spurred the adoption of new technologies in academic writing. We conducted a systematic review of scientific publications that address the use of generative artificial intelligence tools in the preparation of scientific papers in the field of biomedicine. Our analysis encompassed 35 original research and review articles, leading us to identify three groups of tools that, when used judiciously, streamline the retrieval of relevant scientific literature, facilitate the drafting, creation, and completion of scientific texts, and enable rapid extraction and summarisation of data and information from scientific papers. Key words: generative artificial intelligence; large language models; academic writing.  Infor Med Slov 2024; 29(1): 28-38 Institucija avtorjev / Authors' institution: Medicinska fakulteta, Univerza v Ljubljani. Prispevek prvih treh avtorjev je enakovreden. / The first three authors contributed equally. Kontaktna oseba / Contact person: izr. prof. dr. Andrej Kastrin, Inštitut za biostatistiko in medicinsko informatiko, Medicinska fakulteta, Univerza v Ljubljani, Vrazov trg 2, 1000 Ljubljana, Slovenija. E-pošta / E-mail: andrej.kastrin@mf.uni-lj.si. Prispelo / Received: 5. 8. 2024. Sprejeto / Accepted: 18. 8. 2024. Informatica Medica Slovenica; 2024; 29(1) 29 © SDMI  http://ims.mf.uni-lj.si/ Uvod “Neobjavljena znanost je mrtva znanost” je dejal Gerald Piel, dolgoletni urednik revije Scientific American pred visokim zborom Državne univerze M. V. Lomonosov v Moskvi leta 1988, ko mu je ta podelila častni naziv Doctor Honoris Causa.1 Pielova misel odlično povzema pomembnost komuniciranja v znanosti. Objava raziskovalnega izsledka (npr. v obliki klasičnega znanstvenega članka, prispevka na konferenci ali poglavja v knjigi) je prvenstveno namenjena prenosu novega znanja med avtorjem oziroma avtorji in (širšo) raziskovalno skupnostjo. Ustrezno recenzirani in objavljeni sestavki so nujni — a seveda ne zadostni — pogoj za napredek znanstvenega védenja na slehernem raziskovalnem področju. Priprava dobrega pisnega sestavka je zahteven proces. Poleg zbiranja in analize empiričnih izsledkov, na katerih temelji glavno sporočilo sestavka, je potrebno poiskati in pregledati že objavljeno gradivo, analizirane rezultate osvetliti v luči ugotovitev drugih avtorjev ter poskrbeti, da bo rokopis prestal vse vsebinske in jezikovne pomisleke urednika in recenzentov. Avtorji se pri pripravi znanstvenih sestavkov poleg vsebinskih soočajo tudi s številnimi bolj tehničnimi vprašanji, ki jih lahko razvrstimo v štiri sklope:2,3 (i) kako pripraviti pregled literature, ki bo dovolj specifičen, a hkrati ne preobširen; (ii) kako izbrati optimalno metodo za statistično analizo podatkov; (iii) kako povzeti izsledke sorodnih raziskav in jih razložiti v luči lastnih rezultatov; ter (iv) kako poskrbeti, da bo besedilo jasno razumljivo, karseda sporočilno, lepo berljivo, a hkrati še vedno dovolj znanstveno rigorozno. S pojavom novih tehnologij znanja, zlasti ti. velikih jezikovnih modelov (angl. large language models), se raziskovalcem odpirajo številne nove možnosti uporabe orodij umetne inteligentnosti (UI, angl. artificial intelligence). Kljub temu, da imajo jezikovni modeli za seboj že bogato zgodovino, se je njihova uporabna vrednost pokazala šele pred nedavnim.4 Predstavitev splošnega pogovornega robota ChatGPT in objava številnih prostodostopnih jezikovnih modelov je namreč sprožila poplavo razvoja namenskih orodij, ki jih lahko raziskovalci s pridom uporabijo pri pripravi znanstvenih sestavkov. V prispevku najprej predstavimo sistematičen pregled objav s področja uporabe UI za pripravo znanstvenih sestavkov na področju biomedicine. Na osnovi vsebinskega pregleda poskušamo objave razvrstiti glede na namen uporabe. Na koncu podrobneje predstavimo izbor nekaterih najpogosteje uporabljenih aplikacij in tako spodbuditi bralce, da jih tudi sam preizkusili. Kratek pregled razvoja področja umetne inteligentnosti Z UI se danes srečamo na vsakem koraku. Težko bomo našli znanstveno disciplino, ki k aktualni revoluciji tehnologij UI ni pristavilo vsaj delčka svojstvenosti. Še do nedavnega je veljalo, da je UI le eno od raziskovalnih področij v domeni računalništva, v zadnjem desetletju pa je UI začrtala samostojno, transdisciplinarno pot. Dober vpogled v količino in hitrost pridobivanja znanstvenega védenja nam običajno nudi že enostavna poizvedba po eni od splošnonamenskih bibliografskih zbirk. Za ilustracijo obsega aktualnega védenja na področju UI je na sliki 1 prikazana rast števila bibliografskih zapisov, povezanih s predmetno oznako “Artificial Intelligence”. Prikaz je pripravljen ločeno za zbirke Web of Science (WoS), Scopus in PubMed. Že površen bralec bo s prikaza, tudi če zanemari sicer pomembne razlike med zbirkami, hitro razbral trend počasnega povečevanja števila publikacij do leta 2015, nato pa njihov hiter porast. Kot se rado navaja, ima UI dolgo preteklost in kratko zgodovino. Slavni pisec znanstvene fantastike — danes bi ga bržkone označili tudi kot komunikatorja znanosti — Asimov je v začetku štiridesetih let prejšnjega stoletja začel objavljati serijo zgodb in romanov, v katerih je mdr. uvedel rabo besede robotika in razdelal t. i. »tri zakone robotike«.5 Njegova literarna dela so zaznamovala karierne poti številnih pomembnih osebnosti na področju UI, med katerimi gre izpostaviti zlasti Minskega, ki je konec petdesetih let na prestižnem Massachusetts Institute of Technology soosnoval enega od prvih raziskovalnih laboratorijev za UI. Ob istem času, le da na drugi strani Atlantika in v vojaški suknji, je Turing s pomočjo elektromehanskega stroja razbil šifriranje nemške Enigme. Turing je leta 1950 razdelal matematične temelje UI in zasnoval t. i. Turingov test, eksperiment, s katerim preverimo, ali stroj izkazuje inteligentno vedenje.6 Formalno se sistematičen razvoj področja UI začel s konferenco oz. raziskovalnim taborom leta 1956 v Dartmouthu (Hanover, NH), ko so McCarthy, Minsky, Rochester in Shannon sistematizirali uporabo skovanke artificial intelligence.7 Bralcu, ki ga začetki raziskovanja UI podrobneje zanimajo, v branje priporočamo Crevierjevo monografijo.8 30 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/ Slika 1 Število bibliografskih zapisov, povezanih s tematiko umetne inteligentnosti, v bibliografskih podatkovnih zbirkah Scopus, Web of Science in PubMed. Slika 2 Jezikovni modeli, objavljeni od leta 2010: poleg letnice objave modela je prikazana tudi računska kompleksnost modela, izražena v številu izvršenih operacij s plavajočo vejico/s (FLOPS); več pojasnil v besedilu. Razvojna pot AI je od sredine prejšnjega stoletja potekala v večih ciklih, z vmesnimi vzponi in padci.9 Eno od stalnic v razvoju področja je predstavljal model umetne nevronske mreže.10 Prvi preporod v raziskovanju nevronskih mrež sovpada z razvojem cenovno ugodnih grafičnih procesnih enot, ki so močno poenostavile vzporedno računanje. Tipičen primer uporabe nevronske mreže iz tega obdobja je računska naloga, ki zahteva pravilno prepoznavo (tj. uvrstitev) ročno napisanih števk.11 Do drugega pomembnega preboja je prišlo leta 2017 z vpeljavo arhitekture transformatorske nevronske mreže. Ta je mdr. omogočala delo z mnogo večjimi nabori vhodnih podatkov, upoštevala je kontekst vhodnih podatkov, pri učenju pa upoštevala mnogo večje število prostih parametrov.12 Velik jezikovni model v osnovi sestavlja nevronska mreža, v kateri je množica parametrov (tj. uteži na povezavah med nevroni) optimizirana za modeliranje naravnega jezika (npr. za napovedovanje zaporedja novih besed, ki sledijo določeni povedi). Najbolje poznani so jezikovni modeli družine GPT (angl. Generative Pretrained Transformer), ki jih lahko uporabimo v različnih nalogah tvorjenja besedila (npr. priprava povzetka daljšega besedila, tvorba prostega besedila na osnovi izbranih ključnih besed, strojno klepetanje). Na sliki 2 je prikazan razvoj 350 (velikih) jezikovnih modelov od leta 2010 dalje. Posebej so označeni jezikovni modeli družine GPT; za primerjavo sta na prikazu označena tudi manj zmogljiva predhodnika ter najnovejši, prostodostopni jezikovni model Llama 3.1, ki smo ga dorisali ob zadnji redakciji prispevka. Kompleksnost posameznega modela je predstavljena s številom Informatica Medica Slovenica; 2024; 29(1) 31 © SDMI  http://ims.mf.uni-lj.si/ računskih operacij med vrednostmi s plavajočo vejico/s (angl. Floating Point Operations Per Second [FLOPS]), ki jih potrebujemo za optimizacijo prostih parametrov modela. Metode Iskalno poizvedbo smo opravili v bibliografskih zbirkah storitev Web of Science, Scopus in PubMed. Uporabili smo iskalni stavek (»artificial intelligence« OR »AI« OR »generative artificial intelligence« OR »generative AI« OR »large language model« OR ChatGPT OR GPT) AND (»academic writing« OR »scientific writing«), ki smo ga prilagodili pravilom posamezne zbirke. Iskanje smo omejili na izvirne in pregledne znanstvene članke v angleškem jeziku, objavljene med 1. januarjem 2019 in 30. aprilom 2024, ko je bila opravljena zadnja iskalna poizvedba. Sistematični pregled literature smo pripravili v skladu s smernicami za pripravo sistematičnih preglednih prispevkov PRISMA.13 Diagram PRISMA je prikazan na sliki 3. Slika 3 PRISMA diagram poteka iskanja in izbora gradiva. Vse uporabljene bibliografske storitve omogočajo poizvedovanje preko programskih vmesnikov. V ta namen smo iskalne poizvedbe avtomatizirali v programskem jeziku Python. Delovni zvezek, surovi podatki in dodatna pojasnila so na voljo pri zadnjem avtorju članka. Rezultati in razprava V vsebinski pregled smo vključili 35 izvirnih in preglednih znanstvenih sestavkov, ki obravnavajo uporabo tvorbene (angl. generative) UI v procesu priprave znanstvenih sestavkov na področju biomedicine. Vpogled v tematike nudi besedni oblak (slika 4), ki smo ga pripravili na podlagi povzetkov posameznih člankov. Pregled identificiranih člankov, vključno s kratkih povzetkom glavnih ugotovitev, je predstavljen v tabeli 1. 32 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/ Slika 4 Besedni oblak, pripravljen iz povzetkov identificiranih člankov. Po vsebinskem pregledu celotnih besedil smo identificirane članke glede na opis obravnavanega orodja oziroma orodij razvrstili v tri skupine. V prvi skupini najdemo orodja in aplikacije, namenjene iskanju znanstvene literature. Ta orodja omogočajo lažjo identifikacijo raziskovalnega vprašanja in vključujejo funkcionalnosti, kot so tvorjenje novih raziskovalnih domnev, viharjenje možganov in odkrivanje vrzeli v obstoječi literaturi. V ta okvir sodijo tudi aplikacije, ki jih lahko uporabimo za načrtovanje raziskovalnega oziroma eksperimentalnega načrta. Drugo skupino predstavljajo aplikacije, namenjene strukturiranju, tvorbi in dopolnjevanju besedila. Glavne funkcionalnosti teh orodij so samodejno strukturiranje osnutka pisnega sestavka, samodejno tvorjenje besedila na osnovi podanih ključnih besed, dopolnjevanje in razširjanje besedila ter vključevanje ustreznih bibliografskih virov in grafičnih prikazov oziroma večpredstavnih elementov. V tretjo skupino uvrščamo orodja za pregledovanje in povzemanje podatkov oziroma informacij znanstvene iz literature. Funkcionalnosti teh orodij vključujejo integracijo podatkovnih entitet iz strukturiranih zbirk podatkov, luščenje entitet (in relacij med njimi) iz nestrukturiranih podatkovnih virov ter izdelavo različnih primerjalnih analiz in strukturiranih povzetkov iz objavljenih publikacij. Tabela 1 Identificirane objave s področja uporabe tvorbene umetne intelignentnosti (angl. generative artificial intelligence) na področju biomedicine s povzetki glavnih ugotovitev. ID Članek 1 Altmäe et al. (2023)14 Naslov: Artificial intelligence in scientific writing: A friend or a foe Povzetek rezultatov: Avtorji proučujejo uporabo UI za tvorbo sintetičnih znanstvenih člankov. UI lahko tvori prepričljive sintetične sestavke, pomanjkljivo pa je vstavljanje relevantnih sklicev na literaturo. 2 Athaluri et al.(2023)15 Naslov: Exploring the boundaries of reality: Investigating the phenomenon of artificial intelligence hallucination in scientific writing through ChatGPT references Povzetek rezultatov: Avtorji analizirajo kakovost tvorbe seznama bibliografskih enot z uporabo pogovornega robota ChatGPT. Opozarjajo na številne sintetične bibliografske enote, ki so posledica halucinacije uporabljenega statističnega modela. 3 Babl & Babl (2023)16 Naslov: Generative artificial intelligence: Can ChatGPT write a quality abstract? Povzetek rezultatov: Prispevek predstavi uporabo orodja ChatGPT za pripravo konferenčnega povzetka na osnovi sintetičnega podatkovja. Uporaba orodja je ilustrirana s primeri. 4 Currie et al. (2023)17 Naslov: ChatGPT in medical imaging higher education Povzetek rezultatov: Avtorji proučujejo uporabo UI v izpitni situaciji s področja radiologije. Ugotavljajo, da se ChatGPT dobro odreže pri enostavnih izpitnih nalogah, pri zahtevnih pa odpove. 5 Dergaa et al. (2023)18 Naslov: From human writing to artificial intelligence generated text: Examining the prospects and potential threats of ChatGPT in academic writing Povzetek rezultatov: Avtorji proučujejo prednosti in slabosti uporabe ChatGPT pri pisanju znanstvenih sestavkov. ChatGPT izboljša učinkovitost dela, generirane povedi pa je potrebno temeljito preveriti, saj so pogosto vprašljive verodostojnosti. Informatica Medica Slovenica; 2024; 29(1) 33 © SDMI  http://ims.mf.uni-lj.si/ 6 Donlon & Tiernan (2023)19 Naslov: Chatbots and citations: An experiment in academic writing with generative AI Povzetek rezultatov: Avtorji predstavijo možnosti uporabe pogovornega robota ChatGPT pri pripravi besedila znanstvenega sestavka. S primeri ilustrirajo tipične problemske situacije (npr. izbiro ustreznega naslova sestavka) in opozarjajo na omejitve modela GPT-3.5 pri samodejnem navajanju in pripravi seznama literature. 7 Eggmann et al. (2023)20 Naslov: Implications of large language models such as ChatGPT for dental medicine Povzetek rezultatov: Sestavek govori o uporabi velikih jezikovnih modelov na področju dentalne medicine. Avtorji poročajo o smiselnosti uporabe jezikovnih modelov v kliničnem odločaju, pripravi povzetkov besedil in pisanju znanstvenih sestavkov. 8 Garg et al. (2023)21 Naslov: Exploring the role of ChatGPT in patient care (diagnosis and treatment) and medical research: A systematic review Povzetek rezultatov: Avtorji obravnavajo možnosti uporabe ChatGPT v diagnostiki in obravnavi pacientov (npr. naloge kliničnega odločanja, samodejno odgovarjanje na strokovna oziroma klinična vprašanja). Avtorji izpostavljajo nevšečnosti, povezane z natančnostjo jezikovnega modela, plagiatorstvom in halucinacijami. 9 Ghorashi et al. (2023)22 Naslov: AI-powered chatbots in medical education: Potential applications and implications Povzetek rezultatov: Avtorji predstavijo uporabo klepetalnih robotov v izobraževanju na področju medicinskih ved. Ugotavljajo, da uporaba klepetalnih robotov izboljša pomnjenje in razumevanje učnih vsebin. 10 Giglio & Costa (2023)23 Naslov: The use of artificial intelligence to improve the scientific writing of non-native English speakers Povzetek rezultatov: Sestavek predstavi uporabo AI za pomoč avtorjem, za katere angleščina ni materni jezik. Tvorbena UI lahko pomembno izboljša jasnost izražanja in slog pisanja v znanstvenih sestavkih. 11 Giray (2023)24 Naslov: Prompt engineering with ChatGPT: A guide for academic writers Povzetek rezultatov: Avtorji predstavijo pomen ustrezne tvorbe pozivnih stavkov pri pogovoru s ChatGPT. Jasni pozivni stavki so ključni za natančen in kakovosten odgovor pogovornega robota. 12 Hsu (2023)25 Naslov: Can generative artificial intelligence write an academic journal article? Opportunities, challenges, and implications Povzetek rezultatov: Avtor opiše prednosti in slabosti priprave znanstvenega sestavka z uporabo modela GPT-4. Tvorbo sestavka ilustrira s primerom. Opozarja na potrebno mero kritičnosti pri uporabi tvorbene UI. 13 Huang & Tan (2023)26 Naslov: The role of ChatGPT in scientific communication: Writing better scientific review articles Povzetek rezultatov: Avtorja proučujeta smiselnost uporabe ChatGPT za izboljšanje kakovosti pisanja preglednih znanstvenih člankov. ChatGPT pomembno izboljša učinkovitost in kvaliteto sestavka, a ima težave s halucinacijami in plagiatorstvom. 14 Huang et al. (2023)27 Naslov: ChatGPT for shaping the future of dentistry: The potential of multi-modal large language model Povzetek rezultatov: Avtorji obravnavajo uporabo orodja ChatGPT v dentalni medicini. Predstavijo možnosti diagnostične rabe ter osvetlijo potencial velikih jezikovnih modelov za analizo večmodalnih podatkov. 15 Hwang et al. (2024)28 Naslov: Can ChatGPT assist authors with abstract writing in medical journals? Evaluating the quality of scientific abstracts generated by ChatGPT and original abstracts Povzetek rezultatov: Prispevek analizira kakovost tvorbe povzetka znanstvenega sestavka z uporabo modelov GPT-3.5 in GPT-4. Ocena kakovosti je pripravljena na podlagi kontrolnega seznama CONSORT. Avtorji poročajo o dobri berljivosti besedil, pripravljenih z modelom GPT-3.5. 16 Ingley & Pack (2023)29 Naslov: Leveraging AI tools to develop the writer rather than the writing Povzetek rezultatov: Avtorji predstavijo možnosti uporabe orodij tvorbene UI, ki jih lahko raziskovalec uporabi za učenje ali izboljšanje lastnih jezikovnih veščin pri pripravi znanstvenih sestavkov. 17 Jenko et al. (2024)30 Naslov: An evaluation of AI-generated literature reviews in musculoskeletal radiology Povzetek rezultatov: Prispevek analizira kakovost tvorbe besedila preglednega znanstvenega sestavka na različnih tematikah, povezanih z radiološko diagnostiko mišičnoskeletnega sistema. Avtorji poročajo o dobri kakovosti besedila, pripravljenega z modelom GPT-4. 34 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/ 18 Kacena et al. (2024)31 Naslov: The use of artificial intelligence in writing scientific review articles Povzetek rezultatov: Prispevek predstavi analizo kakovosti tvorbe znanstvenega sestavka s pomočjo orodja ChatGPT na treh problemskih nalogah s področja bolezni mišičnoskeletnega sistema. Avtorji priporočajo orodje ChatGPT kot pripomoček pri tvorjenju in izboljševanju besedila. Odsvetujejo pa njegovo uporabo pri pripravi seznama bibliografskih virov. 19 Khlaif et al. (2023)32 Naslov: The potential and concerns of using AI in scientific research: ChatGPT performance evaluation Povzetek rezultatov: Avtorji ocenjujejo kakovost znanstvenih sestavkov, tvorjenih s ChatGPT. Zaključujejo, da ChatGPT lahko pomembno izboljša kakovost pisnega izdelka. 20 Kung (2023)33 Naslov: Elicit Povzetek rezultatov: Sestavek je informativne narave; predstavi orodje Elicit za pripravo povzetkov objavljenih publikacij s pomočjo tvorbene UI. Opis orodja avtorji dopolnijo z ilustracijo praktičnega primera. 21 Laios et al. (2023)34 Naslov: The future of AI in ovarian cancer research: The large language models perspective Povzetek rezultatov: Prispevek predstavi možnosti uporabe tvorbene UI pri raziskovanju raka jajčnikov. Obravnava uporabo tvorbene UI pri pripravi znanstvenih sestavkov in besedilnem rudarjenju po elektronskih zdravstvenih zapisih. Avtorji posebej osvetlijo pomen prilagoditve jezikovnega modela na ožjo raziskovalno domeno. 22 Lee & Choi (2023)35 Naslov: Utilising ChatGPT in clinical research related to anesthesiology: A comprehensive review of opportunities and limitations Povzetek rezultatov: Avtorji proučujejo vlogo ChatGPT v kliničnih raziskavah na področju anesteziologije. Poudarjajo pomembnost uporabe ChatGPT za identifikacijo novih raziskovalnih vprašanj, a hkrati opozarjajo na težave povezane s halucinacijami in primernostjo (posplošljivostjo) uporabljenih učnih podatkov za nove problemske situacije. 23 Lubowitz (2023)36 Naslov: Guidelines for the use of generative artificial intelligence tools for biomedical journal authors and reviewers Povzetek rezultatov: Prispevek predstavi nabor smernic za uporabo UI pri pisanju znanstvenih sestavkov. Avtorji spodbujajo rabo UI, a hkrati opozarjajo, da mora pisec sam poskrbeti za izvirnost in korektnost tvorjenega besedila. 24 Májovský et al. (2023)37 Naslov: Artificial intelligence can generate fraudulent but authentic-looking scientific medical articles: Pandora's box has been opened Povzetek rezultatov: Avtorji proučujejo uporabo UI za tvorjenje sintetičnih znanstvenih člankov. UI lahko »napiše« prepričljive sestavke, pomanjkljivo pa je vstavljanje relevantnih sklicev na literaturo. 25 Mesko (2023)38 Naslov: The ChatGPT (generative artificial intelligence) revolution has made artificial intelligence approachable for medical professionals Povzetek rezultatov: Prispevek predstavi poplavo v razvoju orodij tvorbene UI, ki jo je sprožila objava modela GPT-3.5. Opiše tipične naloge, za reševanje katerih lahko uporabimo tvorbeno UI. Posebej izpostavi pomen tvorbene UI za demokratizacijo znanosti. 26 Meyer et al. (2023)39 Naslov: ChatGPT and large language models in academia: Opportunities and challenges Povzetek rezultatov: Avtorji razpravljajo o priložnostih in izzivih uporabe velikih jezikovnih modelov v raziskovalnem okolju. Avtorji prepoznajo številne prednosti uporabe tvorbene UI, a hkrati opozarjajo, da je potrebno nasloviti tudi etična vprašanja, ki se ob tem pojavljajo. 27 Mugaanyi et al. (2024)40 Naslov: Evaluation of large language model performance and reliability for citations and references in scholarly writing: Cross-disciplinary study Povzetek rezultatov: Prispevek predstavi rezultate raziskave, v kateri so avtorji ocenjevali uspešnost orodja ChatGPT za samodejno navajanje bibliografskih virov. Ugotavljajo, da je zanesljivost navajanja virov močno pogojena s področjem znanosti, za katerega gradimo bibliografijo. 28 Salimi & Saheb (2023)41 Naslov: Large language models in ophthalmology scientific writing: Ethical considerations blurred lines or not at all? Povzetek rezultatov: Avtorji predstavijo pomen uporabe velikih jezikovnih modelov pri raziskovalnem delu na področju oftalmologije. Opozarjajo na etične dileme, ki jih prinaša uporabe tvorbene UI. 29 Salvagno et al. (2023)42 Naslov: Can artificial intelligence help with scientific writing? Povzetek rezultatov: Avtorji obravnavajo uporabo orodja ChatGPT kot pripomočka za pripravo osnutka in jezikovno izboljšavo znanstvenega sestavka. Opozarjajo na etična vprašanja ob uporabi tvorbene UI, zlasti na razlike v razvoju znanosti med bogatimi in revnimi gospodarstvi, ki jo lahko povzroči prekomerna komercializacija tvorbene UI. Informatica Medica Slovenica; 2024; 29(1) 35 © SDMI  http://ims.mf.uni-lj.si/ 30 Semrl et al. (2023)43 Naslov: AI language models in human reproduction research: Exploring ChatGPT’s potential to assist academic writing Povzetek rezultatov: Prispevek predstavi uporabo tvorbene UI na področju raziskovanja reprodukcije človeka. Avtorji ugotavljajo, da ChatGPT lahko pripravi visokokakovostno besedilo, omejen pa je pri stavljenju referenc. 31 Sharma et al. (2023)44 Naslov: ChatGPT in plastic and reconstructive surgery Povzetek rezultatov: Avtorji predstavijo uporabo ChatGPT na področju plastične kirurgije. ChatGPT je dobrodošel pripomoček, ki lahko izboljša učinkovitost raziskovalca pri pripravi znanstvenega sestavka, pozorni pa moramo biti na morebitne halucinacije v tvorjenih povedih. 32 Şendur et al. (2023)44 Naslov: ChatGPT from radiologists’ perspective Povzetek rezultatov: Prispevek je informativne narave. Avtorji predstavijo uporabo ChatGPT v nalogah kliničnega odločanja in pri pisanju znanstvenih sestavkov. 33 Švab et al. (2023)45 Naslov: New challenges in scientific publications: Referencing, artificial intelligence and ChatGPT Povzetek rezultatov: Sestavek povzema ugotovitve drugih avtorjev pri uporabi tvorbene UI za izboljšanje učinkovitosti pri pisanju znanstvenih sestavkov in sestavljanju bibliografij. Avtorji poudarjajo smiselnost uporabe orodij AI v raziskovalnem delu. 34 Tang et al. (2023)46 Naslov: The importance of transparency: Declaring the use of generative artificial intelligence (AI) in academic writing Povzetek rezultatov: Prispevek izpostavi nekatere etične dilleme, s katerimi se raziskovalec sreča pri uporabi tvorbene UI. Posebej opozarja na pomembnost ustreznega navajanja morebitne rabe orodij tvorbene UI, ki so bila uporabljena pri pripravi sestavka. 35 Thirunavukarasu et al. (2023)4 Naslov: Large language models in medicine Povzetek rezultatov: Avtorji osvetlijo razvoj velikih jezikovnih modelov in njihov pomen za napredek znanstvenega védenja na področja biomedicine. Obravnavajo uporabo tvorbene UI v raziskovalnem in kliničnem delu ter predstavijo možnosti uporabe v poučevanju. V nadaljevanju je opisan izbor aplikacij, ki so tipični predstavniki vsake od identificiranih skupin. Iskanje znanstvene literature Elicit (https://elicit.com) s pomočjo velikih jezikovnih modelov omogoča pregledovanje in iskanje literature iz bibliografske zbirke Semantic Scholar. Poleg preglednega nabora relevantne literature ponuja tudi povzemanje ključnih informacij akademskega članka z navedenimi referencami. Poleg uporabniku prijaznega vmesnika je ena izmed glavnih prednosti to, da Elicit podpira postavljanje raziskovalnega vprašanja (ne zgolj ključnih besed). Elicit lahko integriramo s sistemom za upravljanje referenc. Osnovne funkcionalnosti so na voljo brezplačno. Ne omogoča dodatne analize in grafičnega prikaza zbranih bibliografskih podatkov. ResearchRabbit (https://www.researchrabbit.ai) omogoča gradnjo seznama priporočene literature na osnovi enega ali več izhodiščnih člankov, ki jih aplikacija uporabi kot prototip za iskanje novih člankov. Orodje je integrirano z bibliografskima zbirkama MEDLINE/PubMed in Semantic Scholar. Omogoča interaktiven grafični prikaz rezultatov. Zgrajeno zbirko člankov lahko delimo med večimi uporabniki in jo integriramo z upravljalnikom referenc Zotero. Orodje je brezplačno. Med slabostmi gre izpostaviti okoren uporabniški vmesnik s številnimi funkcionalnostmi, kar nekoliko oteži delo novemu uporabniku. Aplikacijo Connected Papers (https://www.connectedpapers.com) lahko s pridom uporabimo za gradnjo seznama priporočene literature na osnovi izbranega začetnega članka. Rezultati so prikazani v obliki omrežja, v katerem vozlišča predstavljajo posamezne članke, povezave med njimi pa vzorec socitiranosti. Osnovne funkcionalnosti orodja so na voljo brezplačno, za intenzivno uporabo pa je potrebno skleniti naročnino. Integracija z upravljalnikom referenc ni mogoča. Orodje ne omogoča iskanja v ukaznem oziroma klepetalnem načinu. Strukturiranje, tvorjenje in dopolnjevanje znanstvenih besedil Orodja za tvorjenje in urejanje znanstvenih besedil so namenjena izboljšanju slovnične in slogovne kakovosti besedil. Aplikacija Paperpal (https://paperpal.com) omogoča urejanje strokovnega oziroma znanstvenega besedila z uporabo tvorbene UI, nudi pomoč pri tvorbi delov besedila ter slovnični in vsebinski pregled besedila. Med pisanjem ponuja avtorju vsebinsko najbolj ustrezne sopomenke, popravljanje jezikovnih in tipkarskih napak v realnem 36 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/ času, besedilo pa lahko po potrebi skrajša in napiše izvleček. Uporabimo ga lahko kot strojni prevajalnik v več kot 30 jezikov. Omogoča prepoznavo plagiatorstva na podlagi primerjave besedila z objavljeno literaturo. Prosto dostopna različica je omejena na delo s krajšimi besedili, za resno rabo pa je potrebna registracija. QuillBot (https://quillbot.com) s pomočjo AI poskrbi za slovnični pregled besedila, preoblikovanje stavkov v slogovno ustreznejšo obliko in krajšanje besedila v obnovo s ključnimi točkami. Orodje je enostavno za uporabo in omogoča pisanje v več slogih (npr. akademsko ali poljudno besedilo). Med pisanjem ponudi avtorju ustrezne sinonime uporabljenih besed. Združljiv je s spletnim pregledovalnikom Google Chrome/Chromium in urejevalnikom besedil Microsoft® Word. Glavna slabost je občasno pojavljanje nekoherentnih stavkov. Za uporabo celotne različice, ki je v nekaterih pogledih bistveno boljša od osnovne, je potrebno skleniti naročnino. Trinka (https://www.trinka.ai) je orodje, namenjeno strojni pomoči pri pisanju in urejanju strokovnih besedil. Poleg odpravljanja slovničnih napak ga uporabljamo tudi za izboljšanje pomenske in slogovne jasnosti ter preverjanje pravilnosti citiranja in navajanja literature. Orodje učinkovito ščiti pred plagiatorstvom ter omogoča samodejno citiranje in navajanje virov. Aplikacija je na voljo v osnovni (brezplačni) različici, tekoče delo pa narekuje sklenitev naročnine na polno različico. V primerjavi z zgoraj opisanima aplikacijama Paperpal inQuillBot je uporabniški vmesnik bolj zapleten in od uporabnika na začetku zahteva nekoliko več pozornosti. Pregledovanje in povzemanje podatkov/informacij iz znanstvene literature Explainpaper (https://www.explainpaper.com) je spletna aplikacija, ki z uporabo pogovornega robota ChatGPT omogoča klepet s polnim besedilom članka. V spletni vmesnik naložimo datoteko v zapisu PDF, označimo besede, besedne zveze ali dele besedila, za katere želimo dodatno razlago, ter izberemo stopnjo poglobljenosti razlage. Razlago lahko dopolnimo z zastavljanjem dodatnih vprašanj. V plačljivi različici je dostopna tudi funkcija izdelave povzetka besedila. Glavna odlika je enostavnost uporabe; večini uporabnikov zadostuje brezplačna različica. Med slabostmi gre omeniti, da orodje podpira le dokumente v zapisu PDF. ChatPDF (https://www.chatpdf.com) je orodje, ki omogoča klepet s polnim besedilom članka. Datoteko v obliki PDF lahko naložimo iz svoje naprave ali preko spletne povezave (URL). Pogovornemu robotu lahko zastavimo svoja vprašanja ali uporabimo in razširimo že pripravljena. Vprašanja in odgovore lahko shranimo na strežnik ali prenesemo na lokalni računalnik. Prednosti orodja so enostavnost uporabe, večjezična podpora ter navedek strani v dokumentu, ki je bila uporabljena za pripravo odgovora. Orodje podpira le delo z dokumenti v obliki PDF. Brezplačna različica je omejena na klepet z dvema datotekama dnevno. Aplikacija OpenRead (https://www.openread.academy) je namenjena strukturiranemu pregledovanju članka ter njegovi vsebinski analizi. Iz naloženih datotek v obliki PDF orodje zgradi seznam povzetkov, izlušči grafične prikaze z opisi ter omogoča klepet z vsebino polnih besedil člankov. Glavne prednosti orodja so preglednost in enostavnost uporabe ter vgrajen modul za branje matematičnih obrazcev in grafov. Orodje podpira le datoteke v zapisu PDF, brezplačna različica pa je omejena na izdelavo petih strukturiranih povzetkov na mesec. Zaključek V prispevku smo poskušali opisati možne smeri uporabe orodij tvorbene UI v raziskovalnem delu ter njihovo vlogo v procesu priprave znanstvenih objav, pri čemer smo se osredotočili na področje biomedicine. Na osnovi sistematičnega pregleda literature smo identificirali tri skupine aplikacij, ki jih raziskovalci trenutno uporabljajo pri pripravi znanstvenih člankov. Predstavljeni izbor orodij je predvsem informativne narave in nikakor ni izčrpen, je pa dovolj celovit, da nudi dober pregled nad možnostmi njihove uporabe. Kaj bo prinesla prihodnost, seveda ne vemo, a če želimo biti nanjo pripravljeni, moramo poznati sedanjost. Reference 1. Piel G: The social process of science. Science 1986; 231(4735): 201. https://doi.org/10.1126/science.231.4735.201 2. Silvia PJ: How to write a lot: a practical guide to productive academic writing. Washington 2018: American Psychological Association. 3. Booth WC, Colomb GG, Williams JM, Bizup J, FitzGerald WT: The craft of research. Chicago 2024: University of Chicago Press. 4. Thirunavukarasu AJ, Ting DSJ, Elangovan K, Gutierrez L, Tan TF, Ting DSW: Large language models in medicine. Nat Med 2023; 29(8): 1930-1940. https://doi.org/10.1038/s41591-023-02448-8 Informatica Medica Slovenica; 2024; 29(1) 37 © SDMI  http://ims.mf.uni-lj.si/ 5. Asimov I: I Robot. Glasgow 2013: Harper Collins Publishers. 6. Turing AM: Computing machinery and intelligence. Mind 1950; 59(236): 433-460. https://doi.org/10.1093/mind/lix.236.433 7. McCarthy J, Minsky ML, Rochester N, Shannon CE: A proposal for the Dartmouth Summer Research Project on artificial intelligence. AI Mag 2006; 27(4): 12-14. https://doi.org/10.1609/aimag.v27i4.1904 8. Crevier D: AI: The tumultuous history of the search for artificial intelligence. New York, NY 1993: Basic Books. 9. Russell SJ, Norvig P: Artificial intelligence: a modern approach. Hoboken 2021: Pearson. 10. McCulloch WS, Pitts W: A logical calculus of the ideas immanent in nervous activity. Bull Math Biophys 1943; 5: 115-133. https://doi.org/10.1007/BF02478259 11. Hinton GE, Osindero S, Teh YW: A fast learning algorithm for deep belief nets. Neural Comput 2006; 18(7): 1527-1554. https://doi.org/10.1162/neco.2006.18.7.1527 12. Vaswani A, Shazeer N, Parmar N et al.: Attention is all you need. Adv Neural Inf Process Syst 2017; 30: 5998- 6008. 13. Page MJ, McKenzie JE, Bossuyt PM et al.: The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021; 372: n71. https://doi.org/10.1136/bmj.n71 14. Altmäe S, Sola-Leyva A, Salumets A: Artificial intelligence in scientific writing: a friend or a foe? Reprod Biomed Online 2023; 47(1): 3-9. https://doi.org/10.1016/j.rbmo.2023.04.009 15. Athaluri SA, Manthena SV, Kesapragada VSRKM, Yarlagadda V, Dave T, Duddumpudi RTS: Exploring the boundaries of reality: investigating the phenomenon of artificial intelligence hallucination in scientific writing through ChatGPT references. Cureus 2023; 15(4): e37432. https://doi.org/10.7759/cureus.37432 16. Babl FE, Babl MP: Generative artificial intelligence: can ChatGPT write a quality abstract? Emerg Med Australas 2023; 35(5): 809-811. https://doi.org/10.1111/1742-6723.14233 17. Currie G, Singh C, Nelson T, Nabasenja C, Al-Hayek Y, Spuur K: ChatGPT in medical imaging higher education. Radiography 2023; 29(4): 792-799. https://doi.org/10.1016/j.radi.2023.05.011 18. Dergaa I, Chamari K, Zmijewski P, Ben Saad H: From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing. Biol Sport 2023; 40(2): 615-622. https://doi.org/10.5114/biolsport.2023.125623 19. Donlon E, Tiernan P: Chatbots and citations: an experiment in academic writing with generative AI. Ir J Technol Enhanc Learn 2023; 7(2): 75-87. https://doi.org/10.22554/ijtel.v7i2.125 20. Eggmann F, Weiger R, Zitzmann NU, Blatz MB: Implications of large language models such as ChatGPT for dental medicine. J Esthet Restor Dent 2023; 35(7): 1098-1102. https://doi.org/10.1111/jerd.13046 21. Garg RK, Urs VL, Agarwal AA, Chaudhary SK, Paliwal V, Kar SK: Exploring the role of ChatGPT in patient care (diagnosis and treatment) and medical research: a systematic review. Health Promot Perspect 2023; 13(3): 183-191. https://doi.org/10.34172/hpp.2023.22 22. Ghorashi N, Ismail A, Ghosh P, Sidawy A, Javan R: AI-powered chatbots in medical education: potential applications and implications. Cureus 2023; 15(8): e43271. https://doi.org/10.7759/cureus.43271 23. Giglio AD, Costa MUP: The use of artificial intelligence to improve the scientific writing of non- native English speakers. Rev Assoc Med Bras 2023; 69(9): e20230560. https://doi.org/10.1590/1806-9282.20230560 24. Giray L: Prompt engineering with ChatGPT: a guide for academic writers. Ann Biomed Eng 2023; 51(12): 2629-2633. https://doi.org/10.1007/s10439-023-03272-4 25. Hsu HP: Can generative artificial intelligence write an academic journal article? Opportunities, challenges, and implications. Ir J Technol Enhanc Learn 2023; 7(2): 158-171. https://doi.org/10.22554/ijtel.v7i2.152 26. Huang J, Tan M: The role of ChatGPT in scientific communication: Writing better scientific review articles. Am J Cancer Res 2023; 13(4): 1148-1154. 27. Huang H, Zheng O, Wang D et al.: ChatGPT for shaping the future of dentistry: The potential of multi- modal large language model. Int J Oral Sci 2023; 15(1): 29. https://doi.org/10.1038/s41368-023-00239-y 28. Hwang T, Aggarwal N, Khan PZ et al.: Can ChatGPT assist authors with abstract writing in medical journals? Evaluating the quality of scientific abstracts generated by ChatGPT and original abstracts. PLoS One 2024; 19(2): e0297701. https://doi.org/10.1371/journal.pone.0297701 29. Ingley SJ, Pack A: Leveraging AI tools to develop the writer rather than the writing. Trends Ecol Evol 2023; 38(9): 785-787. https://doi.org/10.1016/j.tree.2023.05.007 30. Jenko N, Ariyaratne S, Jeys L, Evans S, Iyengar KP, Botchu R: An evaluation of AI generated literature reviews in musculoskeletal radiology. Surgeon 2024; 22(3): 194-197. https://doi.org/10.1016/j.surge.2023.12.005 31. Kacena MA, Plotkin LI, Fehrenbacher JC: The use of artificial intelligence in writing scientific review articles. Curr Osteoporos Rep 2024; 22(1): 115-121. https://doi.org/10.1007/s11914-023-00852-0 32. Khlaif ZN, Mousa A, Hattab MK et al.: The potential and concerns of using AI in scientific research: ChatGPT performance evaluation. JMIR Med Educ 2023; 9: e47049. https://doi.org/10.2196/47049 33. Kung JY. Elicit. J Can Health Libr Assoc 2023; 44(1): 15- 18. https://doi.org/10.29173/jchla29657 34. Laios A, Theophilou G, De Jong D, Kalampokis E: The future of AI in ovarian cancer research: the large language models perspective. Cancer Control 2023; 30: 10732748231197915. https://doi.org/10.1177/10732748231197915 38 Blatnik et al.: Uporaba tvorbene umetne inteligentnosti za pripravo znanstvenih objav na področju biomedicine © SDMI  http://ims.mf.uni-lj.si/ 35. Lee SW, Choi WJ: Utilizing ChatGPT in clinical research related to anesthesiology: a comprehensive review of opportunities and limitations. Anesth Pain Med 2023; 18(3): 244-251. https://doi.org/10.17085/apm.23056 36. Lubowitz JH: Guidelines for the use of generative artificial intelligence tools for biomedical journal authors and reviewers. Arthroscopy 2024; 40(3): 651- 652. https://doi.org/10.1016/j.arthro.2023.10.037 37. Májovský M, Černý M, Kasal M, Komarc M, Netuka D: Artificial intelligence can generate fraudulent but authentic-looking scientific medical articles: Pandora's box has been opened. J Med Internet Res 2023; 25: e46924. https://doi.org/10.2196/46924 38. Mesko B: The ChatGPT (generative artificial intelligence) revolution has made artificial intelligence approachable for medical professionals. J Med Internet Res 2023; 25: e48392. https://doi.org/10.2196/48392 39. Meyer JG, Urbanowicz RJ, Martin PCN et al.: ChatGPT and large language models in academia: opportunities and challenges. BioData Min 2023; 16(1): 20. https://doi.org/10.1186/s13040-023-00339-9 40. Mugaanyi J, Cai L, Cheng S, Lu C, Huang J: Evaluation of large language model performance and reliability for citations and references in scholarly writing: cross- disciplinary study. J Med Internet Res 2024; 26: e52935. https://doi.org/10.2196/52935 41. Salimi A, Saheb H: Large language models in ophthalmology scientific writing: Ethical considerations blurred lines or not at all? Am J Ophthalmol 2023; 254: 177-181. https://doi.org/10.1016/j.ajo.2023.06.004 42. Salvagno M, Taccone FS, Gerli AG: Can artificial intelligence help for scientific writing? Crit Care 2023; 27(1): 75. https://doi.org/10.1186/s13054-023-04380-2 43. Semrl N, Feigl S, Taumberger N et al.: AI language models in human reproduction research: Exploring ChatGPT's potential to assist academic writing. Hum Reprod 2023; 38(12): 2281-2288. https://doi.org/10.1093/humrep/dead207 44. Sharma SC, Ramchandani JP, Thakker A, Lahiri A: ChatGPT in plastic and reconstructive surgery. Indian J Plast Surg 2023; 56(4): 320-325. https://doi.org/10.1055/s-0043-1771514 45. Švab I, Klemenc-Ketiš Z, Zupanič S: New challenges in scientific publications: referencing, artificial intelligence and ChatGPT. Zdr Varst 2023; 62(3): 109- 112. https://doi.org/10.2478/sjph-2023-0015 46. Tang A, Li KK, Kwok KO, Cao L, Luong S, Tam W: The importance of transparency: declaring the use of generative artificial intelligence (AI) in academic writing. J Nurs Scholarsh 2024; 56(2): 314-318. https://doi.org/10.1111/jnu.12938