Organizacija znanja, 26 (1–2), 2021, 2126003, https://doi.org/10.3359/oz2126003 Znanstveni članek / Scientific article Uporabniška izkušnja v COBISS+ COBISS+ user experience Katarina Švab 1 in Tanja Merčun 2 IZVLEČEK: Uporabniška izkušnja postaja vse pomembnejši vidik kakovosti storitev, produktov in tudi bibliografskih informacijskih sistemov. Ker primanjkuje celovitih raziskav uporabniške izkušnje v bibliografskih informacijskih sistemih, smo v okviru projekta pripravili anketni vprašalnik, ki zajema vse ključne dimenzije in vidike uporabniške izkušnje ter upošteva specifike bibliografskih informacijskih sistemov. Prispevek predstavlja z uporabo tega vprašalnika pridobljene ugotovitve o izkušnji uporabnikov s COBISS+ in o testiranem vprašalniku. Raziskava je bila izvedena v obliki spletne ankete med 15. in 24. 6. 2020, v njej pa je sodelovalo 418 uporabnikov knjižničnega kataloga COBISS+. Rezultati so pokazali, da je bila v povprečju izkušnja sodelujočih uporabnikov pozitivna: ob uporabi sistema so se počutili zadovoljne in sproščene, COBISS+ pa so videli predvsem kot koristen, učinkovit, lahko učljiv, uporaben in praktičen. Pokazale so se tudi nekatere razlike v izkušnji glede na namen uporabe, predhodne izkušnje s sistemom in spol anketiranca. Konsistentnost rezultatov različnih tipov istega vprašanja in tudi vseh treh vsebinskih sklopov nakazuje uporabnost in ustreznost testiranega vprašalnika ter omogoča določene zaključke kljub omejitvam raziskave. Glavna omejitev raziskave je predvsem pridobljeni vzorec, ki v večji meri zajema pogoste in starejše uporabnike COBISS+. Ugotovitve dajejo vpogled v uporabniško izkušnjo v COBISS+ in izhodišča za nadaljnje raziskave, hkrati pa je raziskava omogočila ovrednotenje in nadaljnje izboljšave vprašalnika. KLJUČNE BESEDE: uporabniška izkušnja, vrednotenje, bibliografski informacijski sistemi, COBISS+ ABSTRACT: User experience is becoming an increasingly important aspect of the quality of services, products and even bibliographic information systems. Due to the lack of comprehensive research into user experience in bibliographic information systems, we developed a questionnaire, covering all key dimensions and aspects of user experience and taking into account the specificities of bibliographic information systems. The article presents findings about the user experience with COBISS+ and the tested questionnaire. The survey was conducted in the form of an online survey between 15 and 24 June 2020, in which 418 users of the COBISS+ library catalogue participated. The results showed that, on average, the experience of the participating users was positive, they felt satisfied and relaxed when using the system and mainly saw COBISS+ as useful, efficient, easy to learn, useful and practical. There were also some differences in experience depending on the purpose of use, previous experience with the system and the gender of the respondent. The consistency of the results obtained for different types of the same question and also for all three sets of questions indicates that the tested questionnaire is useful and appropriate and allows certain conclusions to be drawn despite the limitations of the study. The main limitation of the study is the sample obtained, where the majority of respondents are frequent and older COBISS+ users. The results provide an insight into the user experience in COBISS+ and present a starting point for further research. They also enable the evaluation and further improvements of the questionnaire. KEYWORDS: user experience, UX, evaluation, bibliographic information systems, COBISS+ 1 Korespondenčni avtor: doc. dr. Katarina Švab, Univerza v Ljubljani, Filozofska fakulteta, katarina.svab@ff.uni-lj.si. 2 Doc. dr. Tanja Merčun, Univerza v Ljubljani, Filozofska fakulteta, tanja.mercunkariz@ff.uni-lj.si. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 2 / 26 1 Uvod Knjižnični katalog je še vedno najpomembnejše orodje vsake knjižnice in njene knjižnične zbirke. Z željo po izboljšanju funkcij in uporabniških vmesnikov knjižničnih katalogov raziskovalci z različnimi metodami in študijami že več kot tri desetletja proučujejo potrebe, vedênje ter težave uporabnikov pri interakciji z računalniškimi katalogi. V prvih letih so se raziskave osredotočale na učinkovitost in uspešnost algoritmov za poizvedovanje, kmalu pa se je njihova pozornost v veliki meri usmerila na uporabnost in uporabniško prijaznost. Tudi v širšem kontekstu sistemov za poizvedovanja vse pomembnejšo vlogo pri evalvaciji dobivajo uporabniško usmerjene, holistične mere, ki raziskovalce in praktike prek funkcionalnosti in uporabniške prijaznosti usmerjajo k hedoničnim aspektom sistemov (Zhang, 2014). Nov trend v raziskovanju in načrtovanju knjižničnih katalogov tako predstavlja koncept uporabniške izkušnje, ki razširja pojem uporabnosti in bolj poudarja tudi uporabnikovo (subjektivno) doživljanje interakcije, čustva, ki se porajajo ob uporabi, odnos uporabnika do sistema in sposobnost sistema, da pritegne k ponovni uporabi. Pojem uporabniška izkušnja se dandanes pojavlja v najrazličnejših kontekstih, izhaja pa s področja interakcije človek-računalnik (angl. human-computer interaction, HCI) in v zadnjih letih predstavlja ključen vidik pri načrtovanju in vrednotenju produktov in storitev. Kljub popularnosti koncepta in posledičnemu razvoju raznovrstnih metod za načrtovanje in merjenje uporabniške izkušnje pri aplikaciji teh metod za ugotavljanje uporabniške izkušnje v knjižničnem katalogu naletimo na težavo, da obstoječa orodja niso prilagojena specifiki bibliografskih informacijskih sistemov. Dodatno oviro predstavlja tudi dejstvo, da v literaturi zasledimo celo vrsto pristopov, metod in orodij. Pri tem ni jasnega pregleda tem pa tudi ne, katere metode so najprimernejše za posamezne naloge ali vprašanja, kako se razvita orodja med seboj primerjajo in katere vidike uporabniške izkušnje sploh pokrivajo. Da bi te vrzeli zapolnili, smo v okviru projekta Metodološki okvir merjenja uporabniške izkušnje v digitalnih knjižnicah 3 pregledali metode za ugotavljanje uporabniške izkušnje in identificirali orodja, ki bi bila potencialno uporabna tudi za proučevanje uporabniške izkušnje v bibliografskih informacijskih sistemih. Med metodami po svoji široki uporabnosti in enostavnosti uporabe izstopajo anketni vprašalniki, zato smo analizirali obstoječe vprašalnike z dveh vidikov: a) katere aspekte uporabniške izkušnje pokrivajo in b) na kakšen način so oblikovana vprašanja. Ugotovili smo, da večina vprašalnikov ne pokriva vseh aspektov uporabniške izkušnje in da je isto vprašanje v različnih vprašalnikih zastavljeno na različne načine, z različnim tipom vprašanj. Med pripravo vprašalnika, ki bi bil prilagojen ugotavljanju uporabniške izkušnje v bibliografskih informacijskih sistemih, smo tako izbrali in prilagodili vprašanja obstoječih vprašalnikov, jih poenotili ter pripravili nabor vprašanj za vsakega od aspektov uporabniške izkušnje. Odprto je ostalo vprašanje, kakšna oblika vprašanj je najboljša oziroma kako se te oblike vprašanj med seboj primerjajo glede na možnosti analize in pridobljene rezultate. V fazi preverjanja vprašalnika smo v sodelovanju z Institutom informacijskih znanosti v Mariboru (IZUM) testirali vprašalnik s sodelovanjem uporabnikov COBISS+, pri tem smo pridobili tudi vpogled v to, kaj o uporabniški izkušnji v knjižničnem katalogu COBISS+ izvemo na osnovi takšnega vprašalnika. Kontekst raziskave je pomemben za 3 Pri projektu smo sodelovali raziskovalci z Oddelka za bibliotekarstvo, informacijsko znanost in knjigarstvo Filozofske fakultete Univerze v Ljubljani ter Instituta informacijskih znanosti, Maribor. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 3 / 26 razumevanje metodologije raziskave, vendar se bomo v članku osredotočili predvsem na pridobljene rezultate in poskušali odgovoriti na naslednji vprašanji: • Kakšna je uporabniška izkušnja v COBISS+? • Kakšne možnosti analize in interpretacije uporabniške izkušnje nam je ponudila izvedena raziskava? 2 Pregled literature Pojem uporabniška izkušnja je v zadnjih letih vseprisoten tako v vsakodnevnem življenju kot tudi v različnih strokovnih okoljih. Kljub popularnosti koncepta pa so študije, ki bi vključevale raziskovanje uporabniške izkušnje v vmesnikih knjižničnih katalogov, digitalnih knjižnic in tudi drugih bibliografskih informacijskih sistemov, še vedno zelo redke. Večkrat sicer zasledimo uporabo besedne zveze uporabniška izkušnja, vendar se pogosto izkaže, da je govora o funkcijah, ki bi lahko izboljšale uporabniško izkušnjo (Alvite-Díez, 2021), ali o uporabniški prijaznosti in testiranju uporabnosti sistema (Majors, 2012; Jaffy, 2020), ne pa o celostni uporabniški izkušnji, kot je opredeljena v znanstveni literaturi in tudi v standardu ISO 9241- 210 (International Organization for Standardization, 2019). Slednji npr. definira uporabniško izkušnjo kot posameznikove zaznave in odzive, ki so rezultat uporabe ali pričakovane uporabe sistema, kjer zaznave in odzivi »vključujejo uporabnikova čustva, prepričanja, preference, zaznavo, udobje, vedenje in dosežke, ki se pojavijo pred in med uporabo ter po njej«. Definicija, ki je nastala na podlagi obstoječe literature, torej izpostavlja osredotočenost na uporabnikove zaznave, odzive, občutja in vedenje, ki izhajajo iz interakcije s sistemom, pa tudi iz uporabnikovih pričakovanj. Ta vidik sta že v zgodnjih začetkih opredeljevanja uporabniške izkušnje izpostavila tudi Hassenzahl in Tractinsky (2006), ki sta zapisala, da je uporabniška izkušnja posledica uporabnikovega stanja (predispozicij, pričakovanj, potreb, motivacij, razpoloženja), karakteristik sistema in konteksta (ali okolja), v okviru katerega se interakcija zgodi. Ne le na področju bibliografskih informacijskih sistemov, tudi v raziskavah na drugih področjih lahko večkrat zasledimo, da je pojem uporabniška izkušnja uporabljen kot sinonim za uporabnost (Bargas-Avila in Hornbaek, 2011). Čeprav so se v prvih letih uveljavljanja koncepta uporabniške izkušnje v strokovni in znanstveni literaturi na področju interakcije človek- računalnik raziskovalci veliko ukvarjali z opredelitvijo uporabniške izkušnje (Hassenzahl, 2003; Mahlke, 2008) in so pri tem ugotavljali, da jo je zaradi mehkejših in dinamičnejših konceptov težko definirati (Law et al., 2009), se v zadnjih letih zdi, da je področje doseglo določeno stopnjo zrelosti. Rico-Olarte et al. (2018, str. 547) dobro povzamejo ključne vidike uporabniške izkušnje, ki so se skozi leta uveljavili. Izpostavili bi naslednje: • Uporabniška izkušnja presega oziroma razširja uporabnost in uporabniško prijaznost, ki se osredotočata predvsem na uporabnikovo sposobnost razumeti in uporabiti sistem ter uspešno dokončati naloge. • Uporabniška izkušnja je po naravi subjektivna in vključuje oziroma poudarja uporabnikova čustva, motivacijo in dejanja ter se osredotoča na to, kako uporabnik zaznava produkt in svojo interakcijo z njim, vključuje pa tudi težje opredeljive atribute, kot sta zabava in užitek. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 4 / 26 • Evalvacija uporabniške izkušnje je zanimiva tako za ocenjevanje končnega sistema kot tudi v procesu njegovega načrtovanja. Merimo jo lahko z dvema osrednjima dimenzijama: pragmatično in hedonično. Pragmatična (instrumentalna) in hedonična (neinstrumentalna) kvaliteta sistema predstavljata dve osrednji dimenziji, skozi kateri ljudje doživljamo interaktivne produkte (Hassenzahl, 2003; Thüring in Mahlke, 2007). Pragmatična dimenzija se nanaša na to, kako uporabnik zaznava uporabnost in učinkovitost produkta ali storitve za dosego svojih ciljev. Na drugi strani pa hedonična dimenzija odgovarja na vprašanje, zakaj nekdo nekaj uporablja in kaj osebo pritegne k uporabi. Tako hedonična kot pragmatična kvaliteta sistema vplivata na uporabnikova čustva ob in po interakciji s sistemom. Poleg dveh osrednjih dimenzij uporabniške izkušnje uporabniško izkušnjo sestavlja širok spekter vidikov, na osnovi katerih lahko merimo ali ugotavljamo kvaliteto uporabniške izkušnje. Law et al. (2014) so identificirali kar 42 različnih vidikov oziroma kriterijev (npr. estetika/lepota, emocije, užitek, vpliv, vzbuditev zanimanja, pritegnitev, privlačnost, zadovoljstvo, zaupanje, zabava), ki so bili uporabljeni v raziskavah uporabniške izkušnje. Maia in Furtado (2016) sta v pregledu raziskav med 2010 in 2015 ugotovila, da raziskave s področja uporabniške izkušnje najpogosteje analizirajo zaželenost, uporabniško prijaznost, vizualno privlačnost, vrednost, koristnost, občutek nadzora, zadovoljstvo uporabnikov in zanesljivost. Ob velikem številu možnih kriterijev so se raziskovalci srečali tudi s težavo, v kolikšni meri je vidike sploh možno meriti in katere metode so zato najbolj primerne za ugotavljanje teh subjektivnih vidikov izkušnje. Sistematični pregledi literature (Maia in Furtado, 2016; Díaz- Oreiro et al., 2019) kažejo, da se je skozi leta razvila vrsta metod, instrumentov in orodij. Ugotavljajo, da obstajajo metode dolgega repa, ki so uporabljene le v nekaj raziskavah, medtem ko se najpogosteje še vedno uporabljajo vprašalniki, vse bolj pa se uporabljajo tudi standardizirani vprašalniki, kot so AttrakDiff, UEQ (User Experience Questionnaire) in meCUE. Ker ima vsaka metoda določene prednosti in slabosti ter omogoča vpoglede v različne vidike (npr. dolgotrajna uporaba proti trenutni uporabi) in na različne načine (npr. v laboratorijskem okolju, v naravni situaciji), je za čim celovitejši vpogled priporočljiva uporaba kombinacije metod (Vermeeren et al., 2010). Tudi v Sloveniji še nismo zasledili celovitega ugotavljanja uporabniške izkušnje v bibliografskih informacijskih sistemih. Do zdaj so bila posamezna orodja uporabljena le kot del širših raziskav. Kartice odzivov, ki so zajemale tako pragmatične kot hedonične kvalitete sistema, so bile npr. uporabljene pri testiranju prototipov prikazov bibliografskih družin in relacij po modelu FRBR (Merčun, 2014, Merčun et al., 2017) ter pri raziskavi mnenj slovenskih knjižničarjev o katalogu COBISS (Švab, 2018). Dva standardizirana vprašalnika za uporabniško izkušnjo (UEQ-S in EWPL) sta bila uporabljena pri študiji s sledenjem pogleda, kjer so uporabniki opravljali nalogo v dLib in Europeani (Merčun in Kuhar, 2021). Vidiki uporabniške izkušnje pri interakciji z bibliografskimi informacijskimi sistemi (med njimi je bil tudi COBISS+) so bili analizirani tudi v okviru magistrske naloge, kjer so sodelujoči v raziskavi opisali svoja razmišljanja, občutke in akcije ob iskanju virov v obliki dnevniških zapisov (Cvek, 2019). Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 5 / 26 3 Metodologija 3.1 Izvedba raziskave Raziskava je potekala v obliki spletne ankete med 15. in 24. junijem 2020. Anketni vprašalnik je bil pripravljen v orodju 1ka, uporabniku COBISS+ pa se je poziv k sodelovanju pojavil na seznamu rezultatov. Z naslavljanjem uporabnikov v aktivni fazi iskanja smo želeli zagotoviti, da bi odgovori na anketo kar v največji meri kazali dejansko uporabniško izkušnjo s sistemom. V prvih dneh je vprašalnik izpolnilo le 8 uporabnikov, kar je bil jasen pokazatelj slabe vidnosti povezave na anketo; nagovor se je namreč prikazal s klikom na majhen zavihek Anketa o COBISS+ na desni strani zaslona. Sodelavci v IZUM-u so zato v naslednjih dneh spremenili prikaz tako, da se je ob iskanju po katalogu na desni strani zaslona samodejno pojavilo okno s povabilom k sodelovanju. Ta sprememba je močno vplivala na odziv uporabnikov, tako smo v naslednjih petih dneh pridobili zadostno število odgovorov. Dober odziv uporabnikov je pokazatelj, da so si uporabniki želeli podati svoje mnenje o COBISS+, kar je razvidno tudi iz komentarjev na koncu vprašalnika. 3.2 Raziskovalni instrument Respondenti so vprašalnik v povprečju izpolnili v manj kot treh minutah. Anketni vprašalnik je bil namenoma zasnovan v najkrajši možni obliki, saj smo želeli čim manj posegati v uporabnikovo interakcijo s katalogom, hkrati pa smo se zavedali, da bomo zaradi narave COBISS+ tako zbrali večje število odgovorov in v celoti izpolnjenih vprašalnikov. Anketiranci so v anketnem vprašalniku lahko odgovorili na 7 vprašanj: • dve širši vprašanji o uporabniški izkušnji, • štiri kratka splošna, demografska vprašanja, • eno odprto vprašanje, kjer so imeli možnost prosto zapisati morebitne komentarje o delovanju in uporabi COBISS+. Da bi bil čas reševanja ankete čim krajši, hkrati pa bi pridobili odgovore na čim več vprašanj, ki smo jih želeli testirati, je bila anketa namenoma zasnovana tako, da je vsak anketiranec naključno dobil eno od dveh verzij obeh vprašanj o uporabniški izkušnji. Prvo vprašanje se je nanašalo na čustva med uporabo COBISS+, pri čemer je 1ka anketirancem naključno dodelila obliko vprašanja s semantičnimi diferenciali ali obliko vprašanja z intenzitetami čustev v obliki stopenj (slika 1). Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 6 / 26 Slika 1: Izsek vprašanj za označevanje počutja med uporabo COBISS+ s semantičnim diferencialom (zgoraj) in z izbiro stopenj (spodaj) V drugem vprašanju smo želeli pridobiti vpogled v uporabnikovo doživljanje sistema, njegove uporabnosti, estetike, učinkovitosti in pritegnitve. Tudi tu je 1ka anketirancem naključno dodelila eno od dveh oblik vprašanja: bipolarno ocenjevalno lestvico, semantični diferencial (26 parov pridevnikov) ali seznam pozitivnih in negativnih pridevnikov (60 pridevnikov) (slika 2). Pri vprašanjih, ki so se nanašala na uporabniške izkušnjo, je bilo dodano navodilo, naj bo izbira spontana in hitra. V vseh primerih so se pridevniki razvrščali naključno, s čimer smo želeli zagotoviti, da prikazani vrstni red pridevnikov ni vplival na rezultat. Slika 2: Izsek vprašanj o doživljanju COBISS+ s semantičnim diferencialom (zgoraj) in z izbiranjem pridevnikov (spodaj) Demografska in splošna vprašanja (pogostost in namen uporabe COBISS+, starost, spol) so bila izbrana z namenom naprednejše analize uporabniške izkušnje, ki bi pokazala morebiten vpliv teh faktorjev na doživljanje in interakcijo s sistemom. Z zadnjim, odprtim vprašanjem smo želeli (1) anketirancem omogočiti, da s svojimi besedami izrazijo mnenje o COBISS+ in podajo morebitne predloge, ki bi lahko koristili pri nadaljnjem razvoju vmesnika in funkcij, ter (2) pridobiti še dodatne informacije, ki bi obogatile razumevanje uporabniške izkušnje. 3.3 Vzorec Med trajanjem ankete smo zabeležili 658 klikov na anketo, od tega je 65 % (427) klikov vodilo tudi v začetek izpolnjevanja ankete. Izmed vseh, ki so začeli izpolnjevati anketo, jih je 418 anketo delno ali v celoti izpolnilo. Po natančnem pregledu delno rešenih vprašalnikov smo se Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 7 / 26 odločili, da bomo v analizo zajeli vseh 418 vprašalnikov. V primeru delno izpolnjenih anket se je namreč pogosto zgodilo, da so anketiranci anketo rešili do konca, vendar so se opredelili le pri točkah uporabniške izkušnje, ki so se njim zdele pomembne. Razmeroma visok delež rešenih anket tistih, ki so se lotili reševanja, kaže, da je bila dolžina ankete primerna in da nekoliko neobičajen vprašalnik anketirancev ni odvrnil od reševanja. Zanimivo je, da je na povabilo k reševanju ankete kliknila skoraj polovica (45 %) uporabnikov, ki so do COBISS+ dostopali prek telefona ali tablice, vendar pa so anketo rešili predvsem tisti uporabniki, ki so do COBISS+ dostopali prek računalnika (takšnih je bilo 306 oziroma 73 %). To nakazuje, da je izbrani tip vprašanj v orodju 1ka verjetno slabše prilagojen manjšemu zaslonu telefona, seveda pa so na manjši delež odgovorov uporabnikov telefonov in tablic lahko vplivali tudi drugi dejavniki. V priložnostnem vzorcu smo v večji meri zajeli bolj izkušene uporabnike COBISS+ (slika 3, levo). Največji delež (278 anketirancev) se jih je opredelil za pogoste uporabnike, ki COBISS+ uporabljajo tedensko, dobra petina (108 anketirancev) COBISS+ uporablja enkrat ali dvakrat na mesec, le 17 anketirancev COBISS+ uporablja redko ali prvič. Slika 3: Značilnosti vzorca glede pogostosti uporabe COBISS+ (levo) in starostne porazdelitve anketirancev (desno) Sodelovalo je več žensk (73,1 %) kot moških (26,9 %), vendar med spoloma ni bistvenih razlik pri namenu in pogostosti uporabe COBISS+ ali pri porazdelitvi v starostnih skupinah. Starostna struktura udeležencev raziskave razkrije, da smo pridobili odgovore nekoliko starejših uporabnikov, saj so kar 173 (43,7 %) anket rešili starejši od 50 let (slika 3, desno). Med anketiranci je bila le slaba petina mlajša od 36 let (26 mlajših od 18 let, 25 starih med 18 in 25 let ter 47 starih med 26 in 35 let). Največjo skupino anketirancev predstavlja 120 žensk v starosti nad 50 let. Ker je bilo vzorčenje priložnostno, je lahko starostna struktura tudi odraz časa izvajanja ankete, saj so mlajši (dijaki in študenti) v tem času potrebovali manj študijske literature. Večina anketirancev je iskala gradivo za prosti čas (67,5 %), manjši delež pa za službo (17,1 %) in študij ali šolo (8,4 %). Med preostalimi odgovori (7 %) smo identificirali tudi večje število ustvarjalcev besedil, ki so bili v procesu pisanja besedila (»za iskanje virov za knjigo, ki jo pišem«) ali so preverjali stanje izposoje napisanih knjig (»spremljanje statistike Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 8 / 26 izposoje mojih avtorskih del«, »kaj se dogaja z mojimi romani«) ter knjižničarje, ki so preverjali stanje zaloge za potrebe naročanja gradiva v svoji knjižnici. 3.4 Omejitve raziskave Pri oblikovanju vprašanj semantičnega diferenciala so se že ob pripravi ankete v 1ka pokazale težave pri prikazu vprašalnika na mobilnih napravah. Te so bile med testiranjem sicer delno odpravljene, vendar je kljub temu velik del uporabnikov, ki so dostopali do COBISS+ prek mobilnih naprav, opustil reševanje ankete. Za to je sicer več možnih razlogov, verjetno pa je del vzroka tudi tip vprašanj, ki ni bil optimalen za prikaz na mobilnikih. Večjo omejitev predstavlja tudi pridobljeni vzorec, ki zaradi vrste vzorčenja ni reprezentativen. V vzorcu prevladujejo starejši uporabniki, kar je morda posledica izvajanja ankete v predpoletnem času. 4 Rezultati Namen ankete je bilo ugotoviti, (1) kakšna je uporabniška izkušnja v COBISS+ in (2) kakšne možnosti analize in interpretacije uporabniške izkušnje nam je ponudila izvedena raziskava. 4.1 Počutje ob uporabi COBISS+ Približno polovica anketirancev je poskusila izraziti svoje počutje ob uporabi COBISS+ z izbiro stopnje med dvema besedama, ki sta označevali med seboj nasprotni počutji (semantični diferencial), medtem ko je druga polovica anketirancev opredelila svoje počutje na osnovi 5- stopenjske lestvice (sploh ne, malo, srednje, precej, zelo). Slika 4: Povprečne ocene počutja med uporabo COBISS+, primerjava odgovorov v dveh tipih vprašanja Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 9 / 26 Splošen pregled rezultatov pokaže, da smo z obema vprašalnikoma pridobili podoben rezultat (slika 4). Pri obeh tipih vprašanj so prevladovali pozitivnejši občutki, negativni občutki so bili v povprečju izraženi šibko, večjih odstopanj ali nasprotujočih si rezultatov ni bilo. Statistična analiza podatkov (tabela 1) pokaže, da so se sicer pojavile določene razlike v povprečnih ocenah čustev med enim in drugim vprašalnikom, kar je pričakovano, saj si različen tip vprašanja anketiranec lahko interpretira drugače. Pa vendar so anketiranci v obeh vprašalnikih izrazili enako stopnjo občutkov zavzetosti, uspešnosti, umirjenosti in sproščenosti. Po drugi strani pa so anketiranci na petstopenjski lestvici intenzivnosti čustev (od sploh ne do zelo) podali nižje povprečne ocene pri pozitivnih občutjih kot pri semantičnih diferencialih in negativna čustva skoraj niso bila prisotna. Tabela 1: Razlike med povprečnimi ocenami počutja pri uporabi COBISS+ glede na tip vprašanja SEMANTIČNI DIFERENCIAL n = 198 LESTVICA n = 192 SEMANTIČNI DIFERENCIAL n = 198 LESTVICA n = 192 poln energije* 3,7 3,3 nezadovoljno/vznejevoljeno* 2,0 1,5 zavzeto 3,9 3,7 razočarano* 2,3 1,6 uspešno 3,9 3,7 slabe volje* 2,0 1,4 samozavestno* 4,0 3,7 jezno* 2,1 1,4 umirjeno 3,9 3,8 zdolgočaseno* 2,5 1,5 sproščeno 4,0 3,9 neprijetno* 2,0 1,4 brezskrbno* 3,9 3,6 nemočno* 2,3 1,5 veselo* 3,8 3,4 Opomba: * = Statistično pomembne razlike, p < 0,05 (T-test za neodvisne vzorce). Za potrebe izračuna so bile povprečne ocene pri negativnih čustvih semantičnega diferenciala rekodirane. Rezultate vprašanj o počutju lahko združimo v enotno oceno, saj so bili pri obeh vprašanjih namenoma uporabljena enaka nabora občutij in 5-stopenjska lestvica. Slika 5 pokaže, da so anketiranci v povprečju označili svoje počutje takole: le malo zdolgočaseno, razočarano, nemočno, jezno in nezadovoljno ter precej sproščeno, samozavestno, umirjeno, uspešno, zavzeto in brezskrbno. Slika 5: Združene povprečne ocene negativnih (levo) in pozitivnih (desno) občutij pri uporabi COBISS+ (n = 390) Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 10 / 26 Združene povprečne ocene občutij lahko analiziramo tudi z vidika splošnih in demografskih vprašanj, ki smo jih anketirancem postavili ob koncu ankete z željo, da raziščemo morebitne vplive teh dejavnikov na čustva in doživljanje sistema. Predpostavko, da pogostost uporabe vpliva na občutja pri interakciji s sistemom, lahko potrdimo le delno: med anketiranci, ki občasno ali pogosto uporabljajo COBISS+, ni bilo bistvenih razlik v opredelitvi počutja (tabela 2). Vidimo, da so bile povprečne ocene občutij pri anketirancih, ki so COBISS+ uporabljali prvič ali ga uporabljajo redko, nižje. Zaradi majhnega vzorca teh anketirancev se statistično pomembne razlike sicer pokažejo predvsem pri manjšem občutju uspešnosti in večji intenzivnosti nezadovoljstva, jeze, slabe volje, zdolgočasenosti in nemoči. Tabela 2: Razlike povprečnih ocen občutij pri uporabi glede na pogostost uporabe COBISS+ PRVIČ, REDKO OBČASNO POGOSTO PRVIČ, REDKO OBČASNO POGOSTO n = 16 n = 101 n = 269 n = 16 n = 101 n = 269 poln energije 2,9 3,5 3,5 nezadovoljno* 2,5 1,6 1,8 zavzeto 3,6 3,9 3,7 razočarano 2,5 1,9 1,9 uspešno* 3,0 4,0 3,8 slabe volje* 2,5 1,6 1,7 samozavestno 3,3 4,0 3,9 jezno* 2,7 1,6 1,7 umirjeno 3,5 3,9 3,8 zdolgočaseno* 2,7 2,0 2,0 sproščeno 3,6 4,1 3,9 neprijetno* 2,5 1,6 1,7 brezskrbno 3,5 3,9 3,8 nemočno* 2,6 1,9 1,8 veselo 3,3 3,7 3,6 Opomba: * = Statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) Predvidevali smo, da okoliščine uporabe COBISS+ lahko vplivajo na uporabniško izkušnjo. Tabela 3 prikazuje primerjavo rezultatov glede na to, s kakšnim namenom so anketiranci uporabljali sistem. Zanimivo je, da ni bistvenih razlik med ocenami počutja, ko so anketiranci uporabljali COBISS+ za študij, šolo ali prosti čas. So se pa anketiranci, ki so COBISS+ uporabljali v službene namene, ob uporabi počutili manj polni energije, manj sproščeni, manj brezskrbni in manj veseli ter bolj zdolgočaseni. Ta rezultat in tudi rezultat primerjave glede na spol kažeta, da na vsa čustva, ki jih doživlja uporabnik, seveda ne vpliva samo sistem kot tak, temveč nanj v določeni meri vplivajo tudi druge spremenljivke, kot so morda zahtevna tematika, nezainteresiranost za tematiko, splošno počutje pred uporabo, osebnostne značilnosti posameznika ipd. Tabela 3: Razlike povprečnih ocen občutij pri uporabi glede na namen okoliščine uporabe COBISS+ SLUŽBA ŠTUDIJ, ŠOLA PROSTI ČAS SLUŽBA ŠTUDIJ, ŠOLA PROSTI ČAS n = 34 n = 70 n = 257 n = 34 n = 70 n = 257 poln energije* 3,1 3,5 3,6 nezadovoljno 2,0 1,8 1,7 zavzeto 3,7 3,8 3,8 razočarano 2,1 1,9 1,8 uspešno 3,6 3,9 3,9 slabe volje 1,9 1,8 1,7 samozavestno 3,7 3,9 4,0 jezno 1,9 1,9 1,7 umirjeno 3,6 3,9 3,9 zdolgočaseno* 2,2 2,3 1,9 Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 11 / 26 SLUŽBA ŠTUDIJ, ŠOLA PROSTI ČAS SLUŽBA ŠTUDIJ, ŠOLA PROSTI ČAS sproščeno* 3,5 4,0 4,1 neprijetno 1,8 1,8 1,6 brezskrbno* 3,5 3,8 3,9 nemočno 1,9 1,9 1,8 veselo* 3,1 3,4 3,8 Opomba: * = Statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) Zanimivo je, da največje razlike pri oznakah občutja vidimo ravno pri spolu, saj so moški anketiranci izražali nižjo stopnjo skoraj vseh pozitivnih občutij in višjo stopnjo skoraj vseh negativnih občutij (tabela 4). Tabela 4: Razlike povprečnih ocen občutij pri uporabi COBISS+ glede na spol MOŠKI n = 99 ŽENSKI n = 270 MOŠKI n = 99 ŽENSKI n = 270 poln energije* 3,3 3,6 nezadovoljno* 2,0 1,7 zavzeto* 3,5 3,9 razočarano* 2,2 1,9 uspešno* 3,6 3,9 slabe volje 1,9 1,7 samozavestno 3,8 3,9 jezno* 2,0 1,7 umirjeno* 3,7 3,9 zdolgočaseno* 2,2 1,9 sproščeno* 3,7 4,1 neprijetno* 1,9 1,6 brezskrbno* 3,5 3,9 nemočno* 2,0 1,8 veselo* 3,3 3,7 Opomba: * = Statistično pomembne razlike, p < 0,05 (T-test za neodvisne vzorce) 4.2 Zaznavanje lastnosti COBISS+ Poleg čustev smo v raziskavi želeli pridobiti tudi vpogled v to, kako uporabniki doživljajo oziroma zaznavajo sistem s pragmatičnega in hedoničnega vidika, torej z vidika enostavnosti, učinkovitosti, uporabnosti, pritegnitve, inovativnosti in estetike. Nekaj manj kot polovica vprašanih (n = 198) je dobila pridevnike v obliki semantičnega diferenciala, dobra polovica (n = 204) pa je svoje zaznavanje sistema opisala z izbiro poljubnega števila pozitivnih in negativnih pridevnikov. 4.2.1 Ocena lastnosti skozi semantične pare Čeprav je bilo v navodilu zapisano, da anketirancu ni treba izbrati stopnje pri vidikih, ki jih ne vidi kot pomembne, se jih je večina opredelila pri vsakem diferencialu. Zanimivo je, da je največ anketirancev (23) izpustilo oceno pri semantičnem paru intuitiven-neintuitiven. Čisto vsi anketiranci pa so se opredelili pri paru koristen-nekoristen, kar kaže na to, da gre za kriterij, ki je ključen za vse anketirance. Rezultati kažejo, da so anketiranci kot najbolj pozitivne ocenili pragmatične kvalitete sistema, torej zaznano koristnost, učinkovitost in enostavnost uporabe, s slabšo oceno izstopajo intuitivnost, fleksibilnost in predvidljivost (slika 6). Na drugi strani pa so bolj nevtralno ocenili hedonične vidike, ki se nanašajo na zaznavanje pritegnitve in inovativnosti sistema ter na estetiko vmesnika. Tu v pozitivnem smislu izstopata doživljanje sistema kot profesionalnega in pritegnitev sistema k nadaljnji uporabi. Ravno pritegnitev k nadaljnji uporabi velja za enega izmed pomembnejših vidikov uporabniške izkušnje. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 12 / 26 Slika 6: Zaznavanje lastnosti COBISS+: povprečne ocene pri semantičnih diferencialih (n=198) Primerjava rezultatov treh starostnih skupin anketirancev (slika 7) kaže, da so vse tri skupine enako doživljale hedonične kvalitete sistema. Pri pragmatičnih kvalitetah se sicer nakazujejo nekatere razlike (nekoliko slabše ocene starostne skupine 36–50), vendar te niso dovolj velike, da bi bile tudi statistično pomembne. Prav tako ni bilo pomembnih razlik glede na namen uporabe COBISS+. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 13 / 26 Legenda: zelena črta: do 35 let, oranžna črta: 36–50 let, vijolična črta: nad 50 let (n = 198) Slika 7: Zaznavanje lastnosti COBISS+: primerjava povprečnih ocen semantičnih parov glede na starost anketirancev Na drugi strani pa podrobnejša analiza pokaže razlike v ocenah sistema glede na spol in glede na pogostost uporabe. Moški so bili v povprečju bolj kritični in so predvsem pragmatične Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 14 / 26 lastnosti sistema ocenili nekoliko slabše kot ženske (tabela 5). COBISS+ so moški tako označili kot bolj nepredvidljiv, težji za učenje in uporabo, manj fleksibilen, jasen in slabši v podpori njihovih potreb, bolj nevtralno kot ženske so se opredelili pri parih lep-grd, prijeten-nadležen in moderen-zastarel. Tabela 5: Razlike v povprečnih ocenah zaznavanja lastnosti COBISS+ glede na spol (nižja povprečna ocena je bolj pozitivna) MOŠKI n = 61 ŽENSKI n = 128 MOŠKI n = 61 ŽENSKI n = 128 enostaven 2,5 2,1 pritegne k nadaljnji uporabi 2,4 2,1 predvidljiv* 2,6 2,2 zanimiv 2,4 2,3 razumljiv 2,4 2,0 vabljiv 2,7 2,3 hiter 2,1 2,1 prijeten* 2,6 2,1 učinkovit 2,2 2,0 inovativen 2,9 2,6 organiziran 2,4 2,1 izviren 2,9 2,6 lahko učljiv* 2,4 1,9 me prevzame 2,9 2,7 fleksibilen* 2,8 2,3 lep* 2,8 2,5 intuitiven 2,8 2,6 privlačen 2,6 2,5 jasen* 2,6 2,1 kreativen 2,8 2,5 preprost za uporabo* 2,3 2,0 eleganten* 2,7 2,4 koristen 1,9 1,7 profesionalen 2,3 2,1 podpira* 2,4 2,0 moderen* 2,8 2,3 Opomba: * = Statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) Bolj kot razlike v doživljanju glede na spol je za razumevanje in opredelitev uporabniške izkušnje pomembno, kako sistem doživljajo občasni in redni uporabniki in kako tisti, ki sistem uporabljajo prvič ali redko. Rezultati tu nakazujejo na velike razlike, predvsem izstopa dejstvo, da je tistih nekaj anketirancev, ki se redko ali prvič srečujejo s COBISS+, sistem doživljalo precej negativno. Zaradi majhnega vzorca (5 anketirancev) je pri zaključkih potrebna previdnost, vendar so to razlike, ki jih ne gre prezreti. Zanimivo je, da so novi uporabniki videli COBISS+ kot razmeroma lahko učljiv in preprost za uporabo, vendar pa tudi kot precej počasen, neučinkovit in nekoristen. Ocenili so, da jih ovira pri doseganju ciljev ter ga označili za dokaj odbijajočega, nadležnega, neinovativnega, amaterskega in zastarelega. Tabela 6: Razlike v povprečnih ocenah zaznavanja lastnosti glede na pogostost uporabe COBISS+ (nižja povprečna ocena je bolj pozitivna) PRVIČ, REDKO n = 5 OBČASNO n = 53 POGOSTO n = 138 PRVIČ, REDKO n = 5 OBČASNO n = 53 POGOSTO n = 138 enostaven* 3,6 2,3 2,2 pritegne k nadaljnji uporabi* 3,6 2,1 2,1 predvidljiv 2,6 2,2 2,4 zanimiv 3,4 2,4 2,3 razumljiv 3,0 2,3 2,0 vabljiv* 3,8 2,7 2,3 hiter* 3,8 2,0 2,1 prijeten* 4,0 2,4 2,2 učinkovit* 3,6 2,0 2,0 inovativen* 4,4 2,6 2,6 Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 15 / 26 PRVIČ, REDKO n = 5 OBČASNO n = 53 POGOSTO n = 138 PRVIČ, REDKO n = 5 OBČASNO n = 53 POGOSTO n = 138 organiziran 3,2 2,2 2,2 izviren 3,4 2,8 2,6 lahko učljiv 2,4 2,1 2,1 me prevzame 3,2 2,9 2,7 fleksibilen 3,6 2,5 2,5 lep 3,3 2,8 2,5 intuitiven 4,0 2,8 2,6 privlačen 3,3 2,7 2,4 jasen 2,8 2,5 2,2 kreativen 3,4 2,7 2,5 preprost za uporabo 2,2 2,2 2,1 eleganten 3,2 2,5 2,4 koristen* 3,2 1,6 1,7 profesionalen* 3,8 2,2 2,1 podpira* 3,8 2,2 2,1 moderen* 4,0 2,5 2,4 Opomba: * = Statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) 4.2.2 Ocena lastnosti z izbiro pridevnikov Vsi vidiki iz vprašanja s semantičnimi pari so bili zajeti tudi v obliki vprašanja s seznamom pridevnikov. Anketiranci so v povprečju izbrali približno 8 pozitivnih (povprečje 7,8) in 2 negativna (povprečje 1,7) pridevnika. V podrobnejši analizi povprečnega števila izbranih pozitivnih in negativnih pridevnikov vidimo, da rezultati v veliki meri sovpadajo z rezultati vprašanja s semantičnimi pari: tudi tu se nakazujeta slabša ocena anketirancev starostne skupine 36–50 in večja kritičnost anketirancev moškega spola, ponovi se tudi negativna ocena s strani tistih, ki prvič ali redko uporabljajo COBISS+ (slika 8). Edina razlika, ki jo opazimo v primerjavi z vprašanjem v obliki semantičnih parov, je pri namenu uporabe: tu vidimo, da so anketiranci, ki so uporabljali COBISS+ za prosti čas, izbrali več pozitivnih in manj negativnih pridevnikov kot anketiranci, ki so sistem uporabljali v okviru službe ali za šolo ali študij. Slika 8: Analiza povprečnega števila izbranih pozitivnih in negativnih pridevnikov glede na starost, spol, namen in pogostost uporabe Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 16 / 26 Pregled izbire posameznih pridevnikov pokaže, da je več kot polovica anketirancev izbrala pridevnike koristen (63 %), uporaben (60 %), praktičen (55 %) in preprost za uporabo (50 %). Med pogosteje izbranimi so bili še organiziran (44 %), razumljiv (43 %), učinkovit (41 %), enostaven (39 %) in jasen (36 %). Podobno kot pri različici vprašanja s semantičnimi pari se tudi tu vsi najpogosteje izbrani pridevniki navezujejo na pragmatični vidik sistema. Pridevniki, ki opisujejo hedonične kvalitete, so bili izbrani nekoliko redkeje. Več kot tretjina anketirancev je označila, da jih sistem pritegne k nadaljnji uporabi, več kot petina pa je izpostavila, da je sistem prijeten, profesionalen in zanimiv ter moderen. Le nekaj anketirancev je izbralo zelo močne pozitivne pridevnike (razburljiv, fascinanten, lep, navdušujoč) ali močne negativne pridevnike (kičast, odbijajoč, grd, nekoristen, nadležen, neuporaben). Zanimivo je, da je tudi pri tem vprašanju zelo malo anketirancev izbralo vidik intuitivnosti (12 anketirancev je označilo sistem kot intuitiven, 12 pa kot neintuitiven). Pri negativnih pridevnikih so bili najpogosteje izbrani pridevniki običajen (ki ga lahko opredelimo tudi kot nevtralnega, 19 %), okoren (10 %), tradicionalen, pust in počasen (vsi: 9 %). Slika 9 prikazuje izbiro pridevnikov, ki jih je izbralo vsaj 10 % anketirancev, glede na starostno skupino. Vidimo, da med starostnimi skupinami ni bilo bistvenih razlik pri izbiri posameznih pridevnikov, le pri nekaj pridevnikih vidimo manjša odstopanja, npr. pri starostni skupini do 35 let (pogostejša izbira pridevnikov preprost za uporabo, enostaven, hiter, lahko učljiv) in starostni skupini nad 50 let (pogostejša izbira pritegne k nadaljnji uporabi, učinkovit, zmogljiv, zanimiv). Vendar pa razlike niso dovolj velike, da bi bile statistično pomembne. V nasprotju z verzijo vprašanja s semantičnimi diferenciali so se pri prosti izbiri pridevnikov pokazale jasne razlike glede na namen uporabe COBISS+ v času reševanja ankete (tabela 7). Anketiranci, ki so sistem uporabljali za študij ali šolo, so sistem videli kot precej manj koristen, uporaben in učinkovit kot drugi dve skupini uporabnikov, prav tako so v večji meri izpostavili, da jih ovira pri nalogah, ki so jih želeli rešiti z uporabo COBISS+. Anketiranci, ki so uporabljali COBISS+ v okviru službe, so sistem sicer opisali kot koristen, uporaben in podpirajoč pri reševanju njihovih nalog, hkrati pa so bili tudi bolj kritični in v manjši meri kot drugi so sistem opredelili kot enostaven in hiter, v večji meri pa kot počasen in zastarel. Anketiranci, ki so iskali gradivo za prosti čas, so v večji meri izbirali pozitivne pridevnike, v primerjavi z drugima dvema skupinama je ta skupina anketirancev videla sistem tudi kot zanimivejši. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 17 / 26 Slika 9: Najpogosteje izbrani pridevniki o sistemu COBISS+: delež anketirancev, ki so izbrali pridevnik znotraj posamezne starostne skupine (n = 204) Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 18 / 26 Tabela 7: Statistično pomembne razlike pri izbiri pridevnikov glede na namen uporabe COBISS+ ZA PROSTI ČAS n = 139 ZA SLUŽBO n = 36 ZA ŠTUDIJ ALI ŠOLO n = 15 koristen* 69 % 58 % 27 % uporaben* 67 % 53 % 33 % razumljiv* 51 % 25 % 27 % učinkovit* 46 % 33 % 13 % enostaven* 44 % 19 % 47 % hiter* 38 % 11 % 27 % zanimiv* 29 % 8 % 13 % me podpira pri reševanju …* 17 % 39 % 7 % počasen* 5 % 25 % 7 % zastarel* 2 % 17 % 0 % me ovira pri reševanju naloge* 1 % 3 % 13 % Opomba: * Prikazani so le pridevniki, pri katerih so se pojavila statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) Razlike se nakazujejo tudi pri izbiri pridevnikov med anketiranci, ki pogosteje uporabljajo COBISS+, in tistimi, ki so se z njim srečali redko ali prvič (tabela 8). Zaradi majhnega vzorca je pri zaključkih potrebna previdnost, kljub vsemu pa rezultati potrjujejo tiste iz vprašanja s semantičnimi diferenciali. Uporabniki, ki so uporabili COBISS+ prvič ali ga uporabljajo le redko, so v večji meri izbrali negativne pridevnike, kot so težek za uporabo, nerazumljiv, težko učljiv, me zmede ter v precej manjši meri kot preostali pridevnike, kot so enostaven, preprost za uporabo, uporaben in koristen. Redni uporabniki negativnih pridevnikov skorajda niso uporabili, večina pa je izbrala pridevnika koristen in uporaben. Tabela 8: Statistično pomembne razlike pri izbiri pridevnikov glede na pogostost uporabe COBISS+ PRVIČ ALI REDKO n = 9 OBČASNO n = 51 POGOSTO n = 130 težek za uporabo* 11 % 2 % 0 % nerazumljiv* 22 % 4 % 1 % težko učljiv* 22 % 2 % 2 % me zmede* 22 % 2 % 3 % enostaven* 11 % 51 % 37 % preprost za uporabo* 11 % 51 % 54 % uporaben* 11 % 55 % 68 % koristen* 33 % 53 % 70 % Opomba: * Prikazani so le pridevniki, pri katerih so se pojavila statistično pomembne razlike, p < 0,05 (ANOVA – enosmerna analiza variance) 4.3 Komentarji anketirancev Močna čustva (pozitivna ali negativna) morajo biti prisotna pri anketirancu, da se po končani anketi odloči napisati tudi komentar. Pomenski odgovor je zapisalo 120 anketirancev, pri tem je bilo 49 odgovorov namenjenih kratki pohvali (»hvala za vse!«, »s katalogom sem zelo zadovoljna«, »Baza podatkov COBISS-a je meni najdragocenejša baza podatkov«), 11 odgovorov splošni negativni oceni (»Nefleksibilni!!!«, »Stara verzija je bila boljša«), 60 Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 19 / 26 anketirancev pa je v odgovoru izpostavilo konkretne težave in predloge za izboljšave. Tabela 9 prikazuje kvantitativno analizo komentarjev različnih skupin anketirancev z vidika splošne vsebine komentarja: pri starejših od 50 let je največ komentarjev vsebovalo splošno pohvalo, medtem ko so v komentarjih izpostavljeni težave in predlogi prevladovali pri skupinah 36–50 in do 35. V primerjavi z ženskami je več moških v komentarjih napisalo negativno mnenje, vendar tudi pohvalo, medtem ko so anketiranke bolj izpostavile težave ali predloge za izboljšanje delovanja. Največ predlogov in najmanj pohval so navedli tisti, ki so pred reševanjem ankete COBISS+ uporabili v službene namene, razmeroma veliko predlogov so izrazili tisti, ki so sistem uporabili za šolo ali študij. Največ pohval so v komentarjih izrazili anketiranci, ki so COBISS+ uporabljali za iskanje gradiva za prosti čas, pogosti uporabniki pa so v dobri polovici primerov izpostavili težave oziroma predloge za izboljšanje sistema. Tabela 9: Deleži komentarjev posameznih skupin anketirancev glede na vsebino komentarja NEGATIVNO PREDLOG, TEŽAVA POHVALA do 35, n = 28 7 % 54 % 39 % 36–50, n = 41 10 % 61 % 29 % nad 50, n = 49 8 % 39 % 53 % moški, n = 35 11 % 43 % 46 % ženski, n = 78 6 % 54 % 40 % za študij ali šolo, n = 15 0 % 67 % 33 % za službo, n = 19 10 % 74 % 16 % za prosti čas, n = 74 9 % 41 % 50 % prvič ali redko, n = 6 (0) (5) (1) občasno, n = 30 10 % 40 % 50 % pogosto, n = 84 9,5 % 51 % 39 % Komentarji tudi dobro odražajo izkušnjo oziroma doživljanje sistema, ki so ga anketiranci opredelili v zaprtih vprašanjih. Slika 10 na primeru enega vprašanja jasno pokaže ujemanje ocen lastnosti sistema pri vprašanju s semantičnimi diferenciali in vsebino komentarja. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 20 / 26 Slika 10: Primerjava povprečnih ocen posameznih kriterijev in vrste komentarja (primer vprašanja s semantičnimi diferenciali, nižja povprečna ocena pomeni boljši rezultat), n = 120 Tabela 10 daje vpogled v podrobnejšo vsebino komentarjev, s katerimi so anketiranci poudarili konkretne težave ali podali predloge. Kot je razvidno iz tabele, je bila večina teh vezana na pragmatične vidike sistema. Ob analizi komentarjev smo opazili tudi, da so starejši anketiranci v svojih komentarjih sicer večkrat pohvalili sistem, vendar so tudi izpostavili, da je COBISS+ v začetku težko učljiv in ni prijazen za starejše, s pogostejšo uporabo pa postaja bolj uporaben in tudi obvladljiv. V tej skupini jih je tudi več zapisalo, da je bil prejšnji vmesnik boljši in da imajo težave pri postopku rezervacije. Poleg težav z rezervacijo gradiva je bilo večkrat omenjeno tudi slabo delovanje COBISS+ na mobilnem telefonu in delovanje mCOBISS-a, želja po takojšnjem pregledu razpoložljivih izvodov v posamezni enoti knjižnice in težave pri iskanju proste verzije nekakega dela. Slednjo problematiko je v svoji raziskavi izpostavila že Mateja Leskovec (2005), ko je zapisala, da bi si uporabniki želeli rezervirati delo, ne pa točno določene verzije, in bi tako hitreje dobili izvod v izposojo. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 21 / 26 Tabela 10: Vsebine v komentarjih anketirancev, ki so izpostavili konkretne težave ali predloge PRAGMATIČNA KVALITETA: Zaznana enostavnost, učinkovitost, uporabnost TEŽAVE, KRITIKE ̶ počasno delovanje, nepotrebni kliki ̶ težka uporaba, zahtevno iskanje ̶ ni vedno jasno, kako so rezultati povezani s poizvedbo ̶ pogosto vpisovanje gesla za storitev Moja knjižnica ̶ veliko korakov in težave pri rezervaciji gradiva ̶ težavna uporaba COBISS+ na telefonu ̶ slaba aplikacija mCOBISS ̶ težavno iskanje ustrezne knjižnice iz spustnega seznama ̶ sistem ne podpira brskanja, temveč samo iskanje znanega gradiva (»Če ne vem, katero knjigo bi izbrala, mi COBISS ne pride čisto nič prav«) ̶ zahtevno iskanje, a za zahtevnega iskalca neuporabno, »precej nestrokovnosti, neelastičnosti in nenatančnosti« ̶ sistem kaže, da je knjiga prosta, vendar v resnici ni prosta v enoti, kjer si anketiranka knjige izposoja, kar »jemlje dragoceni čas« PREDLOGI, ŽELJE ̶ več funkcij v fasetni navigaciji in izboljšana vidnost (npr. avtorjev) ̶ več prilagoditev in možnosti pri razvrščanju zadetkov (kot jih je omogočal prejšnji vmesnik ali pa nove, npr. po datumu inventarizacije) ̶ boljša klasifikacija gradiva in konsistentnost podatkov v bibliografskih zapisih, doslednost vpisovanja DOI zaradi hitrejšega dostopanja do člankov ̶ možnost prikaza relacij, npr. nadaljevanj določenega dela ̶ večja prilagodljivost iskalnika za iskanje gradiva predvsem po določeni vrsti gradiva (npr. gradivo, ki je v kompletu in vsebuje tudi DVD) in iskanje zgolj po letnici izida ̶ samodejno popravljanje napak (»ali ste morda mislili«) ali spregled manjših napak (napačna črka) ̶ večja natančnost zadetkov ̶ enostavnost iskanja, kot to omogoča Google (npr. najdenje besede v različnih sklonih) ̶ brskanje po vseh knjigah v določenem jeziku v določeni knjižnici ̶ možnost razvrščanja gradiva po starostnih stopnjah (otroci in odrasli) in znotraj teh dveh kategorij možnost razvrščanja na leposlovno in strokovno gradivo ̶ prikaz števila izposoj določenega naslova za daljše časovno obdobje ̶ večji prenos podatkov v RIS-formatu (vsaj po 500 enot) ̶ povezljivost knjižničnega kataloga z drugimi knjižničnimi aplikacijami in drugimi knjižničnimi katalogi ̶ možnost rezervacije naslova (in ne le konkretnega izvoda) ̶ prikaz rezultatov zadetkov naj omogoča relacije za knjige v nadaljevanjih ̶ prikaz večjega števila zadetkov na stran HEDONIČNA KVALITETA: Pritegnitev, zaznana inovativnost, estetika TEŽAVE, KRITIKE ̶ star sistem, ki se ne prilagaja spremembam in je uporabniku neprijazen ̶ pust in nefleksibilen PREDLOGI, ŽELJE ̶ z uvedbo RDA-pravil bi sistem postal bolj inovativen ̶ videz sistema bi lahko bil bolj slikovit in zabaven Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 22 / 26 5 Diskusija Raziskava je v prvi vrsti predstavljala test vprašanj, ki smo jih pripravili na podlagi analize in pregleda obstoječih vprašalnikov o uporabniški izkušnji. Ker večina teh vprašalnikov ne zajema vseh vidikov uporabniške izkušnje, poleg tega pa niso specifično namenjeni bibliografskim informacijskim sistemom, smo iz vprašalnikov izluščili skupne kriterije, ki so relevantni tudi za tovrstne sisteme, jih prevedli v slovenski jezik in pripravili nabor možnih vprašanj. Z raziskavo smo želeli osvetliti naslednji dve osrednji vprašanji: • Kaj z uporabo tovrstnega anketnega vprašalnika izvemo o uporabniški izkušnji s COBISS+? • Kakšne možnosti analiz in vpogledov v uporabniško izkušnjo nam omogočajo posamezna vprašanja in vprašalnik kot celota? Analiza rezultatov je pokazala, da so pri interakciji s sistemom prevladovali pozitivni občutki, prav tako so v povprečju anketiranci pozitivno ocenili pragmatične značilnosti COBISS+ in nekoliko bolj nevtralno hedonične kvalitete, kot so zaznana inovativnost, estetika in pritegnitev. Podrobnejša analiza je pokazala nekaj zanimivih vpogledov v razlike med različnimi skupinami uporabnikov. Tako so npr. intenzivnejše negativne občutke izražali predvsem anketiranci, ki so COBISS+ uporabili prvič ali ga uporabljajo redko, ter anketiranci moškega spola. Oboji so tudi v drugem vprašanju, ki se je osredotočalo na zaznavanje različnih kvalitet sistema, pokazali bolj kritičen pogled tako na pragmatične kot na hedonične kvalitete sistema. Ob analizi komentarjev, kjer je velik del moških zapisal tudi pozitiven komentar, se nakazuje vprašanje, ali gre pri tej skupini uporabnikov resnično za bolj negativno občutenje izkušnje ali morda le za splošno nagnjenost k dodeljevanju nižjih ocen. V raziskavi nismo ugotovili bistvenih razlik med starostnimi skupinami anketirancev, čeprav bi morda vendarle pričakovali, da bodo mladi bolj kritični do sistema. So se pa pokazale nekatere razlike tako pri občutkih kot pri zaznavanju lastnosti sistema med anketiranci, ki so COBISS+ uporabljali za iskanje gradiva za prosti čas, in anketiranci, ki so iskali gradivo za šolo ali študij oziroma so uporabljali sistem v službene namene. Neuravnoteženost pridobljenega vzorca otežuje dokončne zaključke ali posploševanje rezultatov raziskave. Za dobro razumevanje in primerjavo izkušnje različnih skupin uporabnikov bi potrebovali več odgovorov mlajših, ki uporabljajo COBISS+ tudi za šolo ali študij, in uporabnikov, ki se s sistemom srečujejo prvič ali le občasno. Pogosti uporabniki, ki so bili v našem vzorcu prisotni v največjem deležu, namreč lahko, zaradi svojih predhodnih izkušenj, drugače doživljajo interakcijo s sistemom. Kljub pozitivni uporabniški izkušnji pogostih uporabnikov pa so imeli ti tudi razmeroma veliko predlogov in želja po izboljšavah sistema in so, po komentarjih sodeč, že dlje časa čakali na kakšno anketo, povezano s COBISS+. Možnost zapisa prostega komentarja o COBISS+ se je izkazala kot pomembna obogatitev, ki je klasični vprašalniki uporabniške izkušnje ne vključujejo. Naša raziskava je pokazala, da se pri raziskovanju uporabniške izkušnje pokaže razmeroma velik interes anketirancev, da tudi z lastnimi besedami podelijo svojo izkušnjo, kar se je potrdilo tudi v tej raziskavi. Ti komentarji predstavljajo možnost za bolj poglobljeno razumevanje uporabniške izkušnje, hkrati pa dajejo konkretne predloge za izboljšave ali nakažejo priložnosti za nove raziskave. Na podlagi predstavljenih slik in tabel lahko vidimo, da daje testirani vprašalnik veliko možnosti analiz, ki omogočajo vpogled v dva ključna vidika uporabniške izkušnje: zaznavanje Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 23 / 26 sistema in čustva, ki se porajajo ob uporabi. Konsistentnost rezultatov tako med posameznimi vprašanji (čustva, zaznane lastnosti, komentarji) kot tudi med verzijama istega vprašanja kaže, da instrument deluje in ima potencial za nadaljnjo uporabo. Vprašanje, katera verzija vprašanja je boljša, bo vsekakor še predmet nadaljnjih analiz, vendar rezultati te analize nakazujejo, da je boljša uporaba semantičnega diferenciala kot lestvice. Semantični pari namreč anketirancem bolje predstavijo kriterij, do katerega se morajo opredeliti, prav tako pa anketiranci pogosto na lestvicah izberejo skrajne vrednosti, kar semantični diferencial nekoliko omili. Da se anketa o uporabniški izkušnji nekoliko razlikuje od tipičnih anket in je lahko tudi zanimiva za anketiranca, priča komentar uporabnika, ki je zapisal: »Vmes sem že skoraj pozabil, da izpolnjujem anketo, ne profila na Tinderju.« Zagotovo pa ima vprašalnik tudi še prostor za izboljšanje. Analiza nakazuje, da so določeni izrazi oziroma poimenovanja morda težje razumljivi za uporabnike. Takšen primer je pridevnik intuitiven, ki ga je pri semantičnem diferencialu izpustilo največ anketirancev. Ker intuitivnost predstavlja enega izmed najpomembnejših vidikov uporabnosti sistema, sklepamo, da ta termin morda ni dovolj poznan in bi ga veljalo zamenjati z bolj splošno poznanim. Prav tako bi bilo v prihodnje treba razmisliti, kako vprašalnik bolje prilagoditi reševanju na mobilnih napravah. Izvedba raziskave v obliki ankete, ki je uporabnike COBISS+ nagovarjala med iskanjem, je imela svoje prednosti in slabosti. Zagotovo je za razliko od večine dosedanjih raziskav prednost v tem, da so jo reševali dejanski uporabniki v naravnem okolju, torej ko so uporabljali sistem za izpolnjevanje svojih resničnih nalog oziroma informacijskih potreb. Ima pa raziskovanje v naravnem okolju tudi nekaj omejitev. Za več možnosti interpretacij počutja med uporabo sistema COBISS+ bi bilo treba anketirance po počutju vprašati dvakrat: ne le med interakcijo ali po njej, ampak tudi pred njo, česar pa v tem primeru ni bilo mogoče izvesti. Prav tako nismo imeli veliko vpliva na pridobljeni vzorec. Postavlja se vprašanje, kako bi k odgovarjanju sploh lahko privabili tudi tiste skupine uporabnikov, ki so bile v raziskavi slabše zastopane. Morda bi pomagala ponovna izvedba raziskave v drugem letnem času, ko študenti in dijaki v večji meri iščejo gradivo za študij, kar pa seveda ni zagotovilo, da bodo anketo tudi rešili. Prav tako je verjetno težko pričakovati, da bi na anketo odgovorilo veliko število novih uporabnikov COBISS+. Te vrzeli je zato treba zapolniti z drugimi pristopi in metodami, na osnovi katerih lahko bolj natančno opazujemo in analiziramo izkušnjo določene skupine uporabnikov ali uporabe COBISS+ za določen namen. Glede na komentarje anketirancev bi bilo zanimivo podobno raziskavo izvesti tudi za uporabo mCOBISS ali spletne verzije COBISS+ prek mobilnih naprav. 6 Zaključek Z anketnim vprašalnikom smo pridobili prvi in celostni vpogled v uporabniško izkušnjo s sistemom COBISS+, ki zajema tako čustva uporabnikov kot tudi njihovo zaznavanje enostavnosti, učinkovitosti, uporabnosti, estetike, pritegnitve in inovativnosti sistema. Velikost vzorca nam je omogočila tudi vrsto natančnejših analiz, ki so pokazale ne le to, ali je izkušnja uporabnikov pozitivna ali negativna, ampak tudi nihanja v izkušnji različnih skupin uporabnikov. Zdi se, da so ravno te ključ za razumevanje težav določenih skupin uporabnikov in dajejo izhodišče za razmislek o možnih izboljšavah ali nadaljnjih raziskavah s temi skupinami. Vsekakor rezultati potrjujejo osnovne definicije uporabniške izkušnje, ki smo jih predstavili v pregledu literature, in kažejo na to, kako je uporabniška izkušnja odvisna ne le od sistema samega, ampak tudi od konteksta uporabe in karakteristik uporabnikov. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 24 / 26 Zasnovani vprašalnik bomo lahko na podlagi ugotovitev še izpopolnili, menimo pa, da bi izboljšan vprašalnik lahko služil kot uporabno orodje za proučevanje uporabniške izkušnje. Opravljena raziskava prinaša vrsto zanimivih ugotovitev, vendar potencial tovrstne raziskave (ne le za raziskovalce, ampak tudi za razvijalce sistemov) vidimo predvsem v njeni večkratni ponovitvi, s čimer bi lahko primerjali rezultate pred pomembnimi posodobitvami in po njih ali ovrednotili testne verzije. Prav tako bi rezultate lahko primerjalno ovrednotili z rezultati kakšnega drugega bibliografskega informacijskega sistema, npr. digitalne knjižnice dLib ali celo kakšnega tujega knjižničnega kataloga. Zahvala 4 Projekt (Metodološki okvir merjenja uporabniške izkušnje v digitalnih knjižnicah, št. J5-8247) je sofinancirala Javna agencija za raziskovalno dejavnost Republike Slovenije iz državnega proračuna. Reference Alvite-Díez, M.-L., 2021. Linked open data portals: functionalities and user experience in semantic catalogues. Online Information Review (v tisku). Dostopno na: https://doi.org/10.1108/OIR-07-2020-0295 [2. 5. 2021]. Bargas-Avila, J. A. in Hornbæk, K., 2011. Old wine in new bottles or novel challenges: a critical analysis of empirical studies of user experience. V: Proceedings of the SIGCHI conference on human factors in Computing Systems New York: ACM. Str. 2689–2698. Dostopno na: https://doi.org/10.1145/1978942.1979336 [7. 5. 2021]. Cvek, A., 2019. Elementi uporabniške izkušnje v bibliografskih informacijskih sistemih. Magistrsko delo. Ljubljana: Univerza v Ljubljani, Filozofska fakulteta. Dostopno na: https://repozitorij.uni-lj.si/IzpisGradiva.php?id=109215&lang=slv [21. 5. 2021]. Díaz-Oreiro, I., López, G., Quesada, L. in Guerrero, L. A., 2019. Standardized questionnaires for user experience evaluation: A systematic literature review. V: Proceedings of 13th International Conference on Ubiquitous Computing and Ambient , Intelligence UCAmI 2019 31(1). Dostopno na: https://doi.org/10.3390/proceedings2019031014 [11. 5. 2021]. Hassenzahl, M. in Tractinsky, N., 2006. User experience – a research agenda. Behaviour and Information Technology, 25(2), 91–97. Dostopno na: https://doi.org/10.1080/01449290500330331 [3. 5. 2021]. Hassenzahl, M., 2003. The thing and I: understanding the relationship between user and product. V: Blyte, M. et al. (ur.), Funology: from usability to enjoyment. Dordrecht: Kluwer. Str. 31–42. International Organization for Standardization, 2019. ISO 9241-210. International Organization for Standardization, Switzerland. Jaffy, M., 2020. Bento-Box user experience study at Franklin University. Information Technology & Libraries, 39(1), 1–20. Dostopno na: https://doi.org/10.6017/ital.v39i1.11581 [2. 5. 2021]. 4 Op. ur.: Dopolnitev po objavi (1. 3. 2022). Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 25 / 26 Law, E. L. C., Roto, V., Hassenzahl, M., Vermeeren, A. P. in Kort, J., 2009. Understanding, scoping and defining user experience: a survey approach. V: Proceedings of the SIGCHI conference on human factors in computing systems. ACM. Str. 719–728. Dostopno na: https://doi.org/10.1145/1518701.1518813 [2. 5. 2021]. Law, E. L., van Shaik, P. in Roto, V., 2014. Attitudes towards user experience (UX) measurement. International Journal of Human-Computer Studies, 72(6), 526–541. Dostopno na: https://doi.org/10.1016/j.ijhcs.2013.09.006 [12. 5. 2021]. Leskovec, M., 2005. Delo, izrazna oblika, pojavna oblika: kaj uporabniki res iščejo?. Diplomsko delo. Ljubljana: Univerza v Ljubljani, Filozofska fakulteta. Mahlke, S., 2008. User experience of interaction with technical systems. VDM-Verlag. Dostopno na: https://doi.org/10.14279/depositonce-1793 [3. 5. 2021]. Maia, C. L. B. in Furtado, E. S., 2016. A systematic review about user experience evaluation. V: Marcus, E. ur. International conference of design, user experience, and usability. New York: Springer. Str. 445–455. Majors, R., 2012. Comparative user experiences of next-generation catalogue interfaces. Library Trends, 61(1), 186–207. Dostopno na: https://doi.org/10.1353/lib.2012.0029 [10. 5. 2021]. Merčun, T. in Kuhar, M., 2021. Exploring user experience in digital libraries through questionnaire and eye-tracking data: a case study of Europeana and dLib. V: Libraries in the Digital Age (LIDA) 2021, 19-22 April 2021, Dubrovnik, Croatia. Dubrovnik: [s. n.]. Dostopno na: http://lida.ffos.hr/abstracts_2021/LIDA_2021_paper_38.docx [21. 5. 2021]. Merčun, T., 2014. Evaluation of information visualization techniques: analysing user experience with reaction cards. V: Proceedings of the fifth workshop on beyond time and errors: novel evaluation methods for visualization. ACM. Str. 103–109. Dostopno na: https://doi.org/10.1145/2669557.2669565 [21. 5. 2021]. Merčun, T., Žumer, M. in Aalberg, T., 2017. Presenting bibliographic families using information visualization: evaluation of FRBR‐based prototype and hierarchical visualizations. Journal of the Association for Information Science and Technology, 68(2), 392– 411. Dostopno na: https://doi.org/10.1002/asi.23659 [21. 5. 2021]. Rico-Olarte, C., López, D. M. in Kepplinger, S., 2018. Towards a conceptual framework for the objective evaluation of user experience. V: Marcus A. in Wang W. ur. International Conference of Design, User Experience, and Usability: theory and practice. Cham: Springer. Str. 546–559. Dostopno na: https://doi.org/10.1007/978-3-319-91797-9_39 [2. 5. 2021]. Švab, K., 2018. The opinion of public and academic librarians on the necessary changes in the library catalogue. Knjižnica, 62(3), 31–50. Dostopno na: https://knjiznica.zbds- zveza.si/knjiznica/article/view/7376 [11. 6. 2021]. Thüring, M. in Mahlke, S., 2007. Usability, aesthetics and emotions in human–technology interaction. International Journal of Psychology, 42(4), 253–264. Dostopno na: https://doi.org/10.1080/00207590701396674 [11. 6. 2021]. Švab, K. in Merčun, T.: Uporabniška izkušnja v COBISS+ Organizacija znanja, 2021, 26 (1–2), 2126003 26 / 26 Vermeeren, A. P., Law, E. L. C., Roto, V., Obrist, M., Hoonhout, J. in Väänänen-Vainio-Mattila, K., 2010. User experience evaluation methods: current state and development needs. V: Proceedings of the 6th Nordic Conference on Human-Computer Interaction: extending boundaries. New York: Association for Computing Machinery. Str. 521–530. Dostopno na: https://doi.org/10.1145/1868914.1868973 [3. 5. 2021]. Zhang, Y., 2014. Searching for specific health‐related information in Medline Plus: behavioral patterns and user experience. Journal of the Association for Information Science and Technology, 65(1), 53–68. Dostopno na: https://doi.org/10.1002/asi.22957 [3. 5. 2021].