ERK'2022, Portorož, 163-166 163 Vrednotenje uporabniˇ ske izkuˇ snje in slabosti razliˇ cnih modalnosti interakcij v okolju navidezne resniˇ cnosti Rok Marko ˇ Ster, Joˇ ze Guna Univerza v Ljubljani, Fakulteta za elektrotehniko, Trˇ zaˇ ska cesta 25, 1000 Ljubljana, Slovenija E-poˇ sta: rs7839@student.uni-lj.si User experience and VR sickness evaluation of different interaction modalities in a virtual reality environment This paper deals with the user experience and VR sick- ness of different interaction modalities in Virtual Reality. One of our research objectives was to assess the impact on user experience and simulator sickness when adding virtual trackers to an HMD which only tracks itself and its controllers. Throughout the paper, we detail the ef- fect of adding additional virtual trackers using an exter- nal sensor. To start things off, we introduce the ques- tionnaires used to evaluate simulator sickness and user experience. Second, we present the results of the experi- ment concluded in the scope of the author’s diploma the- sis, where 6 participants were interviewed after the use of 3 different modalities in a dynamic VR environment. 1 Uvod Ob hitrem tehnoloˇ skem napredku v zadnjih desetletjih se podroˇ cje navidezne resniˇ cnosti (angl. Virtual reality) vedno bolj pogosto uporablja v najrazliˇ cnejˇ sih industri- jah. Trg za meˇ sano in obogateno resniˇ cnost se je iz leta 2020 na leto 2021 poveˇ cal za 92,1 % [1], kar prikazuje sploˇ sno napredovanje tehnologije in veˇ canje ˇ stevila moˇ znosti njene uporabe. Ob uporabi vsake tehnologije je naˇ celoma dobra praksa ustreznost njene uporabe preveriti na veˇ cjem ˇ stevilu uporabnikov, ki so del ciljne skupine. Ustreznost uporabe tehnologije ali neke aplika- cije lahko ocenimo in kvantiziramo na razliˇ cne naˇ cine, nekatera izmed njih sta uporaba vpraˇ salnikov in razliˇ cnih senzorjev. Veˇ cina cenovno dostopnih naglavnih prikazovalnikov je omejena z zmogljivostjo sledenja gibanja uporabnika, saj sta razvoj in implementacija celotelesnega sledenja velik dodaten stroˇ sek, ki se pozna v konˇ cni ceni produkta kot kar dvakrat (ali veˇ ckrat) viˇ sja cena, zato proizvajalci in uporabniki vedno znova iˇ sˇ cejo naˇ cine, kako bi lahko implementirali celotelesno sledenje gibanja za niˇ zjo ceno in izboljˇ sali interakcijo ter s tem uporabniˇ sko izkuˇ snjo. Cenovno ugodni naglavni prikazovalniki veˇ cinoma omogoˇ cajo ˇ sest dimenzij svobode sledenja naglavnega prikazovalnika ter krmilnikov, draˇ zji naglavni prika- zovalniki pa omogoˇ cajo sledenje celotnega telesa v prostoru s pomoˇ cjo zunanjih baznih postaj s senzorji. Ker ˇ zelimo zmanjˇ sati uporabnikovo nelagodje in hkrati poveˇ cati njegovo zabavo, je bila ˇ zelja ugotoviti, kako in koliko vpliva dodano ˇ stevilo sledilnih toˇ ck na uporabnikovo nelagodje in na njegovo izkuˇ snjo. Hkrati je bilo v diplomski nalogi tudi obravnavano, ali uporabniku bolj ustreza rotacija glave in celotnega telesa ali le uporaba krmilne roˇ cice namesto rotacije glave. V naˇ sem primeru smo vrednotenje izvedli z uporabo naglavnega prikazovalnika Oculus Rift S, kateremu smo dodali navidezne sledilnike nog s programskim orodjem Driver4VR. Za sledenje nog smo uporabili zunanji senzor Microsoft Kinect for Xbox One. 2 Metode 2.1 Postopek vrednotenja Vrednotenje uporabniˇ ske izkuˇ snje se praviloma opravlja na ˇ cim veˇ cji populaciji, zaradi ˇ casovne stiske pa je pri naˇ sem vrednotenju sodelovalo ˇ sest udeleˇ zencev. Uporabniki so bili postavljeni v okolje aplikacije “Blade and Sorcery” obenem pa so jim bila postavljena navodila o interakciji v okolju v treh razliˇ cnih ˇ casovno loˇ cenih scenarijih. Pred prvim scenarijem so jim bili podani napotki, naj se v navideznem okolju premaknejo do treh vnaprej doloˇ cenih razliˇ cnih toˇ ck. Po opravljenem zaˇ cetnem cilju jim je bilo danih pet minut, da se privadijo na krmilnike ter izberejo svoje oroˇ zje za izpolnjevanje podane naloge – premagovanja sovraˇ znikov in preˇ zivetje v celotnem ˇ casu vrednotenja, medtem ko jih bodo nasprotniki v igri skuˇ sali ubiti. V vsak scenarij smo upo- rabnika postavili za ˇ casovno dolˇ zino petnajst minut, nato pa smo mu dodelili premor in izpolnjevanje vpraˇ salnikov. V vsaki interakciji z uporabnikom smo bili pozorni, da smo uporabniku razloˇ zili vse na miren in prijazen naˇ cin, saj smo ˇ zeleli izvedeti uporabnikovo dejansko poˇ cutje. Med uporabnikovo interakcijo v okolju smo reagirali le na uporabnikove komentarje, ki so namigovali na njegovo slabost, veˇ cinoma smo vpraˇ sali le, ali uporabnik meni, ali je sposoben vrednotenje nadaljevati, ali ˇ zeli prenehati. Tako uporabniku ne damo napaˇ cnega vtisa, da se ocenjujejo njegove sposobnosti, saj je namen vrednotenja v sploˇ snem le oceniti naˇ cin interakcije, ki je odvisen od opreme in njene vnaprej doloˇ cene uporabe. Od ˇ sestih uporabnikov je eden izmed njih zaradi visoke stopnje slabosti ˇ zelel, da je njegov ˇ cas vrednotenja skrajˇ san v prvem scenariju, zato smo mu skrajˇ sali tudi 164 vse druge scenarije, saj je pomembno, da so vsi scenariji enako dolgi. ˇ Ce bi bili scenariji razliˇ cnih ˇ casovnih dolˇ zin, bi lahko priˇ slo do drugaˇ cnega spreminjanja stopnje VR slabosti in drugaˇ cne uporabniˇ ske izkuˇ snje, kot sicer ob enakih ˇ casovnih dolˇ zinah vrednotenja. Po vsakem scenariju je uporabnik prisluˇ zil petnajstminutni odmor, v zaˇ cetku katerega je izpolnil vpraˇ salnike FMS, VRSQ in UEQ-S. Vsi uporabljeni vpraˇ salniki so opisani v nadaljevanju. Vrstni red scenarijev je bil za vsakega uporabnika iz- bran nakljuˇ cno s pomoˇ cjo metode Latin Squares [2], saj tako uravnoteˇ zimo uˇ cinek prenosa, to je prilagajanje upo- rabnika na tehnologijo in okolje. V tem poskusu imamo tri razliˇ cne scenarije, zato smo vsakemu dodelilli svojo ˇ crko (A, B, C) in jih premeˇ sali tako, da se nobena kombi- nacija ni ponovila. • Scenarij A uporabnika omejuje na uporabo krmilne roˇ cice za premikanje smeri pogleda v igri. Inte- rakcija temelji na zamahu rok, v katerih uporabnik drˇ zi krmilnike za vihtenje oroˇ zij. Za drˇ zanje oroˇ zij v igri mora na krmilniku drˇ zati gumb s sredincem. Uporabnike smo prosili, naj za orientacijo po pro- storu ne uporabljajo rotacije svojega telesa, prosili smo jih, da njihovo resniˇ cno telo vedno gleda v isto smer. • Scenarij B uporabnika omejuje na uporabo krmilne roˇ cice in vrtenja v resniˇ cnem ˇ zivljenju za nadzoro- vanje pogleda v igri. Za vihtenje oroˇ zij interakcija temelji na zamahu rok, v katerih uporabnik drˇ zi kr- milnike. Za drˇ zanje oroˇ zij v igri mora na krmilniku drˇ zati gumb s sredincem. • Scenarij C uporabnika omejuje na uporabo krmilne roˇ cice in vrtenja v resniˇ cnem ˇ zivljenju za nadzo- rovanje pogleda v igri, za sledenje nog pa upora- bljamo Driver4VR v izvedbi s Kinect. Za vihtenje oroˇ zij interakcija temelji na ˇ ze opisanem naˇ cinu iz scenarija B. Uporaba Driver4VR in Kinect uporab- niku dovoljuje tudi uporaba nog za brce, zato smo uporabnika pred scenarijem C obvestili o dodatni uporabi nog in ga spodbujali k le tej. 2.2 Uporabljeni vpraˇ salniki Za vrednotenje uporabniˇ ske izkuˇ snje smo uporabili pet vpraˇ salnikov, zaˇ cetni in konˇ cni sta lastna, ostali trije pa so standardizirani vpraˇ salniki. 2.2.1 Zaˇ cetni vpraˇ salnik V zaˇ cetnem vpraˇ salniku smo udeleˇ zence vpraˇ sali o spolu, starosti, izkuˇ snjah z videoigrami, izkuˇ snjah z navidezno resniˇ cnostjo, samooceni vida oziroma zadnji informaciji iz okulistiˇ cnega pregleda in njihovih izkuˇ snjah z adrena- linskimi ˇ sporti. Vsi udeleˇ zenci so bili ˇ studentje stari med enaindvajset in dvaindvajset let, ki smo jih pred vredno- tenjem ˇ ze poznali osebno. 2.2.2 FMS FMS je kratek vpraˇ salnik, v katerem izvajalec prosi udeleˇ zenca, ˇ ce mu lahko s ˇ stevilko na skali od 0 (popolnoma v redu) do 20 (obˇ cutek, da bo ravnokar bruhal) opiˇ se, kako slabo se poˇ cuti v nekem doloˇ cenem trenutku [3]. V primerjavi s ˇ studijo Stoffregen, Fa- ugloire, Yoshida, Flanagan, and Merhi (2008) [4], kjer so udeleˇ zence spraˇ sevali le vpraˇ sanja, ki ponujajo odgovora “da” in “ne”, nam FMS omogoˇ ca subjektivno kvantizacijo udeleˇ zenˇ ceve slabosti, kar raziskavam doda doloˇ ceno preciznost. Na ta naˇ cin je moˇ zna zaznava zelo majhnih sprememb uporabnikovega obˇ cutja, ˇ cesar vpraˇ salniki z “da” in “ne” odgovori ne omogoˇ cajo, zaradi visokega ˇ stevila stopenj pa je moˇ zna zaznava nizkih sprememb poˇ cutja udeleˇ zenca. 2.2.3 VRSQ VR slabost je stranski produkt uporabe simulatorjev, kot so simulatorji voˇ znje, letenja in uporabe navidezne re- sniˇ cnosti, meˇ sane resniˇ cnosti ter obogatene resniˇ cnosti. Najbolj uveljavljen vpraˇ salnik za evalvacijo VR slabosti je SSQ (angl. Simulator Sickness Questionnaire). Za uporabo evalvacije VR slabosti v navidezni re- sniˇ cnosti smo v naˇ sem primeru uporabili prilagojeno ver- zijo SSQ – VRSQ. Na podlagi preizkusa identitetne ma- trike Kaiser-Meyer-Olkin (KMO) in preizkusa identitetne matrike Bartlett so s korelacijsko matriko ugotovili, da podatki kategorije slabost (angl. nausea) niso primerni za ocenjevanje VR slabosti v navidezni resniˇ cnosti, zato so to kategorijo v vpraˇ salniku VRSQ odstranili. Poslediˇ cno je namesto 16 opisljivih simptomov v VRSQ 9 opisljivih simptomov [5]. 2.2.4 UEQ-S Uporabili smo kratko verzijo vpraˇ salnika UEQ, ki se imenuje UEQ-S. UEQ je vpraˇ salnik, ki je bil uveden za kvantizacijo uporabniˇ ske izkuˇ snje. Ker je ta subjektivna, je uporaba vpraˇ salnikov za ta namen potrebna na visoki skupini uporabnikov oziroma na podobnih uporabnikih. Za natanˇ cnejˇ so analizo in primerjavo rezultatov med razliˇ cnimi raziskavami, je v UEQ uvedena numeriˇ cna skala od -3 do 3, kjer -3 pomeni najbolj negativno izkuˇ snjo, 3 pa najbolj pozitivno. ˇ Stevilo 0 predstavlja nevtralno izkuˇ snjo uporabnika. Za razliko od UEQ z UEQ-S ni mogoˇ ce slediti vsem ˇ sestim kategorijam vpraˇ sanj, ki jih vpeljuje UEQ, zato UEQ-S vpeljuje dve psevdo-kategoriji, imenovani pragmatiˇ cna kakovost in hedonska kakovost [6]. Pragmatiˇ cna kakovost je opravilno naravnana skala, hedonska kakovost pa se sklicuje na kakovosti, ki niso odvisne od opravljanja naloge. 2.2.5 Konˇ cni vpraˇ salnik S konˇ cnim vpraˇ salnikom smo ˇ zeleli izvedeti preference uporabnikov brez uporabe standardiziranih vpraˇ salnikov. Ob tem smo ˇ zeleli dobiti neposredno povratno infor- macijo o scenarijih, v katere smo postavili udeleˇ zence. Vpraˇ sani so bili o: • njihovem preferenˇ cnem naˇ cinu interakcije • pogreˇ sanju sledenja nog v scenarijih, ki niso omogoˇ cali sledenja nog 165 • pripravljenosti dodatnega nakupa programskega orodja in Kinect v primeru, da si ˇ ze lastijo naglavni prikazovalnik, ki ne omogoˇ ca sledenja nog • mnenju interakcije brez uporabe krmilnikov 3 Rezultati 3.1 Demografija - zaˇ cetni vpraˇ salnik Tabela 1: Odgovori zaˇ cetnega vpraˇ salnika. ˇ St. udeleˇ zenca Spol Starost videoigre (ure/teden) VR izkuˇ snje Slab vid Adrenalinski ˇ sporti 1 M 22 4 1 DA NE 2 M 21 4 2-3 NE DA 3 ˇ Z 21 10 2-3 DA NE 4 M 21 0 2-3 DA NE 5 M 21 4 2-3 NE DA 6 M 21 4 2-3 DA NE Ker so udeleˇ zenci veˇ cinoma ˇ studentje fakultete za elektrotehniko, je zastopanost obeh spolov repre- zentativna demografski sliki ˇ studijskega programa elektrotehnike na univerzitetni smeri. Prav tako je povpreˇ cna starost udeleˇ zencevx = 21,17, mediana pa je x ≈ 21, saj smo z izbiro udeleˇ zencev ˇ zeleli ˇ cim manjˇ si standardni odklon, ta je v tem primeru enakσ x = 0,41. Povpreˇ cno ˇ stevilo ur igranja videoiger udeleˇ zencev je t = 4,33hr, standardni odklon pa jeσ t = 3,20hr. Vsi udeleˇ zenci so z navidezno resniˇ cnostjo dokaj neizkuˇ seni, poizkusili so jo le med enkrat in trikrat, kar prikazuje ˇ stevilo preteklih VR izkuˇ senj v tabeli 1. Za nobenega udeleˇ zenca ta raziskava ni bila prvo sreˇ canje z navidezno resniˇ cnostjo, zato so vsi udeleˇ zenci imeli nekolikˇ sno predznanje o navidezni resniˇ cnosti in predstavo o poteku interakcije. 3.2 Rezultati FMS Slika 1: Povpreˇ cje rezultatov glede na scenarij in pov- preˇ cje rezultatov razvrˇ sˇ cenih po vrstnem redu scenarija vsakega udeleˇ zenca. Izmed treh razliˇ cnih scenarijev A, B, C je bilo njihovo zaporedje za vsakega udeleˇ zenca drugaˇ cno. Za prvega udeleˇ zenca je bil vrstni red scenarijev “ABC”, za dru- gega “BCA” itd. Na ta naˇ cin lahko povemo, da je za udeleˇ zenca 1 prvi scenarij A, za udeleˇ zenca 2 je prvi scenarij B... Tip scenarijev in sosledje scenarijev je na grafu loˇ ceno z barvo. Prvi trije stolpci na slikah 1 in 3 predstavljajo tip scenarija, druga trojica stolpcev pa predstavlja sosledje scenarijev, ki je za vsakega udeleˇ zenca drugaˇ cno. Glede na povpreˇ cne vrednosti vsakega scenarija lahko opazimo, da so spremembe FMS rezultatov za vsak scenarij v povpreˇ cju tako majhne, da scenarijev ob tako majhni testni populaciji ne moremo primerno primerjati. ˇ Ce razvrstimo rezultate FMS vpraˇ salnika po sosledju scenarijev za vse uporabnike, pa lahko opazimo, da je v povpreˇ cju v vsakem naslednjem scenariju beleˇ zena viˇ sja stopnja slabosti. 3.3 VRSQ rezultati Slika 2: Povpreˇ cje rezultatov VRSQ glede na scenarij. Na sliki 2 lahko opazimo, da imata scenarij A in scenarij C viˇ sji rezultat slabosti VRSQ, kot pa scenarij B. Slika 3: Primerjava skupnih rezultatov VRSQ glede na scenarij in glede na zaporedje scenarijev. Opazimo lahko, da se tudi v primeru uporabe vpraˇ salnika VRSQ skupni rezultat slabosti poveˇ cuje iz 166 scenarija v scenarij po njihovem vrstnem redu. Omembe vredno je tudi dejstvo, da so udeleˇ zenci beleˇ zili najviˇ sjo stopnjo slabosti po scenariju C, najniˇ zjo pa so beleˇ zili po scenariju B. 3.4 UEQ-S rezultati Rezultati so bili izraˇ cunani s pomoˇ cjo orodja Excel, v katerem je bila s strani ustvarjalcev vpraˇ salnika UEQ-S podana predloga za izraˇ cun in interpretacijo odgovorov vpraˇ salnika UEQ-S. Slika 4: Primerjava povpreˇ cja hedonske, pragmatiˇ cne in skupne kakovosti vseh scenarijev. Rezultati UEQ-S vpraˇ salnika niso presenetljivi. Inte- rakcija s krmilnimi roˇ cicami na krmilnikih je bila upo- rabnikom najmanj uporabna (pragmatiˇ cna kakovost) in najbolj dolgoˇ casna (hedonska kakovost). Presenetljivo ni tudi dejstvo, da je uporabnikom bila bolj zanimiva in- terakcija z dodanim sledenjem nog (hedonska kakovost scenarija C je viˇ sja od scenarija B), zanimivo pa je dej- stvo, da so uporabniki laˇ zje upravljali aplikacijo z inte- rakcijo, ki ni dodala navideznih sledilnikov nog. Razlog za to je najverjetneje slabo sledenje le teh. Razlika v pragmatiˇ cni kakovosti scenarija A in scenarija C je mi- nimalna. 3.5 Rezultati konˇ cnega vpraˇ salnika Tabela 2: Odgovori konˇ cnega vpraˇ salnika. ˇ st. udeleˇ zenca Najljubˇ si scenarij Najmanj ljub scenarij Interakcija brez krmil- nikov Pogreˇ sanje slede- nja nog Pripravljenost dokupa opreme 1 C A NE NE DA 2 C A DA DA DA 3 C A NE DA DA 4 C A NE DA DA 5 C A DA NE NE 6 C A DA DA DA V tabeli 2 so prikazani rezultati konˇ cnega vpraˇ salnika, ki vsebuje najljubˇ si scenarij udeleˇ zencev, njihov najmanj ljub scenarij, njihovo mnenje o interakciji brez krmilnikov, informacijo, ˇ ce so v scenarijih brez sle- denja nog le to pogreˇ sali in informacijo o pripravljenosti dokupa programskega orodja Driver4VR in rabljenega senzorja Kinect ob primerni ceni. 4 Sklep Iz konˇ cnega vpraˇ salnika, ki je to udeleˇ zence vpraˇ sal di- rektno, je bilo razvidno, da so prav vsi udeleˇ zenci naj- raje imeli interakcijo s celotelesnim sledenjem s pomoˇ cjo Kinect. Rezultat nas ne preseneˇ ca, saj ljudje ˇ ze veko- maj poskuˇ sajo pribliˇ zati igre in aplikacije na ˇ cim viˇ sjo stopnjo prisotnosti in vˇ zivetosti, dodajanje toˇ ck sledenja pravega telesa pa omogoˇ ca prav to. Vpraˇ salnik UEQ-S to le delno potrjuje. Iz razlike vrednosti hedonskih ka- kovosti UEQ-S, ki prikazuje razburljivost storitve upo- rabniku, lahko sklepamo, da so se uporabniki le nekoliko bolj zabavali kot pri interakciji z niˇ zjo stopnjo slabosti. Do kontrasta pa pride ob rezultatu pragmatiˇ cne kakovosti vpraˇ salnika UEQ-S, ki sporoˇ ca, da so se uporabniki ve- liko laˇ zje znaˇ sli v okolju brez uporabe navideznih sledil- nikov nog. Razlog za to, je najverjetneje slaba kalibracija in omejitve sledenja s senzorjem Kinect in uporabljenim programskim orodjem Driver4VR. Udeleˇ zenci so ˇ cutili manjˇ so stopnjo slabosti pri sce- nariju brez dodatnega sledenja nog, kot pri scenariju s sle- denjem nog. Kljub veˇ cji slabosti so uporabniki raje imeli naˇ cin interakcije s celotelesnim sledenjem. Pomembno je omeniti, da je na slabost udeleˇ zencev v naˇ si raziskavi bolj vplivalo kako so si scenariji sledili, kot pa scenariji sami, saj so udeleˇ zenci v vsakem naslednjem scenariju oznaˇ cili viˇ sje stopnje slabosti kot v prejˇ snjem - dlje je bil udeleˇ zenec izpostavljen VR okolju, veˇ cjo slabost smo zabeleˇ zili. Literatura [1] “AR/VR Headset Shipments Grew Dramatically in 2021, Thanks Largely to Meta’s Strong Quest 2 V olumes, with Growth Forecast to Continue, According to IDC.” [2] “Latin Squares - Williams Design.” [3] B. Keshavarz in H. Hecht, “Validating an Efficient Method to Quantify Motion Sickness,” Human factors, vol. 53, str. 415–26, avg. 2011. [4] T. A. Stoffregen, E. Faugloire, K. Yoshida, M. B. Flanagan in O. Merhi, “Motion sickness and postural sway in console video games,” Human Factors, vol. 50, no. 2, str. 322–331, 2008. Place: US Publisher: Human Factors & Ergonomics Society. [5] H. K. Kim, J. Park, Y . Choi in M. Choe, “Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment,” Applied Ergonomics, vol. 69, str. 66– 73, maj 2018. [6] D. M. Schrepp, “User Experience Questionnaire Handbook,” str. 15.