ERK'2020, Portorož, 284-287 284 Uporaba prostorskega zvoka v avtomatiziranih vozilih Harsh Sanghavi 1 , Kristina Stojmenova 2 , Chihab Nadri 1 , Sangjin Ko 1 , Myounghoon Jeon 1 , Jaka Sodnik 2 1 Mind Music Machine Lab, Department of Industrial and Systems Engineering, Virginia Tech, Blacksburg, Virginia 2 Fakulteta za elektrotehniko, Univerza v Ljubljani, Slovenija E-pošta: harshks@vt.edu, kristina.stojmenova@fe.uni-lj.si, cnadri@vt.edu, sangjinko@vt.edu, myounghoonjeon@vt.edu, jaka.sodnik@fe.uni-lj.si Abstract. This study explores the use of spatial sound displays for communicating takeover requests in automated vehicles with lower levels of autonomy. It compares two directional sounds (from a free lane and from a lane with a hazard) with a traditional non- directional auditory display, which plays the sound from the center of the vehicle. The study was conducted in a motion-based driving simulator in two locations – Slovenia and Virginia. All participants were engaged in four 9-minute driving tasks in level-3 automated vehicle. Each driving session contained three hazardous events with takeover request (in total 12 requests per user). The results showed shorter reaction times for the directional sound displays compared to the non- directional sound display. Regardless of the sound display, the participants in Slovenia had statistically significantly shorter reaction times compared to participants in Virginia. 1 Uvod Tehnologija avtonomnih vozil je v zadnjem desetletju prevzela osrednjo vlogo v avtomobilskih raziskavah. Razlog za veliko zanimanje za to področje so nedvomno vse predvidene prednosti in varnostne lastnosti, ki naj bi jih avtonomna vozila imela v primerjavi z današnjimi vozili z ročnim upravljanjem. Številne študije so navedle človeški dejavnik kot glavni vzrok prometnih nesreč in sicer v skoraj 95% raziskovanih primerov [1- 3], kar upravičuje potrebo po zmanjšanju in sčasoma odpravi človeškega nadzora nad vozilom. Medtem ko je treba popolnoma avtonomno vozilo (stopnja SAE 5 [4]) še razviti, so polavtomatska vozila že na voljo, njihove stopnje avtonomnosti pa vztrajno naraščajo. Takšna vozila pa kljub neprimerno večji varnosti od vozil z ročnim upravljanjem še vedno zahtevajo prisotnost in pozornost voznika v posebnih voznih situacijah. Zelo pomembno je, da vozniku v takšnih primerih zagotovijo varen in hiter prehod iz avtonomnega v ročni način, kar je tudi osrednja problematika in motivacija te raziskave. Na tem področju je bilo izvedenih že veliko raziskav, ki so se osredotočile predvsem na sposobnost voznika za prevzem kontrole ob sproženi zahtevi [5-9]. V tej študiji preučujemo možnosti uporabe prostorskega zvoka, kot opozorila vozniku za prevzem kontrole polavtomatskega vozila in ga primerjamo z najpogosteje uporabljenimi neprostorskimi zvočnimi obvestili. 2 Uporaba zvočnih obvestil za prevzem kontrole nad vozilom Raziskave so pokazale, da lahko uporaba ustreznega prostorskega (lokaliziranega) zvoka izboljša odzivanje na ciljne dogodke voznika ali pešcev na cesti [10], [11]. Uporaba prostorskih opozorilnih zvočnih signalov za nevarnost trka je pokazala, da je prepoznavanje zvočnih opozoril pred nevarnostjo s sprednje in zadnje strani vozila učinkovitejše od taktilnih opozoril in omogoča signifikantno krajše odzivne čase na dogodke [10]. Podrobnejši pregled uporabe prostorskih zvočnih opozoril je pokazal tudi, kako pomembna so taka opozorila pri informiranju o lokaciji določene nevarnosti in preusmerjanju pozornosti na določeno smer [12]. Raziskave zvočne percepcije pešcev so prav tako pokazale pozitivne učinke uporaba prostorskega zvoka, saj so le-ti zaznali smer prometa s hitrostjo večjo od 19 km/h (12 milj/h) s približno 90-odstotno natančnostjo, kar kaže na pomembnost lokalizirane zvočne informacije [11]. Uporaba usmerjenih zvočnih opozoril pri voznikih v križišču je prav tako pokazala pozitivne učinke, saj se je znatno zmanjšal čas do začetka zaviranja voznikov in tako tudi čas za upočasnitev vozila [12]. Poleg tega so raziskave z uporabo smernosti in modalnosti zvoka pokazale, da so prostorsko usmerjeni zvočni signali, ki nakazujejo smer nevarnosti bistveno izboljšali odzivanje voznikov v primerjavi z neusmerjenimi prikazi, pri čemer je najboljše rezultate dosegel hibridni vizualno- zvočni opozorilni sistem [13]. Marshall in drugi [14] so opozorili tudi na to, da lastnosti zvoka, kot sta glasnost in uporaba visokih tonov s svojo nadležnostjo lahko pomembno vplivajo na zaznano nujnost neke kritične situacije. Navajajo tudi, da ljudje zelo glasne in visoke tone ocenjujejo kot ustreznejše, hkrati pa tudi zelo moteče. Zvočna opozorila z visoko stopnjo nujnosti lahko voznikom pomagajo, da se učinkoviteje odzovejo [15]. Študije so tudi pokazale, da se ljudje hitreje odzovejo na zvočna opozorila, če zvenijo nujno [16], [17]. Pomembna lastnost zvočnega opozorila je tudi njegova intuitivnost, kar pomeni zmožnost prepoznavanja pomena v skladu z uporabnikovimi pričakovanji, predznanjem in splošnim mentalnim modelom [18]. 285 Pozitivni rezultati uporabe prostorskih zvokov v informacijskih sistemih v vozilih so motivirali zasnovo naše študije, ki se je osredotočila na raziskovanje glavnih prednosti in pomanjkljivosti usmerjenih informacij v zvočnih zaslonih za sporočanje zahtev po prevzemu kontrole nad vozilom. Nadalje smo raziskali tudi kulturni vpliv na prevzem kontrole nad vozilom in način uporabe polavtomatskih vozil. Ker je trenutno v ZDA splošno višja stopnja sprejemanja takšnih polavtomatskih vozil v primerjavi z Evropo, smo se odločili za izvedbo enake študije v Virginiji (ZDA) in Sloveniji ter tako primerjali rezultate o vozniških lastnostih na obeh lokacijah. 3 Metodologija Poskus je bil izveden na simulatorju vožnje podjetja Nervtech [19]. Sestavljen je iz dirkalnega avtomobilskega sedeža, volanskega sistema s pravim volanom in športnih stopalk. Prometni simulacijski scenarij je bil prikazan na treh 48-palnih zaslonih, ki so omogočali 120° vodoravnega vidnega polja. Vozni scenariji so vključevali vožnjo po tripasovni avtocesti, kjer je bila omejitev hitrosti 110 km/h (oziroma 70 milj/h v Virginiji). Vidnost na cesti se je s pomočjo megle znižala na približno 100 metrov (slika 1). Slika 1. Zmanjšana vidljivost z uporabo megle. Za študijo je bila uporabljena simulacija avtomatiziranega vozila s 3. stopnjo avtonomnosti po SAE [4]. Avtomatski sistem vožnje (ADS) je bil vključen ves čas, razen v nepričakovanih situacijah (na primer prometna nesreča, divjad na cesti, gradbena dela itd.). Ko je bil ADS vklopljen, je vozilo vedno vozilo po srednjem pasu s konstantno hitrostjo 110 km/h. Testiranci so lahko sistem ADS kadar koli izklopili in ponovno vklopili s preprostim potegom leve ročice na volanu. Nepričakovana situacija je vedno povzročila zaporo dveh od treh voznih pasov (srednjega in levega ali desnega pasu), tako da je moral voznik zamenjati vozni pasu ali zavirati in tako ustaviti vozilo, da bi se izognil nesreči. V študiji je sodelovalo 72 udeležencev - 36 v Sloveniji in 36 v Virginiji. Udeleženci so bili razdeljeni v 3 skupine, od česar je 24 udeležencev študijo zaključilo z neusmerjenim zvočnim zaslonom, 24 z zaslonom, ki je oddajal zvok iz smeri voznega pasu, kjer se je nahajala ovira in 24 z zaslonom, ki je oddajal zvok iz smeri prostega voznega pasu. V študiji so sodelovali izključno udeleženci z veljavnimi vozniškimi dovoljenji. Nihče od udeležencev ni imel težav s sluhom. Poskus je vključeval ogrevalno vožnjo in štiri 9-minutne preizkuse. Ogrevalna vožnja je trajala približno 3 minute in je bila namenjena udeležencem, da se seznanijo s simulatorjem vožnje, sistemom ADS, zvočnim zaslonom in igrico 2048. Igrica 2048 je bila namenjena odvračanju pozornosti s ceste v času, ko je bil vklopljen ADS sistem. Udeleženci so igrali 2048 na tabličnem računalniku, ki so ga v času ročnega upravljanja vozila enostavno odložili v naročje ali na naslonjalo za roke v vozilu. V vsakem od štirih preizkusov so bili udeleženci izpostavljeni trem kritičnim situacijam, v katerih so morali prevzeti nadzor nad vozilom. Čas dogodka in lokacija prostega pasu sta bila naključno izbrana, da bi se poskušali izogniti učinkom učenja (ang. learning effect) in predvidevanja (ang. anticipation effect). Ker je imelo vozilo visoko stopnjo avtomatizacije, so morali udeleženci prevzeti kontrolo nad vozilom le v primeru onemogočene avtomatizacije vozila zaradi nepričakovane situacije ali ovire. Ko se je pojavila ovira, je voznik prejel zahtevo s pomočjo zvočnega opozorila (prikaza). V raziskavi so bili uporabljeni trije tipi zvočnih opozoril za prevzem kontrole: en neusmerjen in dva usmerjena zvoka. Neprostorski oz. neusmerjen zaslon je predvajal zvočno obvestilo z sredine vozila. Za preskuse z usmerjenim zvokom smo uporabili kongruentna in inkongruentna obvestila - zvoke iz smeri voznega pasu z oviro ali zvoke iz smeri prostega pasu. Zvočno opozorilo je bilo sestavljeno iz dveh prevladujočih frekvenc (880, 1760 Hz), ki sta se štirikrat ponovili. Opozorilni zvok se je predvajal z intenziteto 65 dB, zvok okolice pa s 60 dB. Po predvajanju zahteve za prevzem je avtonomno vozilo prešlo v neavtonomni način. To je vozniku omogočilo nadzor nad vozilom. Pri ročnem upravljanju je vozilo imelo sistem avtomatskega menjalnika. 4 Rezultati študije Leveneov test je bil uporabljen za oceno enakosti odstopanj, test Shapiro-Wilk pa za oceno normalne porazdelitve vsake skupine podatkov. Na podlagi teh rezultatov so bili za analizo podatkov uporabljeni ustrezni parametrični in neparametrični testi. Analiza je pokazala ugodnejše rezultate ob uporabi usmerjenih zvočnih obvestil v primerjavi z neusmerjenim zvokom. Reakcijski časi so bili najkrajši za prostorski zvok, ki se je predvajal s smeri voznega pasu z oviro (M = 1950,1 ms, SD = 1004,66 ms), sledil mu je neprostorski zvok (M = 2068,98 ms, SD = 1101,52 ms), medtem ko so bili za usmerjen zvok iz prostega voznega pasu najdaljši reakcijski časi (M = 286 2133,90 ms, SD = 1095,87 ms). Razlike v primerjanih povprečnih reakcijskih časih za različne vrste zaslonov (prostorski v primerjavo z neprostorskim) niso bile statistično pomembne F (2, 819) = 2,002, p = 0,136 (slika 2). Slika 2. Povprečni reakcijski časi na različne opozorilne zvoke ob zahtevi po prevzemu kontrole nad vozilom Analiza za Slovenijo je pokazala, da je za usmerjene zvoke statistično pomembno zmanjšanje povprečnih reakcijskih časov (povprečje vseh reakcij iz obeh usmerjenih zaslonov) (M = 1648,42 ms, SD = 853,63 ms) v primerjavi z neusmerjenimi zvoki (M = 1902,18 ms, SD = 815,69 ms), F (1, 395) = 7,851, p = 0,005. Kljub temu, da je bil za Virginio trend podoben slovenskemu, so rezultati iz Virginije pokazali, da ni bilo statistično pomembnih razlik v povprečnem reakcijskem času med neusmerjenim zvokom (M = 222,29 ms, SD = 1292,42 ms) in usmerjenimi zvoki (M = 2419,05 ms, SD = 1163,95 ms), F (1, 423) = 2.543, p = 0,112. Pri 88,3 % udeležencev je bila prva reakcija zaviranje v primerjavi z le 11,7 % udeležencev, ki so odreagirali z vrtenjem volana. Podrobnejši pregled podatkov za različne lokacije je pokazal, da je v Sloveniji 76,6 % udeležencev ob zvočnem opozorilu najprej zaviralo, 23,4 % pa jih je zavrtelo volan. Zanimivo so v Virginiji prav vsi udeleženci najprej zavirali. Poleg tega so imeli udeleženci v Sloveniji neglede na tip zvočnega opozorila statistično bistveno krajše reakcijske čase v primerjavi z udeleženci v Virginiji, F(2, 816) = 7,053, p = 0,001. (slika 3). Post-hoc rezultati so pokazali, da so: - udeleženci v Sloveniji imeli krajše reakcijske čase (M = 1902,18 ms, SD = 92,42 ms) na neusmerjene v primerjavi z udeleženci v Virginiji (M = 2220,29 ms, SD = 88,02 ms), p = 0,011; - udeleženci v Sloveniji imeli krajši reakcijski čas (M = 1651,69 ms, SD = 92,05 ms) tudi na usmerjen zvok iz smeri voznega pasu z oviro v primerjavi z udeleženci v Virginiji (M = 2217,2 ms, SD = 87,09 ms), p < 0,001; - udeleženci v Sloveniji imeli krajši reakcijski čas (M = 1645,47 ms, SD = 87,4 ms) za usmerjen zvočni prikaz iz smeri prostega pasu v primerjavi z Virginijo (M = 2622,32 ms, SD = 87,4 ms), p = 0,001. Slika 3. Povprečni reakcijski časi različnih zvokov v Sloveniji in Virginiji. 5 Zaključki V študiji smo za potrebe načrtovanja boljših zaslonov in zvočnih obvestil za prevzem kontrole nad vozilom v avtomatiziranih vozilih ocenjevali tipe prostorskih zvočnih opozoril. Rezultati študije so pokazali, da so usmerjeni zvoki izzvali hitrejše reakcijske čase v primerjavi z neusmerjenim zvokom. Ko smo opazovali razlike v reakcijskih časih med obema usmerjenima prostorskima zvokoma, razlik nismo našli. Ne glede na zvočni signal so imeli udeleženci v Sloveniji statistično bistveno krajše reakcijske čase v primerjavi z udeleženci v Virginiji. Opazna razlika je bila tudi pri načinu prevzema kontrole nad vozilom. Med tem je ko vsak četrti voznik v Sloveniji najprej prijel za volan in zamenjal pas, so se vsi testirani vozniki v Virginiji vsakič odzvali na opozorilo le z zaviranjem. Te razlike med obema opazovanima mestoma kažejo, da kulturni dejavnik pomembno prispeva k voznikovemu vedenju v polavtomatskih vozilih. To kaže, da bi moralo prepoznavanje takšnih kulturno odvisnih razlik v vozniškem vedenju igrati pomembno vlogo v procesu načrtovanja polavtomatskih vozil za njihovo varno uporabo v različnih mestih po svetu. Zahvala To raziskavo je finančno podprla Slovenska raziskovalna agencija v okviru raziskovalnega programa »ICT4QoL - informacijske in komunikacijske tehnologije za kakovost življenja«, št. P2-0246 in bilateralnega raziskovalnega projekta »Vpliv kulturnih razlik v modeliranju vedenja voznikov: Vloga voznika 287 pri različnih stopnjah avtomatizacije vozil v ZDA in Sloveniji.«, št. BI-US/19-21-008. Literatura [1] Boyce, T.E. and E.S. Geller. An instrumented vehicle assessment of problem behavior and driving style: Do younger males really take more risks? Accident Analysis & Prevention, 2002. 34(1): str. 51-64. [2] Smith, B.W. Human Error as a Cause of Vehicle Crashes. 2013; Dostopno na: http://cyberlaw.stanford.edu/blog/2013/12/human-error- cause-vehicle-crashes. [3] Sabey, B.E. and H. Taylor, The Known Risks We Run: The Highway, in Societal Risk Assessment, R.C. Schwing and W.A. Albers, Editors. 1980, Springer: Boston, MA. [4] SAE International. SAE J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems. 2014. Dostopno na: http://standards.sae.org/j3016_201401/. [5] N. Merat, A. H. Jamson, F. C. H. Lai, and O. Carsten, “Highly automated driving, secondary task performance, and driver state,” Hum. Factors, vol. 54, št.. 5, str. 762– 771, Oct. 2012. [6] C. Gold, D. Damböck, L. Lorenz, and K. Bengler, “‘Take over!’ How long does it take to get the driver back into the loop?,” Proc. Hum. Factors Ergon. Soc. Annu. Meet., vol. 57, št. 1, str. 1938–1942, Sep. 2013. [7] K. Zeeb, A. Buchner, and M. Schrauf, “What determines the take-over time? An integrated model approach of driver take-over after automated driving,” Accid. Anal. Prev., vol. 78, str. 212–221, 2015. [8] V. Melcher, S. Rauh, F. Diederichs, H. Widlroither, and W. Bauer, “Take-Over Requests for Automated Driving,” Procedia Manuf., vol. 3, str. 2867–2873, 2015. [9] D.-I. D. Damböck, D.-I. M. Farid, D.-S. L. Tönert, and K. Beng-Ler, “Übernahmezeiten beim hochautomatisierten Fahren.” [10] C. Ho, H. Z. Tan, and C. Spence, “The differential effect of vibrotactile and auditory cues on visual spatial attention,” Ergonomics, vol. 49, št. 7, str. 724–738, Jun. 2006. [11] B. K. Barton, T. A. Ulrich, and R. Lew, “Auditory detection and localization of approaching vehicles,” Accid. Anal. Prev., vol. 49, str. 347–353, Nov. 2012. [12] C. Ho and C. Spence, “Assessing the effectiveness of various auditory cues in capturing a driver’s visual attention,” J. Exp. Psychol. Appl., vol. 11, št. 3, str. 157– 174, Sep. 2005. [13] Y. Zhang, X. Yan, and Z. Yang, “Discrimination of Effects between Directional and Nondirectional Information of Auditory Warning on Driving Behavior,” Discret. Dyn. Nat. Soc., vol. 2015, str. 1–7, Mar. 2015. [14] Y. C. Liu and J. W. Jhuang, “Effects of in-vehicle warning information displays with or without spatial compatibility on driving behaviors and response performance,” Appl. Ergon., vol. 43, št. 4, str. 679–686, 2012. [15] D. C. Marshall, J. D. Lee, and P. A. Austria, “Alerts for In-Vehicle Information Systems: Annoyance, Urgency, and Appropriateness,” Hum. Factors J. Hum. Factors Ergon. Soc., vol. 49, št. 1, str. 145–157, 2007. [16] J. L. Burt, D. S. Bartolome, D. W. Burdette, and J. R. Comstock, “A psychophysiological evaluation of the perceived urgency of auditory warning signals,” Ergonomics, vol. 38, št. 11, str. 2327–2340, 1995. [17] E. C. Haas and J. G. Casali, “Perceived urgency of and response time to multi-tone and frequency-modulated warning signals in broadband noise,” Ergonomics, vol. 38, št. 11, str. 2313–2326, 1995. [18] S. Garzonis, S. Jones, T. Jay, and E. O’Neill, “Auditory icon and earcon mobile service notifications,” 2009, str. 1513. [19] Vengust, M., Kaluža, B., Stojmenova, K. and Sodnik, J. NERVteh Compact Motion Based Driving Simulator. In Proceedings of the 9th International Conference on Automotive User Interfaces and Interactive Vehicular Applications Adjunct, 2017, str. 242-243. ACM.