Možnost uporabe signalov EEG v vmesniku možgani-računalnik A possible use of EEG signals in a brain-computer interface Vito Logar, aleš Belič Univerza v Ljubljani, Fakulteta za elektrotehniko, Ljubljana Korespondenca/ Correspondence: Vito Logar, Fakulteta za elektrotehniko, tržaska 25, 1000 Ljubljana, Slovenija telefon: +386 1 4768 278 Fax: +386 1 4264 631 e-mail naslov: vito. logar@fe.uni-lj.si Ključne besede: elektroencefalografija, dekodiranje informacij, mehko modeliranje, napoved premikov zapestja, vmesnik možgani-računalnik Key words: brain-computer interface, electroencephalography, fuzzy logic, information decoding, wrist-movement prediction Citirajte kot/Cite as: Zdrav Vestn 2011; 80: 92-7 Prispelo: 15. mar. 2010, Sprejeto: 17. sept. 2010 Izvleček Izhodišča: Novejša dognanja s področja kodiranja in prenosa možganskih informacij razkrivajo, da naj bi se informacije med posameznimi možganskimi centri izmenjevale kot fazno kodirana vsebina. Glede na informacijsko bogatost elektro-encefalografskih (EEG) signalov lahko sklepamo, da je v primeru izbire prave metodologije za obdelavo signalov mogoče te informacije tudi (delno) razbrati. V članku želimo pokazati, da je mogoče s pristopom fazne demodulacije zadovoljivo deko-dirati informacije o premikih zapestja pri izvajanju dinamičnih vidno-motoričnih (dVM) nalog. Ker predstavljena metodologija omogoča tudi obdelavo signalov v realnem času, jo lahko uporabimo tudi v vmesnikih možgani-računalnik. Metode: Za namen študije smo izvedli meritve signalov EEG ter premikov zapestja na štirih preiskovancih pri izvajanju dVM nalog. Za dekodi-ranje informacije o premikih zapestja, ki naj bi jo nosili signali EEG, smo uporabili metode filtriranja možganskih ritmov, fazne demodulacije ter analize glavnih komponent signalov EEG. Napo-vedni model premikov zapestja smo zgradili s pomočjo mehkega inferenčnega sistema. Rezultati: Rezultati prikazujejo, da je mogoče z uporabo predlaganih metod obdelave signalov ter z mehkim napovednim modelom zadovoljivo de-kodirati informacijo o premikih zapestja zgolj z uporabo signalov EEG, kar dokazujejo tudi sorazmerno visoke vrednosti korelacijskih koeficientov med izmerjenimi in napovedanimi premiki. Zaključki: Študija je pokazala, da so sorazmerno enostavne metode obdelave signalov v povezavi z mehkim modelom uporabne za uspešno dekodiranje koda informacij, ki ga predvidoma nosi signal EEG. Predstavljena metodologija je uporabna tudi za obdelavo signalov v realnem času ter s tem za razvoj zaprtozančnega, neinvazivne-ga vmesnika možgani-računalnik. Abstract Background: Newest insights in the field of brain-information coding suggest that the information is transferred between the active regions of the brain as a phase-coded content. Considering the informational richness of the electroencephalographic (EEG) signals, we can assume that by using appropriate methods of signal processing it is possible to decode some of this information. The authors would like to show that using a phase-demodulation approach it is possible to successfully decode the information about the wrist movements of a complex dynamic visuo-motor task (dVM). Since the causality of the methodology is assured, it is also usable for the development of a brain-computer interface (BCI). Methods: In this study we measured the EEG signals from four subjects while performing a dynamic visuo-motor task. For decoding the information, which is supposedly carried by the EEG signals we used brain-rhythm filtering, phase demodulation and principal component analysis approach. As a prediction model for wrist movements, fuzzy inference model was used. Results: The presented results show that the EEG signals measured during the performance of dVM tasks carry enough information about the current action for satisfactory decoding and prediction of the wrist movements. Successful estimation of the motor action is proved also by obtaining reasonably high values of the correlation coefficients. Conclusions: The study has shown that using the proposed methodology it is possible to decode the EEG information of the wrist movements during dVM tasks. The study has also shown that these relatively simple methods of signal processing and a fuzzy model are applicable to the development of a closed-loop, non-invasive BCI. Slika i: DVM naLoga; zgornji krožec in debelejša črta predstavljata želen odmik igralne palice (zapestja), spodnji krožec in tanjša črta pa dejanskega. 1. Uvod Članek predstavlja enega izmed možnih pristopov k identifikaciji koda možganskih informacij med preiskovančevim izvajanjem dinamičnih vidno-motoričnih nalog (dVM). Namen študije je zgraditi matematični model, ki bi bil s pomočjo izmerjenih signalov EEG zmožen napovedati premike zapestja, kot so jih podajali preiskovanci med izvajanjem dVM nalog. Nadalje želimo pokazati, da je mogoče prestavljeno metodologijo uporabiti tudi za razvoj neinvaziv-nega vmesnika možgani-računalnik. Metodologija, uporabljena v tem delu, izkorišča metode obdelave signalov, ki temeljijo na novejših odkritjih s področja kodiranja možganskih informacij in so se v preteklosti že izkazale kot uporabne pri de-kodiranju informacij klasičnih vidno-moto-ričnih nalog (VM).!'^ Znano je, da delovanje možganov temelji na več mehanizmih, kot npr. na oscilatornih aktivnostih in možganskih ritmih,^'^ povezovanju in paralelni obdelavi informacij^'® ter faznemu kodiranju vsebin.7'8 Glede na omenjene mehanizme smo se odločili, da za metode obdelave signalov izberemo kombinacijo filtriranja možganskih ritmov, fazne demodulacije in analize glavnih komponent. Uporabljena dinamična vidno-motorič-na naloga v možganih izzove aktivacijo raz- ličnih področij možganske skorje, predvsem vidnih in motoričnih, ter načrtovanje t. i . motoričnega programa. Sklepamo lahko, da je takšna naloga primerna za namen študije, saj je verjetno, da bo prenašana informacija o motorični akciji dostopna preko meritev možganske aktivnosti - elektroencefalo-grafije. Namen uporabe dVM naloge je pokazati, da je predstavljena metodologija^ z nekaterimi modifikacijami, primerna tudi za obdelavo signalov kompleksnejših motoričnih nalog, ki predvidoma izzovejo bolj zapletene možganske procese in preprečujejo proces učenja. S predstavljeno študijo želimo predstaviti matematični model, osnovan na preprostih metodah filtriranja možganskih ritmov, načelu fazne demodulacije, analize glavnih komponent ter mehkega napovednega modela, ki s pomočjo signalov EEG, izmerjenih med izvajanjem dVM nalog, uspešno napoveduje preiskovančeve premike zapestja. Z vrednotenjem predstavljene metodologije je predstavljen tudi eden izmed možnih pristopov k razvoju neinvazivnega, realnoča-sovnega vmesnika možgani-računalnik. 2. Metode 2.1 Preiskovanci in potek meritev Za namen študije smo uporabili podatke EEG, izmerjene na štirih desnoročnih moških, starih 24, 27, 32 in 37 let. Meritve EEG so bile izvedene v temni, zvočno in elektromagnetno zaščiteni sobi. Preiskovanci so bili nameščeni na stol z nožnimi in ročnimi oporami. Naloge so bile prikazane na zaslonu, ki je bil nameščen približno 80 cm pred preiskovancem. Sočasno z meritvami EEG smo zajemali tudi informacijo o premikih zapestja preko igralne palice. Igralna palica je bila nameščena na mizi pred preiskovancem v položaju sproščene preiskovančeve roke. Naloge so preiskovanci izvajali z desno roko. 2.2 Meritve premikov zapestja in EEG Med izvajanjem dVM nalog smo opravili dva tipa meritev, t.j. meritve signalov EEG in premikov zapestja. Za zajem podatkov EEG pasovni fiLter beta (12-16 Hz) fazna demoduLacija 14 Hz PCA 1 EEG signaLi ritmi beta fazno-demoduLirani signaLi gLavne komponente pasovni filter beta (16-20 Hz) fazna demoduLacija 18 Hz PCA 2 premiki zapestja 1 mehki modeL J Slika 2: Shematska predstavitev obdeLave EEG signalov. smo uporabili EEG-napravo BrainAmp Professional MR (Brain Products GmbH, München, Nemčija) s standardno 10-20 namestitvijo elektrod. Signali elektrod so bili referencirani glede na skupno povprečno referenco (angl. common average reference). Izmerjeni signali EEG so bili neposredno filtrirani s pasovnima filtroma, ki odstranita frekvence, nižje od 0,15 Hz ter višje od 100 Hz. Signali so bili vzorčeni s frekvenco 512 Hz. Impedanco elektrod smo vzdrževali pod 5 kn. Za zajem premikov zapestja smo uporabili igralno palico, povezano z osebnim računalnikom preko povezave USB. Signal premikov smo zajeli s pomočjo programske opreme Matlab 7.04 s frekvenco vzorčenja 50 Hz. Meritve signalov EEG in premikov zapestja smo medsebojno sinhronizirali. 2.3 Dinamična vidno-motorična naloga Dinamična vidno-motorična naloga spada v sklop vidno-motoričnih nalog in od preiskovanca zahteva opazovanje naključno generiranega zveznega signala na zaslonu ter njegovo sledenje s premikanjem igralne palice (naprej in nazaj). Pri tem lahko preiskovanec vidi le krožca v sredini zaslona, ki predstavljata želen in dejanski odmik palice, ne pa tudi celotne krivulje sledenja, kar prikazuje Slika 1. Namen opisanega je, da preiskovancu onemogočimo napoved poteka signala vnaprej. Največja frekvenca signala je bila 0,15 Hz. Vsaka naloga je bila razdeljena v 10 ponovitvenih sklopov, pri čemer je bil vsak sklop sestavljen iz 30-sekundnega obdobja aktivnosti oz. sledenja krivulje ter 30-sekundnega obdobja počitka oz. mirovanja. 2.4 Obdelava signalov in napovedni model V iskanju optimalne metodologije, ki zadovoljivo odkodira iskano informacijo, smo preizkusili nemalo kombinacij metod obdelave signalov, napovednih modelov ter parametrov. Študija je pokazala, da je za najugodnejšo napoved premikov zapestja pri vseh preiskovancih potreben naslednji sklop: podvajanje signalov EEG ter filtriranje frekvenčnega področja beta vsakega izmed sklopov (intervala filtriranja približno 12-16 Hz ter 16-20 Hz), uporaba metode fazne de-modulacije z dvema različnima frekvencama nosilnega vala (približno 14 in 18 Hz) ter uporaba analize glavnih komponent za vsak sklop signalov EEG. Shematsko lahko postopek obdelave signalov prikažemo na Sliki 2. Po obdelavi obeh sklopov signalov EEG jih uporabimo za učenje ter ovrednotenje mehkega inferenčnega modela, ki služi kot napovedni model premikov zapestja (izhod iz modela) z uporabo signalov EEG (vhodi v model). Podoben pristop se je izkazal kot uspešen pri preučevanju kodiranja informacij klasičnih vidno-motoričnih nalog,i hkrati pa podpira teorijo pomembnosti možganskih ritmov pri motorični organizaciji^'i® ter teorijo faznega kodiranja informacij.^ Procesiranje podatkov in mehko identifikacijo smo izvedli s pomočjo programske opreme Matlab 7.04. 2.5 Vmesnik možgani-računalnik Vmesnik možgani-računalnik lahko opredelimo kot sistem, ki s pomočjo meritev možganskega delovanja preko programske in strojne opreme izvaja neko vnaprej določeno Slika 3: Algoritem vmesnika možgani-računalnik. obdobje mirovanja novi EEG filter beta, demoduLacija, izračun matrike PCA učenje mehkega modela obdobje aktivnosti PCA mehki model filter beta, demodulacija, uporaba matrike PCA validacija mehkega modela premiki zapestja —>■ akcijo.ii'i2 Vmesnik, kot smo si ga zamislili, uporablja algoritem, predstavljen na Sliki 3. Kot prikazuje Slika 3, je glavni del obdelave signalov in učenja modela vezan na obdobje mirovanja (počitek med posameznimi nalogami aktivnosti). Signale EEG in premike zapestja, ki smo jih posneli v predhodnem obdobju aktivnosti, v obdobju mirovanja obdelamo v skladu z opisano metodologijo in jih uporabimo za učenje mehkega modela. V naslednjem obdobju aktivnosti uporabimo predhodno pridobljene parametre metod (transformacijska matrika PCA) in naučeni mehki model ter z novo izmerjenimi signali EEG napovemo prihajajoče premike zapestja. Nato uporabimo signale EEG, izmerjene v obdobju aktivnosti, in jih v prihajajočem obdobju mirovanja uporabimo za pridobitev novih parametrov metod in ponovno učenje mehkega modela. Algoritem se na ta način ponavlja do konca dVM naloge. 3. Rezultati V nadaljevanju so zbrani rezultati, pridobljeni s pomočjo podatkov EEG, opisane metodologije in mehkega napovednega modela pri izvajanju dinamičnih vidno-moto-ričnih nalog. Na vseh slikah tanjša črta predstavlja izmerjeni premik zapestja preko igralne palice, debelejša pa napoved premika zapestja, pridobljenega s pomočjo predstavljenega pristopa. Za oceno uspešnosti napovedi premikov v primerjavi z merjenimi premiki smo izračunali korelacijski koeficient (Xc), ki je podan pod vsako pripadajočo sliko. Slike 4 do 7 predstavljajo napovedi premikov mehkega modela pri vseh štirih preiskovancih za štiri različne odseke aktivnosti. Signali, ki so bili uporabljeni za ovredno- tenje metodologije oz. napoved premikov, niso bili del učnih signalov. Kot je razvidno s slik 4 do 7, mehki model z uporabo primerno obdelanih signalov EEG zadovoljivo napove premike zapestja za vse štiri preiskovance pri vseh odsekih aktivnosti, kar potrjujejo tudi sorazmerno visoke vrednosti korelacijskih koeficientov (Xc). Sklepamo lahko, da je iskana informacija tako v periodi učenja kot tudi v periodi napovedovanja kodirana na podoben način. Metode filtriranja možganskih ritmov, fazne demodulacije ter analize glavnih komponent v povezavi z mehkim napovednim modelom dajejo relativno dobre rezultate in so s tega vidika povsem primerne za dekodira-nje informacij o premikih zapestja pri izvajanju dinamičnih vidno-motoričnih nalog. 4. Razpravljanje Delo predstavlja enega izmed možnih pristopov k identifikaciji koda možganskih informacij pri kompleksnejši, dinamični vi-dno-motorični nalogi. Prikazani rezultati so pokazali, da je mogoče predvideti preiskovančeve premike zapestja iz signalov EEG s primerno predobdelavo signalov in mehkega modela. Uporabljene metode so filtriranje frekvenčnega območja ritmov beta, fazna demodulacija s frekvenco nosilnega vala v beta-frekvenčnem območju ter analiza glavnih komponent signalov EEG. Metode, podobne predstavljenim, so se že izkazale kot uporabne pri iskanju koda informacij klasičnih vidno-motoričnih nalog,1 v tem delu pa smo pokazali, da so v nekoliko dopolnjeni verziji uporabne tudi za obdelavo podatkov bolj kompleksnih dinamičnih vidno-moto-ričnih nalog. Predstavljeni pristop bi lahko uporabili tudi v realnočasovnem vmesniku Slika 4: Napoved premikov zapestja dinamične vidno-motorične naLoge za osebo 1 pri štirih odsekih aktivnosti. tanjša črta: izmerjeni premiki; debelejša črta: napoved premikov. Povprečni korelacijski koeficient Xc = 0,76. Slika 5: napoved premikov zapestja dinamične vidno-motorične naloge za osebo 2 pri štirih odsekih aktivnosti. tanjša črta: izmerjeni premiki; debelejša črta: napoved premikov. Povprečni korelacijski koeficient Xc = 0,70. možgani-računalnik, saj smo s primernim algoritmom dosegli zmožnost realnočasov-ne obdelave podatkov. Spremembe v metodologiji, ki so potrebne za uspešno obdelavo podatkov kompleksnejše motorične naloge, zajemajo podvajanje izmerjenih signalov EEG in nadaljnjo obdelavo vsakega izmed sklopov z drugimi parametri metod. Študija je pokazala, da lahko zadovoljive rezultate dobimo tudi z uporabo enojne obdelave signalov, vendar so pridobljeni rezultati v primerjavi s predstavljenimi relativno slabi. Razlogov za boljšo napoved pri uporabi dvojne obdelave signalov v primerjavi z enojno je več. Prvi izmed možnih razlogov je dVM naloga, ki v primerjavi s klasičnimi VM nalogami zaradi naključnosti signala, ki mu preiskovanec sledi, možganom morda predstavlja nekoliko večje breme. Tarčni signal dVM naloge namreč vsebuje širok frekvenčni spekter, pri čemer je povsem verjetno, da njegovo sledenje izzove kompleksnejše možganske procese, ki jih je bodisi težje identificirati bodisi nosijo več informacije, ki je kodirana na drugačen način. Drugi možni razlog prav tako izhaja iz tarčnega signala dVM naloge. Glede na to, da se generira za vsako obdobje aktivnosti znova, je s tem v možganih morda onemogočen proces učenja, ki se običajno začne izvajati pri zadostnem številu ponovitev določenega vzorca (npr. klasična VM naloga). Preprečevanje učnega procesa bi lahko igralo pomembno vlogo, saj se v možganih kljub več ponovitvam naloge ne ustvarja av- tomatizem, ki lahko izzove povsem drugačne procese kot pri izvajanju sveže naloge. Med možnimi razlogi je tudi ta, da je prenašana informacija lahko kodirana v oscilacije s signalom, ki ni determinističen in ima spremenljivi tako frekvenco kot fazo. S filtriranjem dveh frekvenčnih območij ter z uporabo dvojne fazne demodulacije z različnima nosilnima frekvencama lahko iz signalov izluščimo večjo količino fazno kodirane vsebine, ki jo mehki model potrebuje za uspešno napoved akcije. Zadnji izmed razlogov pa je lahko preprosto ta, da se za premikanje zapestja v možganih vzpostavi drugačen, bolj zapleten motorični program, ki zahteva aktiva-cijo drugih oz. več motoričnih predelov, pri čemer vsak proizvaja svoj del kodirane informacije. Za uspešno dekodiranje te informacije je tako potrebna kompleksnejša obdelava signalov. Bralec se morda na tem mestu sprašuje, ali bi z uporabo trojne, četverne itd. obdelave signalov dosegli boljše napovedi premikov od prikazanih. Uporaba trojnega procesiranja podatkov prinese le delno izboljšanje napovedi, pri čemer se zaradi večje količine podatkov in parametrov metod značilno poveča čas, ki ga porabimo za obdelavo signalov EEG, ter učenje napovednega modela. S tega vidika je torej uporaba več kot dvojne obdelave signalov nesmiselna. 5. Zaključki Študija predstavlja uporabo metod obdelave signalov in pristopa mehke identifikaci- Xc = 0,73 Slika 6: Napoved premikov zapestja dinamične vidno-motorične naLoge za osebo3 pri štirih odsekih aktivnosti. tanjša črta: izmerjeni premiki; debelejša črta: napoved premikov. Povprečni korelacijski koeficient Xc = 0,71. Slika 7: napoved premikov zapestja dinamične vidno-motorične naloge za osebo4 pri štirih odsekih aktivnosti. tanjša črta: izmerjeni premiki; debelejša črta: napoved premikov. Povprečni korelacijski koeficient Xc = 0,75. je za dekodiranje možganskih informacij pri dinamični vidno-motorični nalogi. Pokazali smo, da je moč z uporabo metod filtriranja beta-frekvenčnega območja, fazne demo-dulacije in analize glavnih komponent iz signalov EEG uspešno izluščiti iskano informacijo o preiskovančevih premikih zapestja. Predstavljena metodologija omogoča tudi analizo signalov v realnem času ter s tem uporabo v neinvazivnih vmesnikih možga-ni-računalnik. V prihodnosti bi bilo smiselno preskusiti tudi možnost dekodiranja informacij pri nalogah, ki od preiskovanca ne zahtevajo dejanske fizične dejavnosti, ampak le namišljeno. Pri tem se seveda poraja vprašanje, kako namišljeno dejavnost izmeriti, saj jo za pridobitev parametrov in učenje takšnega vmesnika nujno potrebujemo. Zaključimo lahko, da smo s sorazmerno enostavnimi metodami obdelave signalov in z dokaj preprostim mehkim modelom uspeli dekodirati del možganskih informacij, ki so prisotne v elektoencefalografskih signalih pri izvajanju dinamičnih vidno-motoričnih nalog. Zahvala Avtorja se zahvaljujeta osebju Inštituta za klinično nevrofiziologijo Kliničnega centra v Ljubljani, zlasti g. Ignacu Zidarju, za pomoč pri izvedbi elektroencefalgorafskih meritev. Literatura 1. Logar V, Škrjanc I, Belič A, Brežan S, Koritnik B, Zidar J. Identification of the phase code in an EEG during gripping-force tasks: A possible alternative approach to the development of the brain-computer interfaces. Artif Intell Med 2008; 44: 41-49. 2. Logar V, Škrjanc I, Belič A, Karba R, Brežan S, Ko-ritnik B, et al. Gripping-force identification using EEG and phase-demodulation approach. Neuro-sci Res 2008; 60: 389-396. 3. Schnitzler A, Gross J. Normal and pathological oscillatory communication in the brain. Nat Rev Neurosci 2005; 6: 285-296. 4. Murthy VN, Fetz EE. Oscillatory activity in sensorimotor cortex of awake monkeys: synchronization of local field potentials and relation to behavior. J Neurophysiol 1996; 76: 3949-3967. 5. Pfurtscheller G, Andrew C. Event-related changes of band power and coherence: methodology and interpretation. J Clin Neurophysiol 1999; 16: 512-519. 6. Brežan S, Rutar V, Logar V, Koritnik B, KurilloG, Belič A, et al. Elektroencefalografska koherenca med vidnimi in motoričnimi predeli leve in desne poloble pri izvajanju vidno-motorične naloge z desno in levo roko. Zdrav Vestn 2007; 76: 519-527. 7. Lisman J. The theta/gamma discrete phase code occuring during the hippocampal phase precession may be a more general brain coding scheme. Hippocampus 2005; 15: 913-922. 8. Lisman J and Buzsaki G. A neural coding scheme formed by the combined function of gamma and theta oscillations. Schizophr Bull 2008; 34: 974-980. 9. Pfurtscheller G, Woertz M, Supp G, Lopes da Silva F. Early onset of post-movement beta electroencephalogram synchronization in the supplementary motor area during self-paced finger movement in man. Neurosci Lett 2003; 339: 111-114. 10. Kristeva-Feige R, Fritsch C, Timmer J, Lücking CH. Effects of attention and precision of exerted force on beta range EEG-EMG synchronization during a maintained motor contraction task. Clin Neurophysiol 2002; 113: 124-131. 11. Lebedev MA, Nicolelis MAL. Brain-machine interfaces: past, present and future. Trends Neurosci 2006; 29: 536-546. 12. Nicolelis MAL. Actions from thoughts. Nature 2001; 409: 403-407.