ANALI PAZU Let. 14 . 2, pp. 1 21, december 2024 https://doi.org/10.18690/analipazu.14.2.1-21.2024 , Donaj in 2024 Z Sprejeto 6. 2. 2024 Recenzirano 9. 10. 2024 Izdano 23. 12. 2024 1 , GREGOR DONAJ 2 IN MIRJAM SEPESY 3 1 Maribor, Slovenija baketaric.drazen@student.um.si 2 Maribor, Slovenija gregor.donaj@um.si 3 Maribor, Slovenija mirjam.sepesy@um.si DOPISNI AVTOR mirjam.sepesy@um.si Znanstvena veda: Tehnika senzor, aktivnost, razpoznavanje aktivnosti, strojno klasifikacija prebivalstva. inteligence lahko prispeva k doseganju tega cilja. Sistemi za razpoznavajo aktivnosti stanovalcev pametnih domov. tivacije algoritma oz. modela za klasifikacijo, ki ga iz podatkov zgradimo v faz -to katerimi aktivnostmi le-te najpogosteje zamenjujemo. ANALI PAZU Vol. 14, No. 2, pp. 1 21, December 2024 https://doi.org/10.18690/analipazu.14.2.1-21.2024 , Donaj and 2024 FEATURES IN RECOGNIZING ACTIVITIES OF DAILY LIFE IN SMART HOMES 1 , GREGOR DONAJ 2 AND MIRJAM SEPESY 3 Accepted 6. 2. 2024 Revised 9. 10. 2024 Published 23. 12. 2024 1 University of Maribor, Faculty of Electrical Engineering and Computer Science, Maribor, Slovenia baketaric.drazen@student.um.si 2 University of Maribor, Faculty of Electrical Engineering and Computer Science, Maribor, Slovenia gregor.donaj@um.si 3 University of Maribor, Faculty of Electrical Engineering and Computer Science, Maribor, Slovenia mirjam.sepesy@um.si CORRESPONDING AUTHOR mirjam.sepesy@um.si The question arises of how to ensure a safe stay for the elderly in their home environment. Development in sensor technology, machine learning, and artificial intelligence can contribute to achieving this goal. Activities of daily life recognition systems recognize the activities of residents in smart homes with high accuracy. They can consequently detect anomalies in the daily functioning of the elderly, which may indicate health problems. Systems of this type are based on sensor networks and recognize the activities of residents based on the activation of various sensors. The accuracy of activity recognition depends primarily on the quality of the features that are compiled from sensor data and the classification model, which is built from the collection of data in the learning phase. In the presented research, we mainly focus on selecting and extracting features and studying how different features affect the final result of activity recognition. We analyze which activities have the best and which have the worst recognition accuracy. In the latter's case, we also show which activities are most often misidentified. Science: Technique Keywords: sensor, activity, activity recognition, machine learning, classification D. G. Donaj in M. : 3. 1 Uvod ljudi, starih 1 . loveniji vsak peti od 65 let leta 2030 predstavljal 25 odstotkov prebivalstva, do leta 2050 pa bo vsak (Kajzer, 2023). V teh razmerah je 2017 Urad RS za makroekonomske analize in razvoj pripravil, Vlada RS pa sprejela laginja vseh generacij ter dostojno in varno bivanje v . Staranje njegovo kakovost. telesnih funkcij, ki jih oseba zmore, lahko pa jih Starostnik, pri vsakodnevnih aktivnosti, morda p domu. ogrlice z gumbom za klic v sili, mobilni telefoni s senzorji padca in samodejno situacijah nanje pozabijo. (angl. ADL Activity of Daily Living) so sistemi, s katerimi starostniki niso v neposredni interakciji, ampak z relativno jo stanovalci okolju. 1 https://www.who.int/health-topics/ageing 4 ANALI PAZU. Avtomatizirano spremljanje . algoritem razpoznavanja aktivnosti iz senzorskih podatkov. V raziskavi, ki jo predstavljamo v samo na kratko predstavimo. Poudarek , iz Raziskava, ki jo v nadaljevanju obliki predstavljena na Mednarodni e ki idr., 2023). Poglavje 2 vsebuje pregled sorodnih del. V poglavju 3 predstavimo posamezne dveh 2 Sorodna dela dvajset let (Hussain idr., 2019). senzorjev. Senzorji so lahko kamere, nosljivi senzorji in senzorji, pritrjeni na 2015). Pristopi, ki sebnost (npr. uporaba video kamere za spremljanje Iz teh razlogov pridobivajo na popularnosti pristopi, ki temeljijo na senzorjih, idr., 2017). Wang in drugi (2021) so raziskovali D. G. Donaj in M. : 5. pripadajo isti aktivnosti porazdeljeni okrog centroida in dovolj oddaljeni od Evklidska ali Mahalanobisova razdalja (La Cava idr., 2019). Pri klasifikatorju k- angl. KNN K-Nearest Neighbors) so uporabili Manhattanovo razdaljo (Al-Taei idr., 2021). Uveljavili so se tudi pristopi, ki temeljijo na verjetnostnih modelih. Kabir in drugi (2016) so uporabili prikrite modele Markova (angl. HMM Hidden Markov Models) z dvema slojema. Donaj in (2019) sta HMM nadgradila z Markovskimi prehoda iz ene aktivnosti v drugo. Pogosto uporabljeni so tudi podporni vektorji (angl. SVM Support Vector Machines), ki so v osnovi binarni klasifikatorji, a jih binarnih klasifikacijskih problemov (Fleury idr., 2009). Pristop SVM temelji na Ker pogosto vektorji zna se pristop SVM uporablja na (angl. LSTM Long Short-Term Memory) angl. RNN Recurrent Neural Network) preko povratnih povezav v skritih plasteh. (angl. CNN Convolutional Neural Network) neodvisni od merila. Pri razpoznavanju aktivnosti to pomeni, da so modeli aktivnosti gibanja neodvisni od hitrosti gibanja stanovalca. Wang in drugi (2021) so pokazali, da e Tudi pri razpoznavanju aktivnosti so bili uporabljeni hibridni modeli, ki kombinirajo dva ali idr., 2013) ali CNN in SVM (Athavale idr., 2021). , kako zgradimo in drugi (2021) so to pokazali pri Pokazali so tudi problem nultega razreda (ko 6 ANALI PAZU. stanovalec ne opravlja nobene aktivnosti), ki v veliki meri negativno vpliva na 3 Sistem za ADL razpoznavanje Gradnjo sistema za ADL razpoznavanje sestavljajo naslednje faze: 1. zbiranje klasifikacijskega modela in 5. vrednotenje rezultatov. Za raziskovalne namene se je uveljavila uporaba javno dostopnih zbirk podatkov, ki vsebujejo surove senzorske podatke, (De-La-Hoz-Franco idr., 2018). Podatkom so aktivnosti. V fazi predprocesiranja v podatkih odkrivamo . Podatke uredimo za proces a , v katerem jih transformiramo Izbiranje je proces, v katerem izberemo tiste , ki nosijo informacijo o aktivnostih . prostorsko zahtevnost celotnega postopka. , tvorimo s transformacijo vhodnih podatkov, ki temelji na genetskem programiranju. klasifikacijskih algoritmov. Vsem je skupno, da iz zgodovine le-teh razpoznajo aktivnost, ki jo opravlja stanovalec. Pred postavitvijo sistema v realno okolje opravimo validacijo, v kateri iz senzorskih podatkov, ki smo ih D. G. Donaj in M. : 7. 4 Genetsko programiranje 4.1 Osnovni algoritem Genetsko programiranje (GP) je v zgodnjih devetdesetih definiral John Koza (Koza, algoritmov. Algoritem posameznike e populacije najprej ovrednoti s funkcijo ustreznosti (angl. fitness function). Nato po izbrani verjetnostni porazdelitvi glede na vrednost funkcije ustreznosti izbere enega ali dva posameznika, nad katerima izvede genetske operacije in tako ustvari novega posameznika za novo populacijo. Postopek se iterativno ponavlja dokler ni izpolnjen ustavitveni pogoj. Ker izbira temelji terminalni simboli ali listi drevesa pa operande, ki so lahko spremenljivke ali konstante operaciji sta mutacija (angl. mutation) angl. crossover). Pri mutaciji (slika t generiranim drevesom. (slika 2) enega Slika 1: Mutacija pri genetskem programiranju 8 ANALI PAZU. Slika 2: ustreznosti, nastavitve kontrolnih parametrov in ustavitveni pogoj. 4.2 senzorskih podatkov tvoriti informativne programiranja -dimenzionalni vektor senzorskih podatkov transformiramo v - . -ti senzor, pa i- i simbolov v drevesnih strukturah definirana kot: , (1) kjer razen spremenljivk nastopajo tudi konstantne vrednosti. Kot operacije v smo uporabili: (2) D. G. Donaj in M. : 9. Funkcijo ustreznosti je bila . V nadaljevanju vektorje imenujemo vektorji 5 Klasifikacijski algoritmi Razpoznavanje aktivnosti definiramo kot klasifikacijski problem, pri katerem vektor klasificiramo v razred , ki predstavlja aktivnost. (3) je klasifikacijska funkcija in V raziskavi smo se omejili na uporabo dveh klasifikacijskih algoritmov, ki so tudi v literaturi najpogosteje citirani. 5.1 Podporni vektorji Podporni vektorji (SVM) so v osnovi namenjeni binarni klasifikaciji, zato binarnih klasifikacij "eden-proti- preostalim" je. Klasifikator SVM si lahko geometrijsko predstavljamo kot hiperravnino ki razmejuje primerke enega razreda od primerkov drugega razreda. +1 predstavlja en razred in 1 drugi razred, , pri kateri je , kot . je konstanta. Novi vzorec klasificiramo tako, da (4) 5.2 angl. deep learning). Nevronske (LSTM) 10 ANALI PAZU. s povratno zanko. na posodobitve vrednosti v celicah predhodnih slojev. LSTM vpeljuje mehanizem vrat Z vsakim izhodnih vrat in vrat pozabe ter aktivacijske funkcije celice. rmulacija dogajanja pri klasifikaciji z LSTM je v (Wang idr., 2021). V (Liciotti idr., 2020) pa je podrobneje o 6 Eksperimenti 6.1 Podatkovne zbirke Eksperimenti so bili izvedeni s podatki iz javno dostopne zbirke CASAS (Szewcyzk idr., 2009; Cook, 2010), ki je tudi v literaturi pogosto citirana. Izbrali smo pet zbirk podatkov: Milan, Cairo, Kyoto7, 8 in 11. Zbirke CASAS smo uporabili zato, ker okoljski senzorji ne posegajo v zasebnost stanovalcev. Zapisovalni format v vseh zbirkah je enak in senzorja (binarna a) in na ustreznih mestih oznake aktivnosti. stanovalcev opazovanih dni in uporabljene senzorje, ki generirajo dogodke senzorjev. Uporabljeni senzorji so naslednji: gibanje (M, vklop/izklop), temperatura (T, n/odsoten), poraba energije -A, B in C, Stanovalce sno obiskovali prijatelji in sorodniki. Zbirka podatkov Kyoto7 vsebuje tri datoteke z neobdelanimi podatki, in med njimi deli 23 , ki zagotavljajo javno dostopno kodo. Poudariti velja, da izbrana datoteka ne vsebuje podatkov za senzor porabe energije (P), zato nekatere aktivnosti, povezane s porabo energije, morda niso bile pravilno razpoznane. V navedenih delih so bile ugotovljene tudi stanovalcev za zbirki podatkov Kyoto8 in 11. 2 https://github.com/danielelic/deep-casas 3 https://github.com/funweb/HAR WCNN D. G. Donaj in M. : 11. Tabela 1: Podatkovne zbirke, uporabljene v eksperimentih dni) Tipi senzorjev Cairo 2+pes 57 M, T Kyoto7 72 M, D, T Kyoto8 2 46 M, D, I, AD1-A, B, C Kyoto11 2 62 M, D, I, T, P Milan 2 232 M, D, I, T, P 6.2 Predprocesiranje podatkov V eksperimentih smo uporabili predprocesirane zbirke podatkov iz (Liciotti idr., 2020). V teh zbirkah podatkov so ohranjeni samo dogodki treh senzorjev: M, T in zbirkah Milan, Kyoto8 in 11, v Kairu sta bila uporabljena samo senzorja M in T, v Kyoto7 pa senzorja M in D. Avtorji v (Li idr., 2023) predlagajo metodo, s katero ugotovimo kateri senzorji se . Na primer, ugotovili so, da senzorji AD1-A, B in C v zbirkah podatkov Kyoto7 prispevajo veliko k aktivnosti Kuhanje, medtem ko senzor P v zbirkah podatkov Kyoto8 in 11 pomembno prispeva k nekaterim drugim aktivnostim. Ker ti senzorji niso bili uporabljeni v eksperimentih v (Liciotti idr., 2020), jih tudi v tej raziskavi ne bomo uporabili, da zagotovimo nepristransko primerjavo. eprav vsebuje vsaka zbirka podatkov se zaradi skladnosti s sorodnimi raziskavami omejili le na Osebna higiena, Spanje, , Prehranjevanje, Kuhanje, Delo, Odhod od doma, Vrnitev domov, Sprostitev, Jemanje zdravil in Kopanje. Aktivnosti v zbirkah podatkov so zelo smo za omilitev tega problema v eksperimentih uporabili -learn. V predprocesiranih podatkih 12 ANALI PAZU. 6.3 Eksperimente smo izvedli v dveh delih, ki jih prikazuje Slika 3. V prvem smo smo opravili koraka 1 in 2. V drugem delu eksperimentov smo vektorje senzorskih in opravili koraka 1 in 3. Slika 3: Metodologija v izvedenih eksperimentih. Pri tem smo uporabili naslednje vrednosti hiperparametrov. Velikost populacije (angl. population size) smo omejili na 1000, velikost turnirja (angl. tournament size) na intervalu med 5 in 200. Funkcijo ustreznosti je bila . 6.4 Klasifikacija V raziskavi smo se omejili na uporabo dveh klasifikatorjev, ki smo jih predstavili v poglavju 5 in so tudi v literaturi najpogosteje uporabljeni. Pri klasifikatorju SVM smo radialno bazno funkcijo (angl. Radial Basis Function) jedro o klasifikacijo smo izvedli s pristopom "eden-proti-preostalim". evilo epoh pri klasifikatorju LSTM je bilo omejeno na 200, velikost paketa pa na 64. 6.5 Rezultati tremi ponovitvami (angl. 3-fold cross validation). Za vsako ponovitev smo dve tretjini podatkov , eno tretjino pa za testiranje. D. G. Donaj in M. : 13. zagotovili testna Razen tega smo v vsakem eksperimentu 20 % podatkov za sprotno validacijo. Glede dobljeni na i i Kyoto7 (Liciotti et al., 2020), so bili hiperparametri GP optimizirani na . Enaki hiperparametri so bili nato uporabljeni pri vseh drugih . Pri klasifikaciji se isti klasifikator uporablja za in testiranja. angl. accuracy) razpoznavanja aktivnosti v posameznih eksperimentih. , (5) aktivnosti. Tabela 2: SVM GP+SVM LSTM GP+LSTM Cairo 67,5 73,6 83,8 59,9 Kyoto7 51,6 54,0 69,8 56,5 Kyoto8 60,2 84,3 88,7 60,1 Kyoto11 57,7 55,6 85,6 47,9 Milan 54,7 76,3 93,4 60,6 V eksperimentih nas ni zanimalo, predvsem, Pri klasifikatorju s podpornimi vektorji (SVM) smo z dodanim genetskim programiranjem dosegli pomembno SVM). Izjema je le Klasifikacija z LSTM je v vseh izgubili za LSTM pomembne informacije. Sklep na osnovi vseh izvedenih klasifikatorja kakor tudi od zbirke podatkov, predvsem njene velikosti. Pri klasifikatorju SVM , katere zamenjuje. Sliki 4 in 5 prikazujeta matriki zamenjav v eksperimentih s podatkovno zbirko Kyoto7, sliki 6 in 7 pa pri eksperimentih s podatkovno zbirko Kyoto11. 14 ANALI PAZU. aktivnost preimenovali v Postelja->WC. Slika 4: Matrika zamenjav klasifikatorja SVM pri zbirki podatkov Kyoto7. Vrstice predstavljajo dejanske aktivnosti, stolpci pa razpoznane aktivnosti. Slika 5: Matrika zamenjav klasifikatorja GP+SVM pri zbirki podatkov Kyoto7. Vrstice predstavljajo dejanske aktivnosti, stolpci pa razpoznane aktivnosti. Pri zbirki Kyoto7 smo razlikovali 6 dejanskih aktivnosti in aktivnost Drugo, v katero se preslikajo preostale aktivnosti. K dosega Kuhanje Osebna higiena Sprostitev aktivnost je Postelja->WC Kuhanje, pade za 13,8 % absolutno. Vidimo tudi, da klasifikator GP+SVM ne Delo in Sprostitev. Aktivnost Sprostitev ni nikoli razpoznana. D. G. Donaj in M. : 15. Slika 6: Matrika zamenjav klasifikatorja SVM pri zbirki podatkov Kyoto11. Vrstice predstavljajo dejanske aktivnosti, stolpci pa razpoznane aktivnosti. Slika 7: Matrika zamenjav klasifikatorja GP+SVM pri zbirki podatkov Kyoto11. Vrstice predstavljajo dejanske aktivnosti, stolpci pa razpoznane aktivnosti. Pri zbirki Kyoto11 razlikujemo 10 dejanskih aktivnosti in aktivnost Drugo. Na sliki 6 vidimo, da klasifikator SVM Spanje, Osebna higiena in Delo. Ostale aktivnosti niso nikoli razpoznane. Sprejemljivo Osebna higiena. aktivnostih Odhod od doma in Kopanje. Vidimo tudi, da pri tej zbirki klasifikator nima med aktivnostjo Delo in aktivnostjo Sprostitev, oz. so zamenjave med njima manj izrazite. Aktivnost Postelja->WC aktivnost Delo, aktivnost Kuhanje pa je v sko Kuhanje in kot Delo. Primerjava matrik zamenjav brez GP in z GP je pokazala, da smo z 16 ANALI PAZU. tabelo Drugo. Sliki 8 in 9 prikazujeta a in testiranja pri vseh naborih podatkov. Poskusi so bili izvedeni z uporabo procesorja Intel(R) Xeon(R) E5-2698 v4 @ 2,20 GHz s 512 GB pomnilnikom RAM in 80 jedri CPU. Na sliki 8 lahko To je posledica tega, da se LSTM u i na celotnem naboru podatkov, po uporabi GP (oz. pa se Pri SVM vidimo pa Pri SVM postopek vendar vodi do manj kompleksnega modela. R v procesu testiranja je odvisen predvsem od kompleksnosti modela. Slika 9 uporabljenih modelov. Slika 8: proces a D. G. Donaj in M. : 17. Slika 9: proces testiranja Vsi hiperparametri genetskega programiranja so bili izbrani na podlagi eksperimentalnih rezultatov. Pri analizi hiperparametrov smo ugotovili, da na . Velikost definirali v razponu med 5 in 200, izrazno pri . Ostali parametri (velikost turnirja in razmerje Sliki 10 in 11 prikazujeta vpliv spreminjanja a generacij in velikosti populacije na . Na slikah je razvidno, da velikost populacije 1000 generacij 200 dajeta e rezultate. 18 ANALI PAZU. Slika 10: Vpliv Slika 11: V vseh izvedenih eksperimentih smo klasifikator gradili in testirali na isti podatkovni zbirki. , lahko preverjamo mo na eni, testiramo pa na drugi podatkovni zbirki, vendar tak eksperiment ni enostavno izvedljiv, saj podatki niso neposredno prenosljivi. Potrebno je definirati preslikave senzorskih podatkov in podatkov o aktivnostih, ki med drugim tudi D. G. Donaj in M. : 19. raz tipe in razporeditve senzorjev po prostorih. To podr se imenuje (angl. t 7 e pomembno vlogo velikost zbirke podatkov, nabor podatkov in uporabljen klasifikacije v izvedenih eksperimentih je vplivalo . Tudi z vanje evanje aktivnosti klasifikacijo. Genetsko programiranje se je izkazalo kot najbolj SVM. Najbolj pri klasifikaciji LSTM. Nevronske po svoji naravi je dimenzij morda izgubi. tudi druge operacije, deljenje. , pa za to potrebujejo nabor osnovnih i. niso na voljo v vsakem okolju. Cilj genetskega programiranja je v tem primeru najti genetsko programiranje. V prihodnjih raziskavah se bomo poglobili v posamezne operacije genetskega programiranja. Iskali bomo predvsem njegovo komplementarnost s klasifikacijo LSTM 20 ANALI PAZU. Zahvala Raziskava je nastala delno v okviru raziskovalnega programa -0069, ki ga je sofinancirala Javna agencija za znanstvenoraziskovalno in inovacijsko ahvaljujejo avtorjem podatkovne zbirke CASAS za njeno prosto dostopnost. Literatura Al-Taei, A., Ibrahim, M. F., & Habeeb, N. J. (2021). Optimizing the performance of knn classifier for human activity recognition. In Advances in Computing and Data Sciences: 5th International Conference, ICACDS 2021, Nashik, India, April 23 24, 2021, Revised Selected Papers, Part I 5 (pp. 373-385). Springer International Publishing. Kajzer, A. (2023). S Kratke analize, UMAR. https://www.umar.gov.si/fileadmin/user_upload/publikacije/kratke_analize/2023_10_Kajz er/Stanje_na_podrocju_SDD.pdf and activity sequences. Sensors, 21(20), 6920. B , D., Donaj, G., S , M. Integration of genetic programming into ADL recognition - 29. september 2023, 342-345, Hussain, Z., Sheng, M., & Zhang, W. E. (2019). Different approaches for human activity recognition: A survey. arXiv preprint arXiv:1906.05074. Wang, S., & Zhou, G. (2015). A review on radio based activity recognition. Digital Communications and Networks, 1(1), 20-29. Yao, L., Sheng, Q. Z., Li, X., Gu, T., Tan, M., Wang, X., ... & Ruan, W. (2017). Compressive representation for device-free activity recognition with passive RFID signal strength. IEEE Transactions on Mobile Computing, 17(2), 293-306. Wang, A., Zhao, S., Zheng, C., Yang, J., Chen, G., & Chang, C. Y. (2021). Activities of daily living recognition with binary environment sensors using deep learning: A comparative study. IEEE Sensors Journal, 21(4), 5423-5433. La Cava, W., Silva, S., Danai, K., Spector, L., Vanneschi, L., & Moore, J. H. (2019). Multidimensional genetic programming for multiclass classification. Swarm and evolutionary computation, 44, 260- 272. Kabir, M. H., Hoque, M. R., Thapa, K., & Yang, S. H. (2016). Two-layer hidden Markov model for human activity recognition in home environments. International Journal of Distributed Sensor Networks, 12(1), 4560365. -Based ADL Recognition with markov chains of activities and activity transition cost. IEEE Access, 7, 130650-130662. Fleury, A., Vacher, M., & Noury, N. (2009). SVM-based multimodal classification of activities of daily living in health smart homes: sensors, algorithms, and first experimental results. IEEE Transactions on information technology in biomedicine, 14(2), 274-283. D. G. Donaj in M. : 21. generative/discriminative models on home environments using binary sensors. Sensors, 13(5), 5460-5477. Athavale, V. A., Gupta, S. C., Kumar, D., & Savita, S. (2021). Human action recognition using CNN- SVM model. Advances in Science and Technology, 105, 282-290. De-La-Hoz-Franco, E., Ariza-Colpas, P., Quero, J. M., & Espinilla, M. (2018). Sensor-based datasets for human activity recognition a systematic review of literature. IEEE Access, 6, 59192-59210. Koza, J. R. (1993). Genetic Programming: On the Programming of Computers by Means of Natural Selection (Complex Adaptive Systems). A Bradford Book, 1, 18. Szewcyzk, S., Dwan, K., Minor, B., Swedlove, B., & Cook, D. (2009). Annotating smart environment sensor data for activity learning. Technology and Health Care, 17(3), 161-169. Liciotti, D., Bernardini, M., Romeo, L., & Frontoni, E. (2020). A sequential deep learning application for recognising human activities in smart homes. Neurocomputing, 396, 501-513. Cook, D. J. (2010). Learning setting-generalized activity models for smart spaces. IEEE intelligent systems, 2010(99), 1. Li, Y., Yang, G., Su, Z., Li, S., & Wang, Y. (2023). Human activity recognition based on multienvironment sensor data. Information Fusion, 91, 47-63.