Storitev označevanja nogometne tekme z informacijami o
igralcih
Danilo Zimšek1, Luka Banfi2
Univerza v Mariboru, Fakulteta za elektrotehniko, računalništvo in informatiko, Koroška cesta 46, 2000 Maribor E-počta: danilo.zimsek@um.si, luka.banfi@student.um.si
Football match annotation service with player information
Our paper describes an implementation of a football match annotation service with player information. Use case for the service is discussed with its overall implementation.
In this paper the colors of jerseys are analysed and limit color values for process of binarization are determined for 14 jerseys of randomly selected teams. Then the process of localisation and extraction of numbers is described. Special consideration is put on cases with same color of upper and lower part of jerseys. Other problematic frames are discussed, where there is colour similarity between jersey and background. Afterwards the algorithm for number recognition is described. The use of described approach is explained and annotation process described. The results of the process oflocalisa-tion and recognition ofnumbers are also given.
In conclusion, future work and possible improvements ofthe process are discussed.
1 Uvod
Nogomet je že od nekdaj eden od najbolj popularnih športov predvsem v Evropi in Južni Ameriki, svojo popularnost pa pridobiva tudi v regijah, kjer je slabše poznan. Zanimanje za ta šport skozi zgodovino raste. Zaradi velikega zanimanja je za ponudnike telekomunikacijskih storitev ta šport posebej zanimiv za ponujanje novih storitev ogleda vsebine. Storitvi kot sta označevanje vsebine in skupinski ogled vsebine z videokonferenco lahko omogočita uporabnikom interaktivno spremljanje tekme v mikro socialnem omrezju, kjer lahko uporabniki v izbranem časovnem trenutku določenemu igralcu pridajo izbran custveni simbol in tako na ta nacin izrazijo svoje mnenje o potezi igralca.
Takšna storitev, zasnovana na okolju IP televizije, ponudi uporabniku dodatno mozšnost socializacije in je iz tega vidika posebej pomembna za starejsše in invalide, saj jim lahko uporaba tehnologij omogoci izkušnjo, kije blizu izkušnji skupinskega spremljanja nogometne tekme, kije dokaj pogost pojav.
Storitev skupinskega spremljanja nogometne tekme je zgrajena iz naslednjih modulov:
•	storitev video konference;
•	sistem povabljanja uporabnikov;
• storitev označevanja nogometne tekme.
Sistem povabljanja uporabniku omogoča, da drugega uporabnika povabi k ogledu nogometne tekme. Drug uporabnik lahko povabilo sprejme ali zavrne. V primeru, da vabilo sprejme vsaj en uporabnik, storitev video konference ob času začetka predvajanja nogometne tekme tvori konferenčno sobo v katero vključi uporabnike, ki so sprejeli vabilo. Video konferenča omogoča, da uporabniki v manjših delih zaslona spremljavo video portrete drugih udeleZenčev in se med seboj pogovarjajo. Hkrati se uporabnikom predvaja obogaten video tok nogometne tekme, ki ga tvori storitev označevanja nogometne tekme. Inte-rakčija z vsebino je omogočšena preko razsširjene funkčio-nalnosti storitve video konferenče.
Eden glavnih gradnikov pri implementačiji zgoraj opisanih storitev je označevanje vsebine z informačijo o trenutno prikazanem igralču. V nadaljevanju bomo opisali pri tem uporabljene pristope.
Zaznava in razpoznava igralča nogometne tekme je pogosto obravnavana tematika med postopki označševanja video vsebin za razpršeno oddajo. Pristop v [2] uporabi v pročesu zaznave pri empiričnem določanju mejnih vrednosti za izločšanje dresov igralčev na podlagi barv metodo odvisno od svetlosti, kar povzročši, da se pojavljajo tezšave pri video okvirjih, ki so delno ali v čeloti senčšni. Za zmanjšanje vpliva osvetljenosti na algoritem zaznave dresa igralča, smo uporabili barvni model HSV. Ta se je po testiranju 5 primerov video okvirjev v barvnih prostorih RGB, BGR, HSV in YCbCr izkazal kot najprimernejši, saj smo empirično očenili najboljše ločevanje med dresom in ozadjem okvirja.
Poleg odvisnosti od osvetljenosti, se v pročesu zaznave pojavljajo omejitve vezane na podobnost med barvami zastopanimi na sčeni in dresom igralča ter tezave pri popačšitvah predvsem zaradi umazanih dresov. Posebno tezšavo predstavljajo za do sedaj znane algoritme dresi, ki so v čeloti v eni barvi, ki je enaka barvi nogavič. Te situ-ačije so v zadnjem času pogostejše.
Naš čilj je z uporabljenim pristopom zmanjšati vpliv naštetih omejitev. V literaturi se za razpoznavo igralča uporabljajo različne kombinačije naslednjih tehnik: razpoznava številke in razpoznava obraza. V našem pristopu se omejimo na razpoznavo številke. Omejitev našega pristopa je delovanje na blizšnjih posnetkih, saj lahko le tako zagotovimo dovolj natančšno razpoznavo sštevilk, kar pa
ERK'2018, Portorož, 51-327	324

Slika 1: Vhodni video okvir.
Slika 3: Pridobljeni objekti izločenega območja video okvirja okvirja.
AU = max Un — min Un
A V = max Vn — min Vn
(2)
(3)
Slika 2: Binariziran video okvir.
je smiselna omejitev, saj se bližnji posnetki navadno pojavljajo po pomembnem dogodku, katerega glavni akter je prikazan igralec.
V naslednjem poglavju opišemo postopek lokaliza-cije dresa, način določanja mejnih vrednosti barv za ta namen in zaznavo številke, pri čemer izpostavimo zahtevnejše primere. V tretjem poglavju obravnavamo postopek razpoznave številke pri čemer uporabimo deskriptor in mero sorodnosti z referenčno sliko številke. V četrtem poglavju opišemo označevanje vsebine. V petem predstavimo in komentiramo rezultate zaznave in razpoznave ter v zaključku podamo predloge za nadaljnje delo in moznosti za izboljšave.
2 Lokalizacija dresa
Prvi korak v postopku označevanja nogometne tekme z informačijami o igralčih predstavlja lokalizačija dresa, to je določanje pikslov v okvirju, ki pripadajo igralču na igrišču. Predpostavljeno je bilo, da so določene barve povezane z določenimi nogometnimi ekipami. Za pravilno delovanje metode lokalizačije dresa, ta potrebuje podatek o barvnem razponu, ki predstavlja veliko večino barv zastopanih v dresih posamezne ekipe. Razpon vrednosti smo za vsako ekipo doličili eksperimentalno v barvnem prostoru YUV. Pročes vzpostavljanja primernih razponov vrednosti znotraj določšenega barvnega modela prikazujejo enačbe 1, 4 in 3.
AY =
Yn
Yn
(1)
pri čemer je n G {1,..., št.okvirjev} in A označuje uporabljen barvni razpon, n pa indeks analiziranega okvirja. Skupno število analiziranih okvirjev za posamezno barvo dresa je bilo odvisno od razprsšenosti trenutno pridobljenih podatkov. Večja kot je bila razpršenost, več okvirjev smo analizirali.
Pročes lokalizačije dresa sestoji iz binarizačije slike, izločanja povezanih komponent in odstranjevanja made-zev. Binarizačijo smo izvedli z uporabo empirično določenih mejnih vrednosti za vsako od komponent barvnega prostora. Slika 1 prikazuje primer vhodne, slika 2 pa primer binarizirane slike.
V nadaljevanju znotraj binarizirane poiščemo največje povezano področje bele barve. Izbrano področje uokvirimo in v nadaljevanju pročesiramo samo to območje. Znotraj izločenega področja označimo vsa povezana področja (slika 3). Dobimo predstavitev večih objektov, med katerimi je tudi sštevilka.
Opazimo lahko, da so nekateri objekti zelo majhni, zato odstranimo objekte, ki so manjši od 5% čelotne površine izbranega območja. S to omejitvijo izločimo napise imen igralčev na dresih in druge nepravilnosti v video okvirju. Dobljeno prikazuje slika 4. Ker je v nekaterih primerih barva majiče enaka barvi hlač igralča, barvi nogavič ter ozadju (golovi vratniči), dobimo več objektov, iz katerih zelimo izločiti samo številko. Do sedaj znani pristopi[1] za ta namen uporabljajo omejitev glede minimalne širine objekta ali omejitve glede razmerja stra-nič. Minimalna širina objekta v takem zahtevnejšem primeru ni zadosten pogoj, zato uporabimo omejitev glede razmerja stranič. Za večino pisav je razmerje med višino in širino števk med 2 : 1 in 1, 5 : 1, zato smo uporabili ta pogoj. Poleg tega smo dodali pogoj o maksimalni višini objekta glede na višino izločenega območja in o maksimalni površini objekta glede na površino izločenega območja. Višina objekta ne sme presegati dveh tretjin višine območja. Površina objekta pa ne sme presegati ene poloviče izbranega območja. Omejitve so bile določene
52

Slika 4: Problematični objekti video okvirja po odstranitvi majhnih objektov.
empirično glede na dobljene objekte 10 naključno izbranih testnih okvirjev. Ce upoštevamo vse naštete pogoje se število napačno izločenih objektov zmanjša na zanemarljivo število, tudi pri tezavnih primerih. Do napačnih zaznav pride v manj kot 5% primerov.
3 Razpoznava številke
Eden od pristopov razpoznave števil vključujejo deskrip-torje oblike. Eden od bolj primernih, zlasti zaradi neznane velikosti in usmerjenosti številke, je generični Fou-rierjev deskriptor (angl. Generič Fourier Desčriptor), v nadaljevanju GFD [3].
Deskriptor obliko opiše tako, da se koordinate pikslov, ki pripadajo področju slike z obliko, transformirajo v polarne koordinate in prenesejo v pravokotno kartezijsko sliko. Nad podatki je uporabljena dvodimenzionalna Fou-rierjeva transformačija. Med dobljenima predstavitvama se izračšuna Evklidova razdalja, ki predstavlja mero podobnosti med referenčnim objektom in kandidatom. V postopek GFD damo binarno sliko, ki ima en objekt v središču. Deskriptor izračuna stopnjo ujemanja vhodnega objekta z referenčnim objektom. V našem primeru so re-ferenčšni objekti slike sštevk pridobljene iz sštevilk zapisanih v pisavi Arial v krepkem načinu. Algoritem izračuna s pomočjo GFD podobnost za vsak izločen objekt do vseh referenčnih objektov. Najvišjo mero podobnosti primerja z eksperimentalno določeno mejo. Ce je ta višja od em-piričšno določšene meje, gre za ujemanje in objekt na sliki predstavlja obravnavano števko. V tem primeru steče pro-čes označševanja razpoznave na video tok.
Eksperimentalno določšanje meje je potekalo na podlagi naključnega izbora dveh vzorčev video okvirjev vsake ekipe. Vzeli smo povprečšno vrednost rezultata GFD iz vsake kategorije, izračunali povprečno vrednost nad njimi in zmanjšali za 20%. Opisan postopek prikazuje enačba 4.
ESt. kategorij k=l
fk
št. kategorij
x 0.8
(4)
pri čemer m označuje mejno vrednost in fk povprečje mejnih vrednosti video okvirjev posamezne kategorije.
4	Označevanje vsebine
Za potrebe opisane storitve je potrebno uporabniku posredovati informacijo o prepoznanem igralcu. Slednje smo izvedli z uporabo informacij iz elektronskega programskega vodiča (ang. electronic program guide) in z dodajanjem delno transparentne vsebine na video sled predvajanega video streama.
Pridobivanje informacij iz EPG je izvedeno s skripto, ki pregleda EPG v zapisu XML in na podlagi zapisa naslova vsebine izloci vse nogometne tekme in informacije o ekipah. Na podlagi teh informacij pridobi podatke o sestavi ekipe in preslikavami med imeni igralcev in številko dresa. Ti podatki se uporabijo v procesu oznacevanja video toka.
Oznacevanje video vsebine izvedemo z uporabo programske knjiznice ffmpeg [6]. Ta ponuja funkcionalnosti oznacevanja vsebin v realnem casu, kar omogoca prikaz poljubne tudi delno transparentne vsebine na vsakem video okvirju. Po izvedenem oznacevanju se obogatena vsebina struja do uporabniškega klienta.
Storitev smo izvedli z uporabo programskega jezika Python in uporabo knjiznic scikit-image, opencv in scipy. Storitev smo poganjali na štiri jedrnem sodobnem procesorju intel. Pri tem je sistem za delovanje uporabljal dve jedri, saj vzporedno teceta dva procesa, za vsako od dveh ekip nogometne takme za isti vhodni video okvir. Ob predpostavki, da ima video tok 25 slicic na sekundo, smo uspeli storitev na navedeni strojni poganjati za vsak deseti video okvir, torej je celoten postopek potreboval manj kot 0.4 sekunde.
5	Rezultati
Za evalvacijo opisane metode je bilo najprej potrebno zgraditi bazo. Baza video okvirjev nogometnih tekem sestoji iz 14 kategorij. V vsaki kategoriji je od 10 do 15 video okvirjev iz bliznjih posnetkov z igralci istih ekip. Zgradbo baze in uspešnost uporabljenega pristopa prikazuje tabela 1.
Iz dobljenih rezultatov je razvidno, daje omenjen pristop z uporabo barvnega modela YUV in dolocanje mejnih vrednosti za binarizacijo iz izbranega modela uspesš-nejši od pristopa opisanega v [1]. Tak rezultat smo pripisali predvsem dolocanju mejnih vrednosti za vsako ekipo posebej v barvnem prostoru YUV. Ker pa rezultati niso testirani na isti bazi in ker je pridobljena baza relativno majhna, je tezko z gotovostjo trditi, daje to edini faktor, ki vpliva na izboljsšanje.
K nepravilnim razpoznavam pa so prispevali predvsem okvirji, pri katerih so igralci z dresi in nogavicami v isti barvi kot ozadje ter okvirji slabe kakovosti.
Trenutni pristop je mogoce uporabiti za implementacijo opisanih storitev, a se pri tem pojavlja tezava pri razpoznavi igralcev s številko dresa sestavljeno iz dveh števil. To tezavo rešujemo na nacin, da na podlagi koordinat skrajnih vrednosti mejnega polja števke in njegove oddaljenosti od druge zaznane sštevke dolocšimo, ali
m
53
Tabela 1: Uspešnost uporabljenega pristopa po kategorijah video okvirjev.
Razred	št. okvirjev s števili	št. pravilnih razpoznav	uspešnost[%]
1.	15	13	87
2.	12	10	83
3.	11	10	91
4.	14	13	93
5.	13	12	92
6.	10	8	80
7.	12	10	83
8.	13	12	92
9.	11	9	82
10.	15	13	87
11.	12	10	83
12.	10	9	90
13.	12	11	92
14.	11	10	91
skupaj			88
Literatura
[1]	Frejlichowski, Dariusz: Identification of Football Players based on Generic Fourier Descriptor Applied for the Recognition of Numbers, Image Processing & Communications. 2016
[2]	Frejlichowski, Dariusz: A Method for Data Extraction from Video Sequences for Automatic Identification of Football Players Based on Their Numbers, Image Analysis and Processing - ICIAP, 356-364, 2011
[3]	Dengsheng Zhang, Guojun Lu: Generic Fourier descriptor for shape-based image retrieval, IEEE International Conference on Multimedia and Expo, 425-428, 2002
[4]	Yin, Wu, Zheng Ncfm: Accurate handwritten digits recognition using Convolutional Neural Networks, International Joint Conference on Neural Networks (IJCNN), 525531, 2016
[5]	Dengsheng Zhang, Guojun Lu: Enhanced Generic Fourier Descriptors for object-based image retrieval, IEEE International Conference on Acoustics, Speech, and Signal Processing, 3668-3671, 2002
[6]	Ffmpeg. https://www.ffmpeg.org/. Dostopno 13.07.2018.
števki sestavljata število. Ce je njuna medsebojna oddaljenost manjša od polovice širine števke, predvidevamo, da sštevki pripadata istemu sštevilu.
6 Zaključek
V sklopu nadaljnjega dela načrtujemo vključitev opisane storitve označevanja vsebin v storitev videokonference. Za dosego tega cilja je potrebno avtomatizirati procese znotraj celotne storitve, ki trenutno potrebujejo za uspešno delovanje vnos informacij s strani cšloveka. Tak je predvsem proces pridobivanja podatkov o igralcih vkljucenih v nogometno tekmo. V nadaljevanju bomo procese pridobivanja poskusšali izvesti na enega od naslednjih nacšinov:
•	razpoznava imen igralcev in številk dresov iz za-cetnih zaslonov prenosa tekme;
•	pridobivanje podatkov iz dostopnih aplikacijskih vmesnikov.
Nadalje bomo omogocili interaktivno rokovanje z vsebino s strani uporabnika na nacin, da bo uporabnik s funkcijskimi tipkami daljinskega upravljalnika imel moznost dodajanja custvenih simbolov ob casu razpoznave igralca in doloceno casovno obdobje po koncu bliznjega posnetka.
Zeleli bi doseci tudi izboljšanje natancnosti razpoznave števil. Za ta namen bi lahko genericni Fourier-jev deskriptor nadomestili z drugim [5] ali bi za ta namen uporabili pristop z nevronskimi mrezami [4]. Celoten postopek je kriticšen predvsem zaradi zahteve po izvajanju tekom predvajanja vsebine, zaradi cesar bomo pred menjavo pristopa preucšili cšasovno zahtevnost posameznih alternativnih deskriptovjev in pristopov z nevronskimi mrezami.
54