URN_NBN_SI_doc-CKREDCV0

129 Pri vrednotenju je zato mogoče spremljati več dejavnikov, predvsem pa dva: - število krnov (oz. množic besed), ki jih algoritem izdela za en semantičen pomen – kar je premalo natančno krnjenje; - število napačno uvrščenih besed – oz. premočno krnjenje. Odločili smo se, da se bomo pri vrednotenju delovanja algoritmov predvsem omejili na premalo natančno krnjenje. Le-to pri poizvedovanju vodi v zmanj- ševanje odziva, kar pomeni, da med zadetki ne bo vseh relevantnih dokumen- tov v podatkovni zbirki. Nismo testirali premočnega krnjenja, ki je sicer pomem- bno za natančnost. Pomeni, da so med zadetki tudi nerelevantni dokumenti. V primeru, da sistem npr. okrni besedi avtor in avtorizacija na isti krn, bi pri poizvedovanju dobili dokumente, ki govorijo o obojem, česar pa ne želimo. Zavedamo se, da prihaja tudi do tega pojava, ker pa smo izkustveno ugotovili, da je premalo natančno krnjenje veliko bolj izrazito, nas je to vodilo do odločitve, da ga izberemo kot kriterij vrednotenja. Potrebno je sicer še enkrat opozoriti, da gre pri referenčnem rezultatu za ročno oz. intelektualno oblikovane semantično povezane skupine besed, kar je v realnem okolju živega jezika nemogoče doseči z avtomatskimi metodami kr- njenja. Zato smo domnevali, da bomo pri pregledovanju rezultatov delovanja posameznega algoritma ugotovili, da se posamezen rezultat lahko idealnemu približa, lahko mu je enak, ne more pa ga preseči. Naša domneva je bila torej, da bodo med rezultati delovanja algoritmov značilne razlike, ki smo jih posku- šali tudi statistično dokazati. 4.3 Rezultati primerjave algoritmov 4.3.1 Primerjava Optimalnega, Generičnega in Popovičevega algoritma V statistični analizi smo uporabili neparametrični Kruskal-Wallisov test ali krajše H test, namenjen primerjavi več vzorcev (Adamič, 1995). Številu ekvi- valenčnih razredov (oz. krnov), ki jih algoritem izdela za en referenčni razred, je bila izbrana naključna spremenljivka. Ničelna hipoteza H 0 trdi, da med al- goritmi ni razlik, torej da se ne razlikujejo glede na število proizvedenih ekvi- valenčnih razredov. Dobljene razlike so zgolj naključne. Nasprotno tej postavi- mo osnovno hipotezo H 1 , da se algoritmi razlikujejo, oz. da število ekviva- lenčnih razredov, ki jih izdelajo, ni enako. Tabela 1 prikazuje rezultate delovanja vsakega izmed algoritmov. Prikazuje, koliko krnov oz. ekvivalenčnih razredov je izdelal posamezen algoritem v primerjavi z referenčnim rezultatom krnjenja. Dodani so tudi rangi posameznih rezultatov. Tako je npr. Optimalni algoritem v 5.563 primerih izdelal rezultat, Vilar, P.; Maver, J. Krnjenje slovenskih besedil s področja bibliotekarstva