Metoda prilagodljivega uglaševanja slojev konvolucijskih nevronskih mrež pri strojnem učenju s prenosom znanja : doktorska disertacija

slovenski

doktorska dela

2021

Disertacije   globoko učenje   klasifikacija   konvolucijske nevronske mreže   optimizacija   Strojno učenje   učenje s prenosom znanja   uglaševanje slojev konvolucijskih nevronskih mrež

Univerza v Mariboru, Fakulteta za elektrotehniko računalništvo in informatiko

V doktorski disertaciji predstavimo problematiko izbire uglaševanih slojev konvolucijskih nevronskih mrež pri strojnem učenju s prenosom znanja. Z izvedeno analizo vpliva izbire uglaševanih slojev konvolucijske nevronske mreže na uspešnost učenja potrdimo domnevo, da je primerna izbira uglaševanih slojev s ciljem doseganja visoke klasifikacijske uspešnosti odvisna od izbrane arhitekture konvolucijske nevronske mreže ter ciljnega problema oz. izbrane podatkovne zbirke. Z namenom naslovitve problema izbire uglaševanih slojev razvijemo in predlagamo prilagodljivo metodo DEFT, ki temelji na algoritmu diferencialne evolucije in deluje popolnoma samodejno, ne glede na uporabljeno arhitekturo konvolucijske nevronske mreže ali ciljni problem. Zaradi velike časovne kompleksnosti predlagane metode v nadaljevanju razvijemo in predlagamo na funkciji izgube temelječo metriko LDM, ki v zgodnji fazi učenja uspešno zaznava manj primerne izbire uglaševanih slojev, kar nam omogoča, da za zaznane manj primerne izbire uglaševanih slojev predčasno zaključimo učenje in na tak način zmanjšamo časovno zahtevnost predlagane metode. Uspešnost predlagane metode ovrednotimo z uporabo treh različnih arhitektur globokih konvolucijskih mrež nad tremi raznolikimi slikovnimi podatkovnimi zbirkami. Klasifikacijsko uspešnost predlagane metode z in brez uporabe metrike LDM smo primerjali s klasičnimi pristopi učenja globokih konvolucijskih nevronskih mrež. Primerjavo izvedemo z uporabo najpogostejših klasifikacijskih metrik, časom, potrebnim za učenje, ter porabljenim številom epoh. Rezultate smo preverili z uporabo klasičnih metod statistične analize kot tudi z naprednim pristopom Bayesove analize. Izsledki slednje so potrdili tezo, da je mogoče z uporabo metode prilagodljivega uglaševanja slojev konvolucijske nevronske mreže uspešno nasloviti problem izbire slojev ter da lahko z uporabo metrike LDM za zaznavo manj primernih izbir uglaševanih slojev učinkovito zmanjšamo število epoh, potrebnih za učenje, ob doseganju primerljivih rezultatov.

07.08.2023