22 PRIMERJALNA ANALIZA TREH ORODIJ ZA IZGRADNJO IN UPORABO BAZE ZNANJA EKSPERTNEGA SISTEMA INFORMATICA 3/91 Keywords: expert system, knowledge base, automatic learning, credit worthiness, knowledge acquisition, expert system maintenance V. Rajkovič12, E. Delidžakova-Drenik3, B. Urh2 1 Fakulteta za organizacijske vede, Prešernova 11, Kranj 2 Institut »Jožef Štefan«, Jamova 39, Ljubljana 3 Ljubljanska banka d.d., Šmartinska 132, Ljubljana Abstract: A COMPARATIVE ANALYSIS OF THREE TOOLS FOR THE CONSTRUCTION AND USAGE OF KNOWLEDGE BASES IN EXPERT SYS- TEMS. In the paper a comparative analysis of three expert systems shells: Dex, Optrans and Assistant Professional is given. Dex is a specialised expert system shell for preference knowledge modelling in multiattribute decision making. Op-trans is a general purpose expert system shell that offers some additional modules, which make it particularly convenient for financial modelling. Assistant Professional is an expert system shell based on automatic learning from given examples. These tools were used for the estimation of credit worthiness in a banking environment. The comparison deals with knowledge acquisition, representation and usage for credit worthiness evaluation. The goal of the paper is to illustrate and discuss advantages and disadvantages of the tools. On this basis, a complementary use of the tools can be employed in order to improve the effectiveness of the process of knowledge base construction, usage and maintenance. Povzetek: V referatu je podana primerjava uporabe treh lupin ekspertnih sistemov: Dex, Optrans in Assistant Professional. Dex je specializirana lupina za modeliranje preferenčnega znanja v okviru večparametrskega odločanja. Optrans je splošna lupina ekspertnega sistema, ki je skupaj z dodatki še posebej primerna za finančno modeliranje. Assistant Professional pa je lupina ekspertnega sistema, ki temelji na zajemanju znanja z učnimi primeri ob uporabi metod avtomatskega učenja. Vsa tri orodja so bila uporabljena za ugotavljanje bonitete poslovnega partnerja banke. Primerjava se nanaša na zajemanje znanja in njegovo predstavitev v bazi posameznega sistema in na uporabo tega znanja pri ugotavljanju bonitete partnerja. Namen tega prispevka je prikazati dobre in slabe strani posameznih orodij. Na tej osnovi lahko načrtujemo njihovo komplementarno uporabo, ki omogoča učinkovitejši proces izgradnje, uporabe in vzdrževanja ekspertnega sistema. 23 1 Uvod Na> trgu so dosegljiva različna orodja za izgradnjo in uporabo baz znanja ekspertnih sistemov. Poleg vprašanja, katero orodje uporabiti v dani situaciji, se nam zastavlja tudi vprašanje o morebitni smiselnosti uporabe več orodij. To lahko razumemo tudi kot iskanje rešitev za učinkovitejše zajemanje znanja v pogledu razreševanja Feigen-baumovega ozkega grla (Feigenbaum 1977). V splošnem nas zanima možnost doseganja sinergije z uporabo komplementarnih pristopov, ki jih nudijo različna orodja. Na primer, gradnja baz znanja po več različnih poteh nas lahko pripelje do boljših baz znanja v pogledu količine znanja, pa tudi njegove razumljivosti in preverljivosti. Splet uporabe več orodij odpira tudi nekatere možnosti dograjevanja, preverjanja in različnih artikulacij znanja, kar je še posebej dobrodošlo v procesu vzdrževanja baz znanja ekspertnih sistemov. Da bi v diskusiji in zaključku tega prispevka lahko odgovorili na nekatera izmed teh vprašanj, bomo v nadaljevanju predstavili problem izgradnje in uporabe baze znanja za bančni ekspertni sistem "Boniteta", ki je bil razvit v Ljubljanski banki (Delidžakova-Drenik et al. 1989). Pri tem so uporabljene tri različne lupine ekspertnih sistemov: Optrans, Dex in Assistant Professional. Vsa ta orodja tečejo na osebnih računalnikih tipa IBM-P C in so komercialno dosegljiva. 2 Primer izgradnje in uporabe baze znanja 2.1 Dex Dex je specializirana lupina ekspertnega sistema za večparametrsko odločanje, ki je bila razvita na Institutu "Jožef Štefan" v Ljubljani CBohanec, Rajkovič 1991, DEX 1989). Odločitveni prostor znanja predstavljajo parametri, kazalci, atributi oz. kriteriji, ki so drevesno organizirani. Povezava podrednih parametrov v nadredne je osnovana na preferenčnem znanju, ki je izraženo s preprostimi produkcijskimi pravili (Bohanec et al. 1988, Ra-jkovič, Bohanec 1990). 2.1.1 Baza znanja Bazo znanja predstavlja drevo parametrov in pravila združevanja ocen posameznih parametrov v ocene višje ležečih parametrov v drevesu. Za primer bonitete je drevo parametrov predstavljeno na sliki 2. Poleg parametrov so tudi njihovi opisi in zaloge vrednosti, ki jih lahko posamezni parametri zavzamejo. Slika 1 prikazuje tabelo pravil povezovanja treh parametrov: REV_DOH, PROF_ST in ST.RENT v agregirano oceno DOHODEK. Kako čitamo tako tabelo pravil? Prva tri pravila povedo, da je dohodek ocenjen slabo, če je vsaj eden izmed izhodiščnih treh parametrov na spodji meji, tj. zavzema vrednost slabo. Zvezdica (*) pomeni katerokoli vrednost. Četrto pravilo pove, da je dohodek srednji, če je revalorizacijski dohodek ocenjen z dobro, profitna stopnja s srednje in stopnja rentabilnosti z oceno, ki je večja ali enaka oceni srednje. V našem primeru imamo 7 takih tabel, za vsak nadredni parameter po eno. Primer, ki ga obravnavamo z navedenimi orodji, .se nanaša na boniteto v bančnem smislu. Z boniteto je mišljena ocena poslovnega partnerja, da v roku vrne odobreni kredit in plača obresti. Čim večja je boniteta poslovnega partnerja, tem manjši je riziko poslovanja banke. Zato je ocenjevanje bonitete partnerja, ki mu dajemo kredit, pomembna mera za zmanjšanje rizičnosti poslovanja in zagotavljanje likvidnosti banke (Delidžakova-Drenik, Mavec 1989). Pri delu z bazo znanja so bila uporabljena vsa tri orodja. V posameznih fazah uporabe so se pokazale različne prednosti in slabosti, ki jih ilustriramo v tem razdelku. rev_d0h 1. slabo 2. * 3. * 4. dobro 5. dobro 6. dobro PR0F_ST * slabo * srednje >=srednje dobro ST_RENT. * * slabo >=srednje srednje dobro . DOHODEK slabo slabo slabo srednje srednje dobro SI. 1: Tabela pravil za ugotavljanje parametra DOHODEK v sistemu DEX 24 Parameter Opis parametra Vrednosti parametra BONITETA UIZICNOST —ST_LIK_ZAD KAZ_14 KAZ_13 IZJtKP STE_PLAS -LIKVIDNOST LIK_A j—ST_LIK_OZ h—ST_LIK_Sl I—LIK_B I—OK_DNI ES_DNI L-up_SB_NB LIK_C I—DOS__ML LST_LIK_NB •-DOHODEK I—REV_DOH |—PBOF_ST I—3T RENT ocena bonitete poslovnega partnerja rizičnost naložb prejeti LK / sredstva dvomljive terjatve / rizične naložbe sklad solid.odg. / rizične naloZbe izkoriščenost kratk.kred.potenciala struktura plasmajev likvidnost poslovnega partnerja stopnja oZje likvidnosti stopnja Širše likvidnosti medbančno kreditiranje St.dni uporabe obvezne rezerve St.dni uporabe rezervnega sklada uporaba sredstev pri NB doseganje posebne likvidnosti doseganje minimalne likvidnosti stopnja likvidnosti pri NB dohodkovna uspeSnost posl.partn. revalorizacijski dohodek profitna stopnja stopnja rentabilnosti slabo, viaoka, slabo, slabo, 'slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, slabo, Blabo, slabo, slabo, srednj e, srednja dobro dobro dobro dobro dobro srednje, srednje, dobro dobro dobro srednje, srednje, dobro dobro srednje, dobro srednje, dobro srednje, dobro srednje, srednje, dobro , nizka dobro dobro dobro dobro dobro dobro dobro dobro dobro SI. 2: Drevo parametrov ocenjevanja bonitete v sistemu DEX Z Dexom smo sorazmerno enostavno kreirali bazo znanja. Čeprav mora drevo parametrov zgraditi ekspert oz. ekspertna skupina, kar je vsekakor zahteven miselni proces, pa je s tem podan celovit pogled na domeno znanja. V drugem koraku eksperti v dialogu z računalnikom artikulirajo pravila, ki so relativno enostavna (podproblemi). Njihovo konsistentnost in pokritost problemskega prostora pa zahvaljujoč strukturi parametrov lahko avtomatsko nadziramo in vodimo v dialogu, ki ga omogoča DEX. 2.1.2 Ocenjevanje bonitete Za vsakega poslovnega partnerja moramo zbrati podatke po osnovnih parametrih. Primer za enega partnerja, ki ga želimo oceniti, kaže slika 3. V Dexu smo namesto numeričnih kvantitativnih kazalcev uvedli opisne vrednosti, ki jih dobimo s pravili pretvarjanja, kot na primer za stopnjo rentabilnosti (ST_RENT): numerični podinterval opisna vrednost 1. slabo < 0 % 2. srednje > 0 % in < 2 % 3. dobro > 2 % Parameter številska opisna vrednost vrednost ST_LIK_ZAD 11.81 dobro KAZ_14 0 dobro KAZ_13 2.1 slabo IZJCKP 33.08 dobro STR_PLAS 110 dobro ST_LIK_OZ 726.26 dobro ST_LIK_ŠI 289.37 dobro KAZ_11 166851 dobro OR_DNI 3 srednje RS_DNI 5 dobro UP_SR_NB 0 dobro DOS_PL 3072.62 dobro DOS_ML 382.47 dobro ST LIK_NB 5.9 dobro REVJDOH 8507 dobro PR0FJ3T 10.84 dobro ST_RENT 0.27 srednje SI. 3: Primer podatkov poslovnega partnerja, ki ga želimo oceniti Ko podatke o varianti vstavimo v računalnik, dobimo s pomočjo pravil ocene po vseh parametrih v drevesu, vključno s končno oceno. Tak izpis podaja slika 4. Možna pa je tudi agregirana razlaga, kjer so izpisane le vrednosti tistih parametrov, ki so bistveno vplivali na končno oceno. 25 BONITETA dobro I—RIZIČNOST srednja -ST LIK ZAD dobro -KAZ 14 dobro -KAZ 13 slabo -IZ KKP dobro -STR PLAS dobro -LIKVIDNOST dobro -LIK A dobro —ST LIK OZ dobro -ST LIK SI dobro —KAZ 11 dobro -LIK B dobro -OR DNI srednje -RS DNI dobro L-UP SR NB dobro lLIK C dobro -DOS PL dobro -DOS ML dobro LST LIK NB dobro DOHODEK srednje -REV DOH dobro -PROF ST dobro ST_RENT srednje SI.4: Ocena bonitete partnerja v sistemu DEX 2.2 Optrans To je integrirano programsko orodje za razvoj ekspertnih sistemov, ki ga je razvila firma "Systems informatiques de gestion" iz Francije (PC-OPTRANS EXPERT 1988). Poleg same lupine ekspertnega sistema Optrans vsebuje tudi module za delo s podatki in modeli. V osnovi je namenjen reševanju poslovnih problemov s posebnim poudarkom na finančnem modeliranju (Klein, Methlie 1990). 2.2.1 Baza znanja Znanje je predstavljeno s produkcijskimi pravili tipa ČE-POTEM. V bazi ekspertnega sistema "Boniteta" za potrebe ugotavljanja bonitete bančnega partnerja je 117 pravil. Primer teh pravil kaže slika 5. To so pravila za ugotavljanje dohodkovne uspešnosti na osnovi revalorizacijskega dohodka, profitne stopnje in stopnje rentabilnosti. Pravila smo dobili v razgovoru z bančnimi eksperti, tako da baza znanja predstavlja artikulirano znanje ekspertov. Težave so bile pri zagotavljanju celovitosti znanja in konsistentnosti pravil. IF revalor-dohodek < 0 AOR proiUna_stopnja < 0 AOR slopnjajenlab < 0 THEN FACTS-DEDUCED dohodek IS slabo CRITERIA.TO-EXAMINE slop MESSAGE Dohodek banke je slab. FINISH-RULE IF revalor-dohodek > 0 AND profitna-stopnja > 0.4 AND sLopnja_rentab > 2 THEN FACTS-DEDUCED dohodek IS dobro CRITERIA.TO-EXAMINE stop MESSAGE Dohodek je dober. FINISH-RULE IF revalor-dohodek > 0 AND profitna-stopnja > 0.4 AND stopnja_rentab < 2 AND stopnja_rentab > 0 THEN FACTS-DEDUCED dohodek IS srednje CRITERIA.TO-EXAMINE stop MESSAGE Dohodek je srednji. FINISH-RULE SI. 5: Nekaj pravil za oceno dohodkovne uspešnosti v sistemu Optrans ** * Ocena likvidnosti ** * Odstotek doseganja posebne likvidnosti presega predpisano mejo 100 %. Odstotek doseganja minimalne likvidnosti je nad 200 %. CJikv je dobra. AJikv je dobra. Likvidnost je dobra. ** * Ocena rizičnosti ** * Sklad solidarne odgovornosti ne dosega 3 % rizičnih naložb. Kaz-13 znaša 2.10 %. Izkoriščenost KKP znaša 33.08 % in je v rnejah predpisane vrednosti 40.00 %. Struktura plasmajev (110.00 %) zadošča predpisani vrednosti 85 %. Dvomljive terjatve znašajo manj kot 5 % rizičnih naložb. Kaz_14 znaša 0.00 %. Rizičnost je srednja. ** * Ocena dohodkovne uspešnosti ** * Banka dosega revalorizacijski dohodek. Profitna stopnja v višini 10.84 % je odlična. Stopnja rentabilnosti v višini 0.27 % je srednja. Dohodek je srednji. SI. 6: Ocena bonitete z Optransom 2.2.2 Ocenjevanje bonitete Za poslovnega partnerja, ki ga želimo oceniti, moramo imeti podatke kot je primer na sliki 3. Ekspertni sistem pa nam postreže z oceno bonitete, ki jo pripiše temu partnerju. Izpis je na sliki 6. Kot vidimo, je boniteta ocenjena z oceno dobro izmed treh možnih ocen (slaba, srednja, dobra), ki izvira iz delnih ocen likvidnosti, rizičnosti in dohodkovne uspešnosti partnerja. Poleg tega je možno dobiti tudi izpis vseh pravil, ki so bila uporabljena v tem postopku ocenjevanja. 26 2.3 Assistant Professional Ta lupina ekspertnega sistema omogoča avtomatsko generiranje baze znanja na osnovi učnih primerov. Razvita je bila v sodelovanju med Fakulteto za elektrotehniko in računalništvo v Ljubljani in Institutom "Jožef Štefan". Posebej primerna je povsod tam, kjer ekspertizo posedujemo v obliki ustrezno rešenih primerov kake ekspertne domene (Cestnik et al. 1987). Osnovni algoritem je privzet iz sistema ID3 (Quinlan 1987) in dopolnjen z mnogimi izboljšavami, predvsem v smislu obvladovanja nezanesljivih in nepopolnih podatkov. 2.3.1 Baza znanja Kot smo že omenili, potrebujemo za izgradnjo baze znanja učne primere, to je ocene konkretnih bonitet partnerjev, ki smo jih zbrali pri svojem delu v preteklosti. Primere opišemo s standardnimi kazalci in pripišemo boniteto, ki se je v praksi potrdila. Assistant Professional generira odločitveno drevo, ki ga v obravnavanem primeru kaže slika 7. Čeprav je nabor kazalcev enak kot pri prejšnjih dveh lupinah, je struktura zapisa znanja v odločitvenem drevesu drugačna. Eden izmed ciljev gradnje drevesa v sistemu Assistant Professional je namreč kar najbolj kompaktno predstaviti znanje, ki je kodirano v učnih primerih. 2.3.2 Uporaba baze znanja Ko želimo s tem sistemom oceniti boniteto kakega partnerja, vnesemo njegove podatke in sistem v skladu z odločitvenim drevesom oceni boniteto. Tako ocenjevanje je še posebej primerno, če nam vrednosti nekaterih parametrov manjkajo. Na sliki 8 je prikaz ekrana po vnosu le štirih (vendar bistvenih) vrednosti kazalcev. Na osnovi teh vrednosti sistem ugotavlja, da je z verjetnostjo blizu 94% boniteta partnerja dobra in le s približno 6% srednja. < 3, kaz J 3 3 < stopnjajikv jožja 100 < kaz.ll 6.5 < rs_dni_upr slabo .m < srednje stopnjajikv jažja 100 < revalor-dohodek 0 < kaz .13 3 < strukt-plasmajev srednje dobro 57.7: Odločitveno drevo za ocenjevanje bonitete sistema Assistant Professional 27 ATTRIBUTE VALUE odstot doseg PL 3072.620 izkoriščenost KKP 33.080 stopnja rentab 0.270 revalor dohodek 8507.000 opr sred NB unknown stopnja likv NB unknown odstot doseg ML unknown - Tree only - Select value for izkoriščenost KKP 33 , 080 4 CLASS dobro srednje slabo PROB. 93.878 6.122 0.000 SI. 8: Izračun verjetnostne porazdelitve bonitetnega razreda ob le štirih znanih podatkih v sistemu Assistant Professional 3 Diskusija Prikazani sistemi se pomembno razlikujejo tako v zajemanju znanja, kot tudi v načinu uporabe. Dex in Optrans zahtevata eksplicitno artikulacijo znanja. V Optransu le-ta poteka podobno kot pri običajnih lupinah ekspertnih sistemov, znanje formuliramo z množico produkcijskih pravil. V Dexu poteka artikulacija znanja v dveh korakih. Najprej identificiramo drevo parametrov, zatem pa še pravila povezovanja, tj: medsebojne vplivnosti parametrov na višje ležeče (agregi-rane) parametre v drevesu. Kot smo že omenili, ta način zajemanja znanja olajša zagotavljanje celovitosti problemskega prostora. Postopnost in artikulacija vsebinsko zaokroženih podmnožic pravil (v našem primeru sedmih tabel pravil) pa razbremeni človeka, saj se le-ta ukvarja s praviloma enostavnejšimi podproblemi. Oboje ima za posledico enostavnejši in hitrejši proces zajemanja znanja. Assistant namesto eksplicitno artikuliranega znanja potrebuje učne primere in nato na njihovi osnovi zgradi bazo znanja v obliki odločitvenega drevesa. Njegova uporaba je posebej priporočljiva takrat, ko ustrezni učni primeri obstajajo, na primer kot dokumentacija dodeljevanja kreditov v preteklosti. V pogledu uporabe baze znanja in razlage ocen bonitete nam Optrans omogoča zelo prijazno komunikacijo po zaslugi razlage (komentarjev) v domačem jeziku. Dex ima praviloma bolj zgoščen izpis rezultatov, ki je primernejši za medsebojno primerjavo več ocen. Pomembna prednost Assistanta je enostavna in učinkovita uporaba sistema ob nepopolnih ali nezanesljivih podatkih. Če na koncu povzamemo, lahko rečemo, da je smiselno pričeti z artikulacijo znanja z Dexom, nato pa bazo znanja preliti v Optrans in ga operativno uporabljati. Poleg razkošnih opisov rezultatov in razlag je pomembna tudi uporaba Optransovih modulov za pripravo in izračun konkretnih numeričnih podatkov. Če pa imamo na razpolago primere konkretnih ocen, npr. v kakem preteklem obdobju poslovanja banke s svojimi partnerji, uporabimo Assistanta. S tem po drugi poti pridemo do baze znanja, kar nam omogoča primerjalno analizo z artikuliranimi bazami znanja, npr. v Dexu ali Optransu. 4 Zaključki Pokazali smo pomembne prednosti posameznih orodij v različnih fazah izgradnje in delovanja ekspertnega sistema za določanje bonitete. S kombinirano rabo opisanih treh lupin ekspertnega sistema hitreje in enostavneje pridemo do baze znanja, jo preverjamo in dopolnjujemo. Prilagajamo pa se tudi različnim zahtevam uporabe od poglobljene analize posamezne ocene do ocenjevanja v primeru, ko nekateri podatki manjkajo. Povedano nas navaja na misel o izgradnji novih prilagodljivih integriranih orodij kot tudi na uporabo obstoječih orodij, ki jih mora sam uporabnik kombinirati in prilagajati svojim potrebam. 28 Zalivala Za nasvete in pripombe pri našem delu se želimo zahvaliti avtorjem uporabljenih lupin ekspertnih sistemov dr. Marku Bohancu, mag. Bojanu Cestniku in prof.dr. Michelu Kleinu. Zahvalo smo dolžni tudi diplomantkama Fakultete za organizacijske vede v Kranju Darji Habicht in Jani Seražin, ki sta v okviru svojih diplomskih del izvedli nekatere eksperimente, ki so prispevali k primerjalni analizi uporabljenih orodij. Literatura Bohanec, M., Gyergyek, L., Rajkovič, V., Večparametrsko odločanje, podprto z lupino ekspertnega sistema, Elektrotehniški vestnik, vol. 55., št. 3-4 (Ljubljana, 1988), 189-198. Bohanec, M., Rajkovič, V., DEX : An Expert System Shell for Decision Support, Sistemica, Vol.1, Nr.l, 1990, pp. 145-158. Cestnik, B., Kononenko, I., Bratko, I., "ASSISTANT 86": A knowledge elicitation tool for sophisticated users, Sigma Press, 1987. Delidžakova-Drenik E., Mavec, A., Analysis of a knowledge-based system in use, Eurobanking, Heemskerk, The Netherlands, 1989. Delidžakova-Drenik E., Stariha, M., Mavec, A.. Razvoj i uvodjenje ekspertnog sistema za odredji-vanje boniteta banaka, Zbornik radova SYM-SP-IS, 1989. DEX - An expert system shell for multi-attribute decision-making, User's Manual, "J.Stefan" Institute, Ljubljana, 1989. Feigenbaum, E.A., The art of artificial intelligence: Themes and case studies of knowledge engineering, Pub.no. STAN-CS-77-621, Stanford University, Dept. of Computer Science, 1977. Klein, M., Methlie, B.L., Expert systems: A decision support approach - With applications in management and finance, Addison-Wesley, 1990. Kononenko, I., Cestnik, B., Bratko, I., ASSISTANT PROFESSIONAL User's Guide, Institut "Jožef Stefan", Ljubljana, 19S8. PC-OPTRANS EXPERT, Manual de 1'utilisa-teur, Systemes informatiques de gestions, Jouy-en-Josas, 1988. Quinlan, J.R., Generating rules from decision trees, IJCAI, 1987. Rajkovič, V., Bohanec, M., Decision Support by Knowledge Explanation, in Environments for supporting decision processes (Sol, G.H., Vecsenyi, J., - eds.), North-Holland, 1991, pp. 47-57.