STHOKOVNIS UAZl'HAVB Razvoj tržnega portfei ja za vrednotenje programov izobraževalne dejavnosti Tanja (lievski (1). Vladislav Rajkovič (2,3) (1) SRC d.o.o.. Tržaška 118, 61000 Ljubljana (2} Fakulteta za organizacijske vede, Prešernova 11, 64000 Kranj (3) Institut Joief Stefan. Jamova 39, 61000 Ljubljana POVZETEK Članek obravnava vrednotenje programov izobraževalne dejavnosti v okviru razvoja tržnega portfelja. Oceniti želimo izobraževalne programe in jih primerjalno analizirati s pomočjo matrike portfelja. Vmestitev rezultatov ocenjevanja v matriko pomeni agregacijo številnih dejavnikov (kriterijev) uspešnosti v dve dimenziji, kot sta v izbranem primeru konkurenčna sposobnost in tržna privlačnost. Agregacija je izvedena s pomočjo lupine ekspertnega sistema DEX. Na ta način je omogočena ne le transparentnost postopka in razlaga ocen, ampak tudi uporaba kvalitativnih meril. Ključne besede: strateško planiranje, izobraževalni programi, večparametrsko odločanje, ekspertni sistemi, analiza portfelja ABSTRACT Portfolio Analysis of Educational Programmes The paper deals with the evaluation of educational programmes using portfolio analysis. The programmes involve different seminars and courses, mainly from the fields of computer and informatics. The aim of the evaluation is to position programmes in the portfolio matrix, based on two main dimensions: (1) competitive ability and (2) market attractiveness. Each of those is an aggregation of several other factors (criteria). The aggregation model was developed by an expert system shell DEX, specialised for multi-attribute decision making. The shell facilitates the transparency of the process, t/ie explanation of results and the usage of qualitative measures. Key words: Strategic planning. Educational programmes. Multi-attribute decision making, Expert systems, Portfolio analysis Uvod Ključno vlogo za uspešnost vsakega podjetja igra strateško planiranje (Bamett, Wilsted 1989a, 1989b). I/bor prave strategije ne sme biti naključen. Temeljil naj bi na Čim bolj realni analizi sedanjosti. Eno od orodij strateškega planiranja je analiza s portfeljem (Neubauer 1991, Krisper et al 1991). Matrika portfelja nam nudi pregled trenutnih položajev programov dejavnosti podjetja, njihovo razlago (zakaj je kakšen program slab, dober ali pa odličen itn.) ter smernice njihovega razvoja (v katerega se splača vlagati, katerega je treba opustiti ipd,); Ta članek obravnava analizo portfelja, ki temelji na uporabi ekspertnega sistema, ki je praktično preizkušen na realnih izobraževalnih programih (Bandžova 1994). Ekspertni sistem je zgrajen z lupino ekspertnega sistema za večparametrsko odločanje DEX. Zelo pomem- bna karakteristika tega pristopa je transparentnost znanja. To pomeni, da ima uporabnik v katerikoli fazi svojega dela pregled nad modelom, doseg do vseh vrednosti in uporabljenih pravil ter lahko dobi razlago vrednotenja. Ničmanj pomembna ni možnost različnih simulacij preko spreminjanja vrednosti parametrov oziroma t, i. kaj-če analiza (Bohanec et al 1988, Klein, Meth-lie 1990). Izobraževalni programi so ocenjeni z dveh vidikov in sicer z vidika njihove konkurenčne sposobnosti in tržne privlačnosti. To sta tudi osnovna parametra vrednotenja v ekspertnem sistemu. ■ Ocena konkurenčne sposobnosti nam da odgovor na vprašanje, kaku močna ali šibka je konkurenčna sposobnost posameznega programa, torej izkaže notranjo moč. i/fJonifniolNFO-RMATIKA Stkokovm-: uazi'(u\t. a Ocena tržne privlačnosti nam da odgovor na vprašanje, kako privlačno je tržišče za posamezen program. DEX - lupina ekspertnega sistema DEX (Decision EXpert) je lupina ekspertnega sistema za podporo odločanju in temelji na metodologiji, ki kombinira večpara metrsko odločanje z ekspertnim sistemom (Bohanec, Raj kovici 990). Uporabljamo jo za podporo kompleksnih odločitev. Te pa izhajajo iz problemov, ki imajo naslednje lastnosti: h zapleteni, negotovi in nepopolni cilji ■ veliko število parametrov, ki vplivajo na odločitev ■ slabo definirane variante ■ veliko število variant ■ različne odločitvene skupine z različnimi zahtevami ■ časovne omejitve Pri teh odločitvenih problemih so podane variante in cilji, poiskati pa je potrebno varianto, ki najbolj ustreza ciljem ali urediti variante po stopnji zaželjenosti (od najboljše do najslabše). Razvoj baze znanja za potrebe tržnega portfelja Kot smo že omenili, sta bili izbrani koordinati matrike tržnega portfelja konkurenčna sposobnost in tržna privlačnost izobraževalnega programa. Da bi dobili oceno posameznega programa v okviru teh dveh kazalcev in s tem njegovo pozicijo v matriki, smo za vsako koordinato razvili bazo znanja v DEX-u. Razvoj je potekal po naslednjih fazah: ■ določanje odločitvenih kriterijev (parametrov, atributov) za opis izobraževalnih programov, ■ strukturiranje kriterijev v semantično drevo tako, da so kriteriji višjih nivojev odvisni od svojih podred-nih kriterijev v drevesu, ■ določanje funkcij koristnosti t.i. odločitvenih pravil, ki določajo načine združevanja vrednosti kriterijev iz nižjih nivojev v vrednost njihovega nadrejenega kriterija {po principu 1F-THEN). Z vidika konkurenčne sposobnosti so variante vrednotene po kriterijih strukturi ran i h v semantično drevo, ki ga prikazuje slika 1. Slika prikazuje tudi zaloge vrednosti vsakega kriterija. Z vidika tržne privlačnosti so variante vrednotene po kriterijih strukturiranih v semantično drevo in z vrednostmi iz zalog vrednosti kot prikazuje slika 2. Vrednotenje izobraževalnih programov Vrednotenje poteka po listih semantičnih dreves. Poznavalci izobraževalnih programov le-te ocenijo z vrednostmi osnovnih kriterijev- listov. Vrednosti ostalih (izvedenih) kriterijev se izračunajo na osnovi definiranih Slika 1: Semantično titevo kriterijev konkurenčne sposobnosti Kriterij Opis Domena KONK SPOSOB tečaj FINANČ JJSPEŠ VSEBINA STABILNOST ZAOKROŽ TEČ CELOVJZVED OMEJITVE ŠT_U DELEŽ PREDZNANJE KADRI ŠTEVILO VSEH LASTNIN USPOSOBU STROKOVNA PEDAGOŠKA STOPJZOBR POGOJI PROSTORI KAKOVOST FLEKSIBIL OPREMA RAČ OPREMA OSTALA_OPR GRADIVO DODAT PON Konkurenč. sposob. izobraž. pragr. Ocena teč. v širšem pomenu besede Finančna uspešnost programa Ustreznost vsebine Pogostost vsebinskih sprememb Zaokroženost tečaja Celovitost izvedbe o z. organi» ranost Omejitve tečaja Število udeležencev Potreba po predznanju Kadri število predavateljev Število vseh predavateljev Število lastnih predavateljev Usposobljenost predavateljev Strokovna usposobljenost kadrov Pedagoška usposobljenost Kadrov Stopnja izobrazbe Pogoji za delo Prostori kjer se izvajajo tečaji Kakovost prostorov Fleksibilnost prostorov Opremljenost prostorov Računalniška oprema Ostala oprema (tabla, grafoskop, .,.) Gradivo Dodatna ponudba (bivanje, kava, ..) nizka, srednja, visoka, zelo visoka slab, dober, zelo dober, odličen izguba, po k. stroš., m_d običe k, v_ d ob. neprimerna, primerna, zelo primer, mala, srednja, velika manjša, večja slaba, dobra, odlična so zelo velike, so, jih ni omejeno, neomejeno je potrebno, ni potrebno neprim., primer., z_primer,, odlični nezadostno, zadostno, odlično nezadostno, zadostno, odlično nezadostno, zadostno, odlično slaba, dobra, odlična srednja, dobra, odlična slabša, boljša < visoka, visoka, > visoka nepnm., primer., z pnmer., odlični neustrezni, ustrezni, zelo ustrezni nezadostna, dobra, odlična slaba, dobra, odlična slaba, dobra, odlična Slaba, dobra, odlična slaba, dobra, odlična Slabo, dobro, odlično slaba, dobra, odlična 16 upmibi INFORMATIKA STKOKOVNIÍ HAZJ'IWE Slika 2: Semantično drevo kriterijev trine privlačnosti Kriterij Opis Domena TRŽNA PR1VL TEČAJ FLEKSIBIL VSEBINE TERMINA LOKACIJE INTERES UGLED AVTOR IZ MNENJE_STR PRIMERJANE TRŽENJE NAČINI PRQSP_POŠTA OSEB_ŠTIKI OGLAŠEV CELOVIT_PON TRŽIŠČE KONKURENCA PRISOTNOST CENA TRG VELIKOST NAŠ^DELEŽ ZAHTEVNOST Privlačnost trga za izobraž. program Tečaj gledan skozi tržišče Fleksibilnost, prilagodljivost tečaja Fleks. vsebine (prilagoditev stranki) Fleks. termina (prilag. term. stranki) Fleks. lokoc. (prilag. lokac. stranki) Zanimanje po izobraževal, programu Ugled tečaja Certifikati o avtorizaciji distribucije Mnenje strank o kakovosti tečaja Primernost cene Trženje ozobraževalnih programov Načini trženja Uporaba prospektov in poŠte Uporaba osebnih stikov Uporaba oglaševanja v medijih Povezanost z ostalimi tečaji Vpliv tržišča takšnega kot je Razvitost konkurence na trgu Prisotnost konkurence na trgu Cena konkurence Zanimivost trga Velikost trga Naš delež na trgu Zahtevnost trga slaba, dobra, zelo dobra, odlična slab, dober, zelo dober, odličen slaba, dobra, odlična slaba, dobra, odlična slaba, dobra, odlična slaba, dobra, odlična majhen, srednji, velik slab, dober, odličen ne, da slabo, dobro, odlično neprimerna, primerna, zelo primer, neprim., primer., z_primer,, odlič. neprimerni, primerni, zelo primerni ni, v manjši meri, v večji meri ni, v manjši meri, v večji meri ni, mali, veliko brez pov,. manjša, el. celov. pon. neprim,, primer., zprimer., odlič. zelo močna, močna, šibka je prisotna, nt prisotna nižja, enaka, višja nezanimiv, zanimiv, zelo zanimiv majhen, srednji, velik slab, dober, odličen velika, srednja, majhna funkcij koristnosti 02. odločitvenih paravil v DEX-u. Slika 3 prikazuje definicijo odločitvenih pravil za parameter konkurenčna sposobnost. Pravilo 20 interpretiramo takole: Če je tečaj odličen, kadri zelo primerni ali odlični (> = zelo primerni) in pogoji zelo primerni ali odlični (>= zelo primerni) potem je konkurenčna sposobnost zelo visoka. Slika 4 prikazuje oceni programov T5 in T6. Nizka konkurenčna sposobnost programa T6 je rezultat predvsem neprimernih kadrov, to pa zaradi nezadostnega števila predavateljev ter ne najboljši usposobljenosti teh (posebej pedagoški). Pri tržni privlačnosti se pri tem programu kot glavna slabost izkaže neprimerno tržišče, predvsem zaradi nezanimivega trga in majhnega interesa. Posebna lastnost DEX-a je sposobnost razlage rezultatov na način prikazovanja prednosti in slabosti vrednotenih programov (Bohanecet al 1988). Primer za konkurenčno sposobnost programa T6 je prikazan na sliki 5. Slika 3: Odločitvena pravila za konkurenčno sposobnost TEČAJ KADRI Ji slab <=z_primer. 2. zelo dober <= z^primer. 3. * neprim. 4. * < = primer. 5, slab * 6. <= dober * 7. < = dober neprim. 8. odličen > = z pri mer. 9. > - zelo dober odlični 10. dober primer. 11. dober: zelo dober primer. 12. dober >= primer. 13. > = zelo dober neprim. 14. slab odlični 15. odličen primer. 16. zelo dober >= z_primer. 17. > = zelo dober >= z_pnmer. 18. > = zelo dober primer. 19. dober >= pri mer. 20, odličen > = z_primer. 21. > = zelo dober >= zprimer. pogoji konk. sposos ir nizka neprim. nizka < = primer. nizka neprim. nizka < = z primer. nizka neprim. nizka * srednja neprim. srednja neprim. srednja >= primer. srednja primer. srednja primer. srednja > = z_primer. srednja odlični srednja > = primer. visoka primer.: z primer. visoka primer. visoka >= zjDrimer. visoka >= z_primer. visoka >= 2_primer. zelo visoka odlični zelo visoka iqxmibiud NFORM ATIKA Stiiokovni; lazntvvi: Slika 4; Ocene izobraževalnih programov TS in T6 v pogledu tržne privlačnosti in konkurenčne sposobnosti T5 T6 TRŽNA PRIVL z_dobra slaba TEČAJ Odličen dober FLEKSIBIL odlična dobra VSEBINE odlična dobra TERMINA odlična dobra LOKACIJE dobra dobra INTERES velik majhen UGLED odličen dober AVTORIZ da da MNENJE STR odlično dobro PRIMER CENE primerna primerna TRŽENJE primemo primerno NAČINI primerni primerni PROSP POŠTA v več, meri v več.meri OSEB STIKI v man.men v man.meri OGLAS EV ni ni CELOVIT PON el.celov.p. el.celov.p. TRŽIŠČE pnmerno neprimerno KONKURENCA zelo močna zelo močna PRISOTNOST je prisotna je prisotna CENA nižja nižja TRG zanimiv nezanimiv VELIKOST srednji majhen NAŠ DELEŽ dober slab ZAHTEVNOST srednja srednja T5 T6 KOMK SPOSOB visoka nizka TEČAJ dober dober FINANC USPEŠ m dobi ček m.dobič. VSEBINA primer. z_primer. STABILNOST srednja velika ZAOKROŽ TEČ večja večja CELOV IZVED odlična dobra OMEJITVE so z velike so z velik ŠT UDELEŽ omejeno omejeno PREDZNANJE je potrebno je potreb. KADRI z_ pri mer. neprimer. ŠTEVILO zadostno nezadost. VSEH zadostno zadostno LASTNIH zadostno nezadost. USPOSOBU odlična dobra STROKOVNA odlična odlična PEDAGOŠKA boljša slabša STOP IZOBR visoka visoka POGOJI odlični z_primer. PROSTORI ustrezni ustrezni KAKOVOST dobra dobra FLEKSIBIL dobra dobra OPREMA odlična odlična RAČ OPREMA odlična odlična OSTALA OPR dobra dobra GRADIVO odlično dobro DODAT PON dobra dobra Končne ocene vseh 22 izobraževalnih programov omogočajo njihovo vmestitev v matriko tržnega portfelja, ki jo kaže slika 6. Tako dobimo primerjalni pregled nad proučevanimi programi. Analiza prednosti in slabosti posameznih programov, ki jo omogoča uporaba metode ekspertnega sistema, nudi preprosto trans pa rentno primerjavo ni cd raznimi programi. Pojasnimo sebi in drugim, zakaj nek program zavzema določeno mesto v matriki in kaj je potrebno storiti /a njegovo izboljšanje. Slika 5: Prednosti in slabosti programa T6 Slika 6: Tržni portfelj vrednotenih programov SELEKTIVNA RAZLAGA OPCIJE T6 PREDNOSTI Kriterij VSEBINA STABILNOST ZAOKROŽJEČ oprema RAC OPREMA STROKOVNA SLABOSTI Kriterij KONK_SPOSOB KADRI ŠTEVILO LASTNIH OMEJITVE ŠT UDELEŽ PREDZNANJE PEDAGOŠKA Vrednost zelo primerna velika večja odlična odlična odlična Vred») os t nizka neprimer, nezadost. nezadost. so zelo velike omejeno je potrebno slabša M O O < a o. ODLIČNA 2EL0 DOUHA DOÜKA SLABA T3 T9 TI T4 ¿13 T2 T5 TS Š14 512 T6 Tli T10 S16 S21 TT SIS S15 S17 $22 S19 S20 NIZKA SREDNJA VISOKA ZELO VISOKA KONKURENČNA SPOSOBNOST i^nmbnd NFORMATIKA STHOKOVMÍ HAZl'KAVK Zaključki Spoznanja pri razvoju tega portfelja lahko strnemo v naslednje iri alineje: ■ pomembnost vhodnih podatkov ■ uporabnost rezultatov pri opredelitvi strategiji razvoja ■ vzdrževanje razvitega portfelja Realnost končnih rezultatov ni odvisna samo od izgradnje odločitvenega modela (izbire pravih kriterijev in funkcij koristnosti). V veliki meri je namreč odvisna tudi od vhodnih podatkov. To so ocene osnovnih kriterijev (listov), ki jih pridobimo iz izpolnjenih vprašalnikov. Različnost vhodnih podatkov govori o različnih merilih posameznikov in/ali o njihovem slabem/dobrem poznavanju problematike. Vhodni podatki so tisti, ki ustvarjajo podobo končnih rezultatov, kar pomeni, koliko bodo le-ti v praksi uporabni. Kot že povedang, nam analiza rezultatov ponazarja trenutnp stanje vrednotenih programov, Poleg tega je tudi dobro merilo k hitrejši in kvalitetnejši opredelitvi njihovih razvojnih strategij. Poudarek je seveda na odpravljanju slabosti. Vsekakor pa to ne sme biti vse. Poskrbeti je treba tudi za to, da se prednosti oziroma boljše ocene, vsaj ne poslabšajo. To pomeni, da je nujno tudi vzdrževanje boljših programov oziroma kriterijev, ki so tem programom zagotovili te položaje (Neubauer 1991, Kalin et al 1994). V končni fazi to pomeni praktično vzdrževanje tržnega portfelja, ki naj bi potekat na naslednji način: ■ njegova vključitev v direktorski informacijski sistem ■ ažuriranje podatkov, oziroma usklajevanje ocen enkrat ali dvakrat na leto - to pomeni slediti spremembe, ki naslajajo in imeti aktualen model (ang, online) ■ analiza novega stanja - ali se ocene izboljšujejo, oziroma ali gredo spremembe v načrtovano smer ■ na osnovi analize določiti ustrezne akcije za prihodnje ■ občasno ponovimo korake od drugega dalje Literatura Bandžova T.: Diplomsko dolo: Razvoj tržnega portfelja za vrednotenje programov izobraževalne dejavnosti, Fakulteta za elektrotehniko iri računalništvo, Ljubljana, 1994 Bohanee M., Rajkovič V., Lavrač N.: Knowledge explanation in expert systems: A decision support system and machine learning view. IASTED International Conference on Expert Systems, Acta Press, Geneve, 1988, 23-27 Bohanec M., Rajkovič V.: DEX: An expert system shell for decision support, Sistematika, Voi. 1, 1990, 145*157 Barnett J., Wilsted W.: Strategic Management: text and concepts, PWS-KENT Publishing Company, Boston, 1989a Barnett J., Wilsted W.: Strategic Management: concepts and cases, PWS-KENT Publishing Company, Boston, 1989b Kalin B., Bohanec M., Rajkovič V.: Model vrednotenja proizvodnega programa. Zbornik del XIII posvetovanja organizatorjev dela. Por torož. 1994, 341-346 Klein M.t Methlie L: Expert Systems: A decision support approach, Addison-Wesley Publishing Company, 1990 Krisper M., Bukvič V., Rajkovič V., Sagadin T,: Strategic, planning with expert systems hased porifo//o analysis. Expersys-91, UTT International, 1991, 283-288 Ncubaucr RR; Upravljanje s portfeljem - potencialni dobiček - teorija in praksa, Gospodarski vestnik, Ljubljana, 1991 H» ag ::r tf! ffi ffi « v ffl !jg % ŠŠ 3E T§ S $ SS 'Ig! 88 M 3£ 3S 3£ »j ?S ,Sl Vsem bralcem, naročnikom, sodelavcem in sponzorjem revije Uporabna informatika želimo Sfi 3g Slovensko društvo Informatika i/fxmihvA NFOR M JVTIKA