59Liliana Brožič RAZLOGI ZA UVEDBO E VALVACIJ V MINISTRST VO ZA OBRAMBO REASONS FOR INTRODUCING EVALUATIONS AT THE MINISTRY OF DEFENCE P O V Z E T E K Evalvacije so eden izmed elementov v procesu izobraževanja. Sestavljajo ga ugotavljanje potreb po izobraževanju, opredelitev ciljev, določitev strategije, oblikovanje in načrtovanje, izvedba ter evalvacija, ki kot zadnji element pomeni vrednotenje procesa in sprejemanje odločitev za njegovo izboljšanje. Namen uvedbe evalvacij v Ministrstvo za obrambo je povečanje kakovosti izobraževanja. Proces zajema najširši spekter izobraževanja, usposabljanja in izpopolnjevanja, biti mora kakovosten, predvsem pa sodoben v smislu zagotavljanja odzivanja na sodobne varnostne izzive. K L J U Č N E B E S E D E Evalvacija, Ministrstvo za obrambo, izobraževanje, usposabljanje, izpopolnjevanje. A B S T R A C T Evaluations are one of the elements in the education process. Th e education process includes the assessment of needs in education, defi nition of aims, establishing the strategy, designing and planning of the process, and implementation and evaluation of the education process. Evaluation as the fi nal phase means an assessment of the process and acceptance of decisions for its improvement. 60RAZLOGI ZA UVEDBO EVALVACIJ V MINISTRSTVO ZA OBRAMBO The purpose of introducing evaluations at the Ministry of Defence is to improve the quality of education. The process includes a vast spectrum of education, training and continued education. It needs to be of good quality, up-to-date and able to respond to new security threats. K E Y W O R D S Evaluation, Ministry of Defence, Education, Training, Continued Education. UvoD Literaturo o evalvaciji, ki v slovenskem jeziku pomeni vrednotenje oziroma merjenje, najdemo predvsem v zdravstvu, šolstvu in socialnem varstvu.Na področju javne uprave je prej izjema kot pravilo. V zadnjih letih o tem največ piše dr. Migličeva z Upravne akademije Ministrstva za javno upravo, vendar evalvacije še niso vsakdanja praksa v javni upravi. Verjetno bi se našel kdo, ki je pripravljen trditi drugače, a razdelitev vprašalnikov po končanem izobraževanju ali usposabljanju še ne pomeni evalvacije.Kljub opazni posodobitvi javne uprave je ta v procesu spreminjanja nekako zanemarila evalvacijo kot enega izmed dejavnikov v izobraževanju. Ta pojav je še posebej zanimiv, saj je skoraj v vseh državah Evropske unije evalvacija ključni element pri zagotavljanju kakovosti dela, ne samo na področju izobraževanja, usposabljanja in izpopolnjevanja, temveč v vsej javni upravi. Konkretno je potreba po uvedbi evalvacije predstavljena s poudarkom na izobraževanju, usposabljanju in izpopolnjevanju na Ministrstvu za obrambo kot delu javne uprave. IZoBRAŽE vAnJE, USPoSABLJAnJE In IZPoPoLnJE vAnJE v DRŽA vnI UPRA vI Usposabljanje upravnih delavcev oziroma javnih uslužbencev naj bi bilo predvsem osredinjeno na sistemski razvoj državne uprave, na uvajanje in uporabo sodobnejših načinov dela ter organizacijo programov usposabljanja zaposlenih. Med poglavitne cilje usposabljanja in izpopolnjevanja v javni upravi spadajo povečanje učinkovitosti delovanja uprave, prilagajanje znanja zaposlenih novim postopkom in tehnologijam v upravi, zagotavljanje horizontalne in vertikalne prehodnosti ter povečanje motivacije zaposlenih (Dujić 1999 v Miglič 2002b).Financiranje usposabljanja in izpopolnjevanja v javni upravi zahteva precejšnja 61Liliana Brožič sredstva. Pomembno vprašanje, ki pa se v državni upravi skoraj ne obravnava, je spremljanje in ugotavljanje posledic usposabljanja na individualno delovno uspešnost ter s tem na uspešnost upravnega dela (Miglič 2002b). Pomembno za razumevanje tematike je ločevanje ali poznavanje pojmov izobraževanje, usposabljanje in izpopolnjevanje, pri čemer se pogosto prepletajo nekatere značilnosti. Izobraževanje je dolgotrajen in načrten proces razvijanja posameznikovih sposobnosti, znanja in navad, ki mu omogočajo vključitev v družbo in delo. Glede na cilje ter vsebino ga delimo na splošno in strokovno (Možina in drugi 1998: 491), vključuje pa učenje kulture in naravnih zakonov ter pridobivanje jezikovnih in drugih spretnosti, ki so temeljne za učenje, osebnostni razvoj, ustvarjalnost in medsebojno razumevanje. Usposabljanje je v slovenski literaturi opisano kot proces razvijanja znanja, sposobnosti in spretnosti, ki jih človek potrebuje pri opravljanju konkretnega dela (Možina in drugi 1998: 502). Jereb je to definicijo dopolnil tako, da usposabljanje sestavljajo načrtovani programi, namenjeni povečanju uspešnosti posameznikov, skupin ali organizacije. Ker je večina strokovnih izobraževalnih programov namenjena več delovnim situacijam hkrati in ne le enemu delu v konkretnem delovnem procesu, je strokovno usposabljanje nujno nadaljevanje poklicnega izobraževanja (Jereb 1998a: 178). Izpopolnjevanje opredeljujemo kot dopolnjevanje, spreminjanje in sistemiziranje že pridobljenih znanja, spretnosti, sposobnosti in navad oziroma kot nadgradnjo usposabljanja (Miglič 2002b: 20). Elementi procesa so izhodišče za oblikovanje različnih modelov usposabljanja. Čeprav jih je v teoriji in praksi več, je najbolj razširjen model organizacijskega usposabljanja tako imenovani sistematični model. Model ima korenine v Fayolovi procesni teoriji menedžmenta (načrtovati, organizirati, narediti, pregledati) (Miglič 2002b: 39). Gre za preprost proces, ki ga sestavljajo štiri stopnje: - analiza potreb po usposabljanju,- oblikovanje načrtov usposabljanja,- udejanjanje načrtov, - evalvacija oziroma vrednotenje rezultatov. Posebnost usposabljanja v javni upravi je, da se pri tem posvečamo predvsem oblikovanju in uresničevanju načrtov, torej izvedbi programov. Analiza potreb po usposabljanju je pomanjkljiva, predvsem premalo časa namenjamo vrednotenju rezultatov. V gospodarstvu so učinki usposabljanja sorazmerno hitro ovrednoteni, saj se kažejo v učinkovitosti, povečani prodaji itn. Javna uprava oziroma ožje državna uprava nima mehanizmov, s katerimi bi merili oziroma vrednotili učinke usposabljanja in ga tako upravičili. Ob poudarjeni 62RAZLOGI ZA UVEDBO EVALVACIJ V MINISTRSTVO ZA OBRAMBO racionalizaciji državne uprave postaja evalvacija vedno pomembnejši metodološki element v sistemu vrednotenja usposabljanja. Bolj ko je skupnost v povprečju visoko izobražena, bolj se zaveda pomembnosti vzgoje in izobraževanja (Štrajn 2000). Potreba po ugotavljanju, ali izobraževanje, usposabljanje ter izpopolnjevanje dosegajo zastavljene cilje in rezultate, se je pojavila že sredi prejšnjega stoletja, najpomembnejše temelje je leta 1959 postavil Donald Kirkpatrick. Evalvacijo ali vrednotenje usposabljanja je oblikoval v štiri elemente tako imenovanega Kirkpatrickovega delovnega okvira (Nickols 2000). Ti elementi so reakcije, učenje, vedenje in rezultati, pri čemer gre pri reakcijah za odziv udeležencev na usposabljanje, pri učenju za merjenje naučenega, pri vedenju za spremembe posameznika na delovnem mestu in pri rezultatih za zmanjšanje odsotnosti, znižanje stroškov dela, povečanje motivacije in kakovosti dela.Naštete elemente različni avtorji različno prevajajo, lahko so na primer tudi vtisi, znanje, uporabnost oziroma prenosljivost znanja in poslovni rezultati (Stanič, Macedoni 2004). V navedeni model je dr. Jack Phillips dodal še povrnitev investicije (Phillips v Rea 2004). Ugotavljanje povrnitve investicije je smiselno predvsem v delih usposabljanja, povezanih s povratnimi informacijami, ki jih je mogoče meriti predvsem finančno. To je na primer dodatna usposobljenost zaposlenih, in sicer na področjih, na katerih je mogoče zabeležiti povečano prodajo ali storitev. Rae meni, da je ugotavljanje povrnitve investicije zanimivejše na neprofitnih področjih, torej v državni upravi, javnih zavodih, dobrodelnih ustanovah itn. Hkrati pa meni, da je zadeva finančno sprejemljiva le v pet do deset odstotkih celotnega programa usposabljanja, v širšem obsegu je predraga glede na vir sredstev (Rea 2004). Ne glede na navedeno pravi, da je pomembno poznati odgovor na vprašanje, kaj smo dobili kot rezultat naše investicije. Zakaj vseživljenjsko učenje? Potreba po vseživljenjskem učenju nastaja zaradi sprememb v okolju. Dejavniki, ki najbolj vplivajo na to učenje, so demografske, ekonomske in tehnološke spremembe (Merriam in Caffarella v Boverie in drugi 1994). Velika in uspešna podjetja zaradi vse večje konkurence vlagajo v izobraževanje zaposlenih, da bi povečala svoje možnosti za preživetje v svetu ekonomije. Kirkpatrickov model evalvacij je za nekatere avtorje preživet. Stephen Brown, dekan Centra za učenje odraslih iz Cambridga, meni, da so se spremenila pričakovanja, ki naj bi jih zagotovilo usposabljanje. Na prvem mestu je zadovoljstvo strank oziroma potrošnikov , na drugem pa sta vpliv na delovni problem in povrnitev investicije. Navedeno pomeni poseben izziv za utemeljitev vlaganja v usposabljanje, hkrati pomeni povečano vlogo metodologije evalvacije in njenih rezultatov (Brown 1997: 2). Javni sektor 63Liliana Brožič deluje v spreminjajočem se okolju. Vlade in mednarodne organizacije se srečujejo z intenzivno in vsesplošno povezanim svetom, ki je prepleten z najrazličnejšimi javnimi politikami, ki so vedno bolj zapletene. Zahteve javnosti po preglednosti in odgovornosti nenehno rastejo, javnost pričakuje in zahteva, da bo vprašana za mnenje in prispevek v odločanju o posameznih javnih zadevah, pri katerih se zdi, da je evalvacija pravi ključ do uspeha za dosego takega cilja (Forss in drugi 2006: 129). Številni avtorji (Thoenig 2000: 220; Rebolloso in drugi 2005: 469; Balthasar in Rieder 2000: 253–257; Kuhlmann 1998: 137; Davies 1999: 156) evalvacijo razumejo kot način učenja. Glede na opredelitve pojmov izobraževanja, usposabljanja in izpopolnjevanja v javni upravi se v procesu evalvacije vsi vpleteni usposabljajo oziroma izpopolnjujejo svoje znanje. RAZvoJ E vALvAcIJSkIH RAZISk Av Začetek evalvacijskih raziskav navadno povezujemo s krizo države blaginje, in sicer kot krčenje državnih sredstev za javne programe, kar je spodbudilo ocenjevanje njihove uspešnosti in učinkovitosti (Macur 2000: 68).Rihterjeva pravi, da je iz zgodovinskih dejstev mogoče razbrati, da je prepoznavanje pomena evalvacije pogosto odvisno od političnih in ekonomskih razmer. Začetki evalvacije segajo v leto 1845. Dolgo je bila evalvacija socialnih programov in politik »obrobni del lokalnih zdravstvenih, socialnih in izobraževalnih birokracij« (Rihter 2004b: 83). V Združenih državah Amerike je bilo zlato obdobje evalvacijskih raziskav, ki jih je v šestdesetih letih financirala država. Po navedenem obdobju so začeli sredstva, namenjena socialni politiki, krčiti, evalvacije pa so prevzele vlogo ugotavljanja uspešnosti, učinkovitosti in racionalnosti posameznih programov (prav tam). Težnja po zmanjševanju finančnih sredstev na področju socialne politike, v zdravstvu in izobraževanju je še vedno prisotna oziroma je s spreminjanjem javne politike zmanjševanja sredstev vedno bolj opazna. Navedeno avtorji (Rihter 2004a: 85; Mesec 2002: 233) razumejo kot zunanje in notranje pritiske. Zunanji pritiski so povezani predvsem s financiranjem storitev v javnem sektorju, v katerem se v zadnjih letih krepijo mehanizmi nadzora nad sredstvi, stroški in storitvami. Notranji pritiski izvirajo iz splošne etične in profesionalne obveznosti strokovnih delavcev . Dejstvo je, da morajo zaposleni v javnem sektorju pri uresničevanju javne politike kazati vedno več znanja, strokovnosti in inovativnosti, da lahko kandidirajo za različne dejavnosti oziroma pridobijo dodatna sredstva. Tako so na primer v Švici evalvacijske raziskave predpisane v 170. členu Ustavnega zakona iz leta 1999, in sicer za ugotavljanje učinkovitosti javne politike. Po vedenju avtorjev (Widmer in Neunschwander 2004: 390) je Švica edina država, ki ima 64RAZLOGI ZA UVEDBO EVALVACIJ V MINISTRSTVO ZA OBRAMBO evalvacijo določeno v ustavi. Razlog za navedeno spremembo v zakonodaji je bilo povečanje strukturnih reform, na podlagi katerih so javne institucije zahtevale pregled nad vloženimi sredstvi, pa tudi nad doseženimi rezultati, ki naj bi se konkretno odražali v boljšem delu teh institucij. Povsem drugače ugotavlja Schwartz, predavatelj na univerzi v Haifi, ki je s primerjalno študijo med izraelskimi programi ugotovil, da bi morale vodilne delavce v zdravi organizaciji evalvacije zelo zanimati, vendar ni tako. Kot ugotavlja, so »zelo kratkovidni«, v mislih imajo zgolj politične cilje, evalvacije pa bi lahko pokazale slabe rezultate. Očitno so usmerjeni predvsem v politične učinke, učinki programov pa niso njihova glavna skrb (Schwartz 1998: 298). Evalvacije so bile v preteklosti najbolj pogoste v izobraževanju in zdravstvu. Večina avtorjev (Guba in Lincoln, Madaus in drugi v Macur 2000) govori o štirih generacijah evalvacij. Evalvacije prve generacije so imele predvsem nalogo merjenja. Hkrati s pojavom prvih merjenj se je pojavil tudi izraz evalvacija. Vključeval je predvsem teste in testiranje študentov, evalvator je imel povsem tehnično nalogo merjenja, in sicer v kvantitativnem smislu. Evalvacije druge generacije so pridobile s funkcijo opisa. Evalvacije prve generacije so se izkazale kot pomanjkljive, saj niso zagotavljale popolne informacije o nekem izobraževanju. V ZDA so tako uvedli osemletno študijo, ki naj bi ugotovila kakovost študija na srednjih šolah in fakultetah, pri čemer so bili upoštevani vsi vidiki vrednotenja (testi, ocenjevanje programov, ciljev, učinkov itn.). Naloga evalvatorja je tako postala opisovanje, ki pa ne izključuje merjenja (Macur 2000: 70). Evalvacije tretje generacije so s presojo postale kakovostnejše. Zgolj testiranje in opisovanje nista bili več dovolj. Od evalvatorja so pričakovali še presojo, dobil je vlogo razsodnika, hkrati pa ohranil deskriptivno in tehnično vlogo. Pristop je prinesel nove težave, prvič so bili evalvaciji podvrženi tudi cilji. Presoja bi morala temeljiti na standardih, ki še niso bili določeni, evalvatorji se niso počutili kompetentne za vlogo razsodnika, vendar so jo vseeno opravljali, saj so bili še najbolj objektivni (Macur 2000: 71). Avtorja četrte generacije evalvacij sta Egon Guba in Yvonna Lincoln. Po njuni teoriji se evalvacije delijo na štiri stopnje, in sicer: na prvi stopnji evalvator identificira udeležence (osebe, ki določijo, kaj bomo − vrednotili, osebe, ki z evalvacijo pridobijo, in tiste, ki z evalvacijo zgubijo) ter odkriva njihove zahteve; na drugi se krog informacij med udeleženci razširi, tako da vse seznanimo z − ugotovitvami in drugimi pomembnimi podatki; na tretji stopnji se evalvator ukvarja predvsem s povezovanjem in reševanjem − 65Liliana Brožič drugih odprtih vprašanj; na četrti stopnji poskušajo udeleženci in evalvator s konsenzom najti končno − rešitev (Toulemonde in drugi 1998: 172). Tabela 1: Guba, Lincoln, 1989: Fourth Generation Evaluation. V četrti koloni je dodana klasifi kacija po Madaus in drugi, 1993, oba vira ločeno v Macur, 2000. vloga evalvacijevloga evalvatorja namen evalvacije Prva generacija: merjenjetehnična (pozna instrumente merjenja)meriti uspešnost testirancev (študentov v šoli)1800–1900:obdobje reforme1900–1930:obdobje učinkovitosti, testiranja Druga generacija: opisopisna(izdela opis prednosti in skladnosti programa glede na njegove cilje)izboljšanje programa(formativna evalvacija)1930–1945:Taylerjevo obdobje1946–1957:obdobje nedolžnosti Tretja generacija: presojarazsodnik presoditi smiselnost ciljev in koristnost programa1958–1972:obdobje ekspanzije1973 –obdobje profesionalizacije Četrta generacija: pogajanjemediator v procesu vrednotenja in presojanjadoseči konsenz med udeleženci Četrta generacija evalvacije po Gubi in Lincolnovi ima veliko privržencev, pa tudi takih, ki njune teorije ne zagovarjajo. Po literaturi sodeč je najbolj sporno prav doseganje konsenza med udeleženci evalvacije. Za podrobnejše razumevanje razlik med prvimi tremi generacijami in četrto je smiselno poznati temeljna načela četrte generacije: evalvacija − je integralni družbenopolitični proces, ki vključuje mnenja in interese udeležencev ter evalvatorjev, predvsem pa širše kulturno, politično in socialno okolje; evalvacija− zahteva sodelovanje vseh udeležencev, pri čemer mora biti dosežen splošni konsenz o končni odločitvi oziroma stališču. Tako naj bi našli najboljši skupni dogovor, sprejemljiv za vse;evalvacija je − proces poučevanja in učenja hkrati. V procesu se v sodelovanju z vsemi udeleženci vsi učijo od drugih, sami poučujejo druge in z dejavnim sodelovanjem širijo svoje znanje, pri čemer se porajajo nove rešitve;evalvacija − je kontinuiran, ponavljajoč se in močno divergenten proces. Program ali ukrep, ki ga vrednotimo, je dovzeten za spremembe in izboljšave, ki so nujne za dosego ciljev, čeprav poteka znotraj načrta. Ima svoj začetek in konec, vendar vloga evalvacijevloga evalvatorja namen evalvacije Prva generacija: merjenje Druga generacija: opis Tretja generacija: presoja Četrta generacija: pogajanje 66RAZLOGI ZA UVEDBO EVALVACIJ V MINISTRSTVO ZA OBRAMBO ob ponovnem začetku stečejo podobne aktivnosti; evalvacija − je porajajoč se proces, ki ga ni mogoče vnaprej načrtovati, tako da bi vse potekalo natančno po časovnici. V program, ki ga evalviramo, je vključenih toliko različnih dejavnikov, na primer udeleženci, okolje, različne vsebine, posebnosti posameznega dogodka, ki se lahko ves čas spreminjajo, da ne moremo zagotoviti okoliščin, v katerih bi se ta proces lahko popolnoma ponovil;evalvacija − je proces z nepredvidljivimi ugotovitvami. Dejavno sodelovanje vseh udeležencev, poučevanje in učenje v procesu ter sestavine procesa, pri katerih je možnost spreminjanja sorazmerno visoka, privedejo do končnih ugotovitev, ki niso bile pričakovane, in ne samo to, morda nam tudi niso všeč in jih ne želimo. Posebej pomembno je poznati vzroke za posamezna stališča različnih udeležencev ter njihov vpliv pri iskanju skupnega konsenza; evalvacija − je proces, ki oblikuje stvarnost. Gre za oblikovanje optimalnega realnega stanja v nekem procesu, nikakor pa ne moremo govoriti o odkritju (Macur 2000: 81–82; Huebner in Betts 1999: 340–358). Res je, da je četrta generacija evalvacij prispevala k razvoju novosti na tem področju, predvsem pri uvajanju kvalitativnih metod raziskovanja, s čimer so evalvacije pridobile predvsem na širšem kontekstu obravnavanja posameznega procesa in torej na kakovosti. Vendar sta avtorja prejela tudi veliko kritik. Ena izmed najbolj očitanih značilnosti četrte generacije je prav iskanje konsenza med udeleženci. Dabinett in Richardson ugotavljata, da je v evalvaciji zelo pomembno, kdo ima moč odločanja in vplivanja na posamezne dele, ker proces lahko preusmeri v povsem drugo smer. Zagovarjata namreč dejstvo, da je vedno nekdo (zunaj ali znotraj procesa), ki financira posamezno evalvacijo ali program, ki se evalvira. Prav tako se lahko pojavijo udeleženci 1, ki poskušajo na evalvacijo vplivati s pozicije moči, na primer ravnatelj, vodja izobraževalnega programa in drugi (Dabinett in Richardson 1999: 225). MET oDoL oškI PRIST oPI v E vALvAcIJSkIH RAZISk AvAH Macurjeva (2000) in Rihterjeva (2004b) v svojih doktorskih disertacijah opozarjata na večno dilemo, in sicer, ali pri evalvacijskih raziskavah uporabljati kvantitativne ali kvalitativne metode. Macurjeva jih razdeli na dve paradigmi: 1. »Klasična znanstvena, tradicionalna (Darlett in Hamilton 1975), konvencionalna ali racionalistična (Smith in Cantley 1985; Guba in Lincoln 1989), racionalno-tehnična (Everitt 1996), preordinativna paradigma (Stake 1993b), pogosto imenovana tudi pozitivistična (Room 1986; Scriven 1993) in eksperimentalna 1 Angleško besedo stakeholders slovenska strokovna literatura prevaja z izrazoma udeleženci ali nosilci interesov. To so torej vsi tisti, ki v procesu sodelujejo oziroma imajo v njem nek interes in nanj lahko tudi vplivajo.