Nino Rode, Liljana Rihter, Barbara Kobal UVAJANJE SISTEMA EVALVACIJE V SOCIALNEM VARSTVU PREDLOG POSTOPKA SPLOŠNO O EVALVIRANJU Za delovanje sistema evalviranja je poleg kriterijev pomembno vedeti, kako bo potekala, zlasti pa, kdo naj evalvira in kako. Vsi se strinjamo, da mora način izvajanja evalvacije zagotoviti, da bo evalvacija dobra in uspešna. Da bi to dosegli, pa moramo najprej vedeti, kaj naj bi dobra evalvacija sploh bila. Da bi bila veljavna in uporabna, mora evalvacija (ovrednotenje) temeljiti na stvarnih informacijah o svojem predmetu. Sistematično zbiranje in preverjanje relevantnih informacij o predmetu evalvacije, raziskovanje, ki omogoča informirano, objektivno in realistično evalvacijo programa, politike oziroma tistega, kar pač eval-viramo, je evalvacijsko raziskovanje. Zanj je značilno, da v nasprotju s temeljnim znanstvenim raziskovanjem ni usmerjeno k posploševanju rezultatov in ustvarjanju novega splošno veljavnega znanja. Ko Paton (1997) razlaga razliko med evalvacijo in raziskovanjem, poda temeljno razliko med evalvacijskim raziskovanjem in temeljnim raziskovanjem, katerega prvi namen je zbiranja podatkov. Kot ugotavlja Paton (ibid.), začnemo temeljno znanstveno raziskovanje z namenom odkriti novo znanje, preveriti teorije, ugotoviti resnico in posplošiti ugotovitve v času in prostoru. Evalvacija programov ima namen pripraviti podlago za odločitve, razjasniti možnosti, določiti izboljšave in priskrbeti informacije o programih ali politikah v kontekstualnih mejah časa, prostora, vrednot in politike. Pri razliki med temeljnim in evalvacijskim raziskovanjem gre za razliko med »poizvedovanjem, usmerjenim v zaključke, in poizvedovanjem, usmerjenim v odločitve. Raziskovanje je usmerjeno v proizvajanje znanja in resnice. Uporabna evalvacija podpira delovanje« (Patton 1997: 25). Evalvacijsko raziskovanje poskuša čim bolj natančno in realno določiti značilnosti posameznega pojava znotraj celotnega konteksta, v katerem se nahaja, s čimer nam omogoča, da ga ovrednotimo in odločamo o njem. Pri tem seveda formalne in kvantitativne znanstvene metode sklepanja izgubijo prednost pred manj formalnimi in kvalitativnimi metodami. Odprto ostaja vprašanje veljavnosti sklepov in njihove skladnosti s stvarnostjo. Paton namesto objektivnosti kot kriterij za veljavnost predlaga poštenost. Evalvator ne more dokončno določiti ene in edine objektivne resnice, enega in edinega objektivnega pogleda, ki bi bil neodvisen od interpretacij tistih, ki so vpleteni v projekt, politiko ali program, ki ga evalvira. Če se pogledi in interpretacije vpletenih med sabo razlikujejo, mora pravično predstaviti vse interpretacije. Prav tako mora evalvator kolikor mogoče popolno navesti vse ugotovljene značilnosti, prednosti in slabosti evalviranega projekta, politike ali programa. Pri vsaki konkretni evalvaciji imamo opraviti z enkratno mešanico dejavnikov in dejanj. Tudi vrednote, na podlagi katerih vrednotimo objekt evalvacije, so v vsakem primeru drugačne, saj so produkt interakcij interesov in razmerij moči v danem okolju. Kriterije, po katerih evalviramo, je treba torej za vsako evalvacijo na novo razjasniti. Pri tem mora nujno sodelovati naročnik evalvacije, upoštevati pa moramo tudi interese in vrednote drugih vpletenih. Kljub temu moramo pri zbiranju in obdelavi podatkov uporabljati postopke, ki jih lahko ponovimo in preverimo in ki dajo razumljive rezultate. Šele taki rezultati omogočajo ovrednotenje objekta evalvacije in primerjavo z drugimi objekti. Avtorji se strinjamo, da morajo biti postopki in kriteriji v sistemu evalvacije socialnega varstva 1 NINO RODE, LIL JANA RIHTE R, B A RBAR A KOB AL čim bolj standardizirani. Pri tem se sklicujemo na kriterije ameriškega združenja za evalvacijo (American Evaluation Association, AEA). Da bi omogočila ovrednotenje evalvacij, je AEA leta 1988 sprejela standarde za evalvacijo programov (AEA 1988). V njih poudarja štiri temeljne kriterije: uporabnost, izvedljivost, primernost in natančnost. Te štiri kriterije v primeru evalvacije programov natančneje opredeli takole: Uporabnost. Evalvacija naj služi informacijskim potrebam uporabnikov, ki jim je namenjena. Zato je treba identificirati vpletene in upoštevati njihove potrebe. Evalvatorji morajo biti vredni zaupanja in sposobni opraviti verodostojno evalvacijo. Zbrane informacije morajo odgovoriti na pomembna vprašanja o programu in na potrebe in interese vpletenih. Zorni kot, postopki in utemeljitve, uporabljeni za interpretacijo ugotovitev, morajo biti pazljivo opisani, da so temelji za vrednostne sodbe jasni. Evalvacijska poročila morajo jasno in razumljivo opisati predmet evalvacije in njegov kontekst, namene, postopke in ugotovitve evalvacije. Vmesne ugotovitve in evalvacijska poročila morajo biti posredovani pravočasno. Načrtovanje in izvajanje evalvacije ter poročanje o njej morajo biti taki, da spodbujajo sodelujoče k njeni izvedbi (follow through), s čimer se povečajo možnosti za njeno uporabo. Izvedljivost. Evalvacija mora biti realistična, preudarna, diplomatska in zmerna. Postopki evalvacije morajo biti čim manj moteči, obenem pa morajo omogočati pridobitev potrebnih informacij. Treba je predvideti razlike v zornih kotih različnih interesnih skupin, da pridobimo sodelovanje vseh in se izognemo poskusom, da bi skrajšali izvedbo evalvacije, prikrojili ali napačno uporabili njene rezultate. Evalvacija naj upraviči porabljene vire. Primernost. Evalvacija naj bo izvedena zakonito, etično in ob upoštevanju dobrobiti vseh vpletenih in tistih, ki jih zadevajo njeni rezultati. Evalvacije naj pomagajo ustreči potrebam celotnega obsega ciljnih uporabnikov. Obveznosti formalnih strank v evalvaciji morajo biti pisno dogovorjene. Pri evalvaciji moramo spoštovati in varovati pravice in dobrobit obravnavanih ljudi. Evalvatorji morajo spoštovati dostojanstvo drugih. Evalvacija mora natančno evidentirati prednosti in slabosti programa, ki ga evalvira. Formalne stranke v evalvaciji morajo zagotoviti, da bodo končni rezultati evalvacije skupaj s pomembnimi omejitvami dostopni vsem upravičeno zainteresiranim. Konflikte med interesi je treba obravnavati odkrito in pošteno, da ne kompromitirajo procesov in rezultatov eval-vacije. Evalvatorjeva poraba sredstev naj bo previdna in etična, da so vsi izdatki pojasnjeni in primerni. Natančnost. Evalvacija mora razkriti in razjasniti tehnično zadostne informacije o lastnostih, ki določajo vrednost in pomen evalviranega programa. Program, ki ga evalviramo, mora biti jasno in natančno opisan. Vplive konteksta programa moramo podrobno proučiti. Namene in postopke evalvacije je treba spremljati in natančno opisati. Viri informacij, uporabljenih pri eval-vaciji programa, morajo biti podrobno opisani. Postopki zbiranja informacij morajo omogočiti interpretacijo, ki bo veljavna za nameravano uporabo. Zbrane informacije morajo biti dovolj zanesljive za nameravano uporabo. Informacije moramo sistematično pregledati in popraviti najdene napake. Kvantitativne in kvalitativne informacije moramo analizirati tako, da lahko učinkovito odgovorimo na vprašanja evalvacije. Sklepe, do katerih pridemo v evalvaciji, moramo eksplicitno upravičiti, da jih lahko vpleteni ocenijo. Evalvacijska poročila naj pošteno odražajo ugotovitve evalvacije. Samo evalvacijo je treba formativno in sumativno evalvirati glede na te in druge pomembne standarde, tako da lahko primerno usmerjamo njeno izvedbo in da lahko ob zaključku vpleteni natančneje raziščejo njene prednosti in slabosti (povzeto po AEA 1988). Da bi evalvacija čim bolj zadovoljila te kriterije, mora sistem evalvacije zagotoviti stalno spremljanje in evalvacijo programov. To bo omogočalo pregled nad kvaliteto programov, odločanje o potrebnem obsegu posameznih vrst programov, hkrati pa bo to priložnost za same izvajalce, da ugotovijo, kakšna je kvaliteta njihovih programov in kako jo lahko izboljšajo. NAČIN EVALVACIJE, PREDVIDEN V NACIONALNEM PROGRAMU V nacionalnem programu socialnega varstva je evalvacija eksplicitno opredeljena samo za spremljanje učinkov sofinanciranih programov. Med temeljnimi usmeritvami za dograditev zakonodaje v prihodnosti pa je v nacionalnem programu socialnega varstva kot prioritetna 2 UVA JAN JE SIS TE M A E VALVACIJE V SOCIA LNEM VARS T V U naloga zapisana vzpostavitev socialne inšpekcije in evalvatorjev programov. V načrtu za izvajanje usmeritev in nalog iz nacionalnega programa socialnega varstva do leta 2005 pa je v okviru »nalog ključnih nosilcev pri dograjevanju mreže javnih služb« navedeno, da morajo izvajalci storitev opredeliti mehanizme za sprotno ugotavljanje kakovosti opravljenega dela in za evalvacijo učinkov. Inštitut Republike Slovenije za socialno varstvo opravi občasne cost-benefit analize posameznih programov. Navedeno je še, da morajo izvajalci dopolnilnih programov (to so programi in dejavnosti, ki dopolnjujejo sistem javnih služb in jih financirajo država in lokalne skupnosti) vzpostaviti sistem redne evalvacije in spremljanja kvalitete izvajanja programov. Sistem, ki ga predvidevata nacionalni program socialnega varstva do leta 2005 in načrt za izvajanje usmeritev in nalog iz nacionalnega programa socialnega varstva do leta 2005, temelji zlasti na samoevalvaciji. Avtorji predlagamo poenotenje izvajanja samoevalvacije. Kot podlago bi bilo smiselno uporabiti model evalvacije virov, postopkov, procesov in izidov, ki ga opisujemo v nadaljevanju. Tak model omogoča izvajalcem programov oziroma storitev, da predstavijo svoje delo, poudarijo svoje prednosti in dobre rezultate, hkrati pa določijo področja, ki jih je treba še izboljšati. Samoevalvacija tako dobi funkcijo predstavitve programa in je orodje za izboljšanje kvalitete delovanja. Tako zastavljeno samoevalvacijo je treba po mnenju avtorjev dopolniti s sistemom rednega evalviranja programov. Sistem evalvacije ne more temeljiti zgolj na samoevalvaciji izvajalcev. Evalvacija je dejanje vrednotenja, se pravi, odločitev o vrednosti, pomembnosti ali utemeljenosti predmeta evalvacije. Ne glede na to, na katerem področju jo izvajamo, je evalvacija zmeraj vezana na določene vrednote ali vrednosti in jo zmeraj izvajamo kot pomoč ali dodatno orientacijo za odločanje. Ad hoc evalvacija je načeloma mogoča brez evalvacijskega raziskovanja in celo brez posebnega zbiranja podatkov. Vendar se pri tem odpre problem veljavnosti, relevantnosti in smiselnosti take evalvacije za nadaljnje delovanje in odločanje. Zaradi teh problemov je treba po mnenju avtorjev zagotoviti sistem zunanje evalvacije. KDO NAJ IZVAJA EVALVACIJO V SOCIALNEM VARSTVU Poleg poteka same evalvacije bo treba določiti tudi izvajalce evalvacije, potrebna znanja in veščine, ki jih bodo morali obvladati, in institucije, odgovorne za sistem evalvacije. Izvajalci evalvacije. Mogoči sta dve rešitvi. Evalvacijo lahko izvajajo izbrani strokovnjaki, ki delujejo na področju socialnega varstva, kot dodatno dejavnost, ali pa v okviru institucij socialnega varstva zaposlimo nove, posebej usposobljene kadre, ki bodo polno zaposleni kot profesionalni evalvatorji. Avtorji zagovarjamo idejo profesionalnih evalvatorjev. Zagotavljanje delovanja sistema evalvacije, ki je potreben za primerno pokritost vseh programov v socialnem varstvu, je po mnenju avtorjev preobsežna naloga, da bi jo lahko kdo opravljal kvalitetno kot dodatno dejavnost. Pri evalvaciji gre za širši pogled na pomen, učinkovitost in uspešnost delovanja programov, v katerem morajo imeti enakopravno besedo vsi vpleteni v program, se pravi, tako izvajalci in uporabniki kakor tisti, ki zagotavljajo vire za izvedbo programov, in vsaj predstavniki okolja, v katerem programi delujejo. Strokovni pogled mora biti sestavni del evalvacije, vendar jezik stroke ne more prevladovati. Prej bi moral v njej prevladovati jezik splošne javnosti. Zato ni nujno in verjetno tudi ne preveč zaželeno, da je evalvator strokovnjak za področje, ki ga bo evalviral. Mora pa biti sposoben med sabo povezati različne jezike in interpretacije: strokovnjakov, uporabnikov, financerjev, javnosti in drugih vpletenih. Ta naloga še daleč ni preprosta, zato zagovarjamo idejo o profesionalnih evalvatorjih. Iz istega razloga predlagamo, da v primeru, ko bo evalvacija občasna naloga izbranih strokovnjakov, ki delujejo v socialnem varstvu, evalvatorji ne evalvirajo programov s področja, na katerem delujejo sami. Drugi argument za uvajanje profesionalnih evalvatorjev je, da je evalvacija dejavnost, ki se stalno razvija in najde vedno boljše metode in prijeme. Da bi sledili temu procesu in prispevali k njemu, potrebujemo strokovnjake, ki se bodo posvetili ne le sami evalvaciji programov v socialnem varstvu, temveč tudi nadaljnjemu razvoju metod, instrumentov in načinov izvedbe evalvacije na področju socialnega varstva. Obseg dela, ki ga bodo evalvatorji posvetili sami evalvaciji, je odvisen od tega, kako pogosto 3 NINO RODE, LIL JANA RIHTE R, B A RBAR A KOB AL bo treba evalvirati posamezen program. Avtorji smo v obstoječem sistemu našteli nekaj čez 350 programov, ki bi jih bilo treba evalvirati. Pri tem smo evalvacijo centra za socialno delo šteli kot enkratno evalvacijo. Uvedba evalvacije v centru za socialno delo po posameznih področjih vsaj podvoji število potrebnih evalvacij. Avtorji menimo, da je treba evalvirati vsak program vsaj enkrat v petih letih. V tem primeru bo po naših ocenah treba evalvirati vsaj 70 programov letno, kar po naših izračunih pomeni polno zaposlitev vsaj dveh evalvatorjev, tudi če ne štejemo časa, potrebnega za nadaljnji razvoj dejavnosti. Kriteriji za imenovanje evalvatorjev. Kot smo že poudarili, morajo biti zato, da bi zagotovili nepristranskost evalvacije, evalvatorji neodvisni strokovnjaki, ki ne bodo neposredno povezani niti s financerji niti z izvajalci programov, ki jih bodo evalvirali. Izvajalci evalvacije morajo biti predstavniki strok, ki delujejo v socialnem varstvu, (predstavniki strok, ki so lahko po ZSV in drugih predpisih strokovni delavci in strokovni sodelavci v socialnem varstvu), vendar morajo biti dodatno usposobljeni za evalvacijo. Temeljna znanja, potrebna za evalvatorje, so: • razumevanje pomena, mesta in nalog evalva-cije in temeljnih oblik in metod evalvacije • obvladovanje metod zbiranja in obdelave podatkov, ki bodo uporabljene pri evalvaciji • splošni pregled nad delovanjem sistema socialnega varstva in problemi, ki se v njem odpirajo • temeljna znanja iz mikroekonomske analize in računovodstva • razumevanje in obvladanje uporabe temeljnih pojmov, na katerih temeljijo predlagani splošni kriteriji evalvacije • kvaliteta življenja in glavna področja kvalitete življenja • načela normalizacije, družbenih mehanizmov stigmatizacije in načinov njihovega premagovanja • perspektiva moči, načela upoštevanja in uporabe virov in zmožnosti, ki jih ima posameznik na voljo za izboljšanje svojega življenja, namesto osredotočenja zgolj na njegove probleme in šibke točke • problemov funkcioniranja posameznika vsaj na področjih, ki jih bo evalviral; • splošni pregled nad veljavnimi delovnimi, terapevtskimi ipd. pristopi vsaj na področjih, ki jih bo evalviral • veščina racionalnega argumentiranja svojih prepričanj in ocen in doseganja sporazuma s posamezniki, ki so drugačnega mnenja. Institucija, ki bo odgovorna za imenovanje evalvatorjev. Predlagamo, da zaradi pomembnosti evalvacije socialnega varstva, zaradi potrebe po potrditvi sposobnosti evalvatorjev za opravljanje njihovih nalog in zaradi zagotavljanja potrebnega konsenza o strokovnosti evalvatorjev in njihovi kompetentnosti za opravljanje evalvacij evalvatorje imenuje strokovni svet socialnega varstva na predlog institucije, ki bo koordinirala izvajanje evalvacij. INSTITUCIONALNI POLOŽAJ EVALVACIJE V SOCIALNEM VARSTVU Ne glede na odločitev o tem, ali bodo eval-vacijo izvajali profesionalni evalvatorji ali pa bo izvajanje evalvacije dodatna dejavnost in jo bodo opravljali strokovnjaki, ki bodo primarno opravljali druge naloge, bo treba določiti institucijo, pri kateri bodo imeli sedež profesionalni evalvatorji oziroma ki bo koordinirala delo »honorarnih« evalvatorjev. Če se naročnik odloči, da evalvacija ne bo posebna dejavnost, mora ta institucija evalvatorjem zagotoviti potrebno logistično podporo, za kar bo treba zagotoviti dodatne kadre in dodatna sredstva. Odločitev o tem, katera institucija bo to, po mnenju avtorjev ni v naši kompetenci, saj potegne za sabo organizacijske in finančne posledice, o katerih avtorji nismo pooblaščeni odločati, zlasti pa je za to potrebno neposredno strinjanje institucije, ki naj prevzame to nalogo. Avtorji ugotavljamo, da o tem obstaja konsenz, da so »naravni« kandidati za te naloge inštitut za socialno varstvo, fakulteta za socialno delo in socialna zbornica, ne izključujemo pa možnosti, da se oddelek za evalvacijo v socialnem varstvu organizira v okviru ministrstva za delo, družino in socialne zadeve. Še enkrat poudarjamo, da gre za organizacijsko vprašanje, ki ga je mogoče rešiti le z dogovarjanjem med vpletenimi, saj ima pomembne posledice, o katerih avtorji nismo pooblaščeni odločati. 4 UVA JAN JE SIS TE M A E VALVACIJE V SOCIA LNEM VARS T V U ZBIRANJE PODATKOV ZA EVALVACIJO OBLIKOVANJE OCEN EVALVIRANIH PROGRAMOV Enota evalvacije je program oziroma storitev socialnega varstva in ne izvajalec storitve oziroma programa. Pri tem sledimo modelu, uporabljenem v enotnem informacijskem sistemu socialnega varstva (Novak 2000: 32–33); ta kot enoto zbiranja podatkov določa zaokroženo transakcijo, ki je podana z relacijo »uporabnik – storitev«. Kot poročevalsko enoto pa postavlja izvajalca programa oziroma storitve. Uporabniki se seveda med sabo razlikujejo po teži in trdovratnosti problema, zaradi katerega so vključeni v program, po svojih sposobnostih in po drugih značilnostih. Zato je treba za vsakega uporabiti različne količine virov; uporabiti moramo različne postopke, ki vsak zase porabljajo različne vire v različnih količinah. Prav tako procesi, na katere vplivajo postopki programa, pri vsakem posamezniku potekajo različno hitro in intenzivno, zato je lahko različno tudi trajanje izvajanja potrebnih postopkov. Končno so tudi zaradi vmešavanja dejavnikov in procesov, na katere program s svojimi postopki ne vpliva, izidi različni od uporabnika do uporabnika in pri vsakem uporabniku v različnih obdobjih. Pri zbiranju podatkov moramo upoštevati, da na učinek programa vplivajo različni dejavniki, tako tisti, ki jih spodbujajo ali zavirajo v programu uporabljeni postopki, kot tudi dejavniki, na katere postopki v programu ne vplivajo neposredno. Zato so spremembe pri posamezniku nepredvidljive. V skupini uporabnikov program teži delovati v smeri razrešitve problemov, se pravi, izboljšanja nekaterih področij kvalitete življenja. Program torej poskuša spreminjati kvaliteto življenja vseh uporabnikov v isto smer. Kolikor mu to uspeva, se morajo spremembe, ki jih spodbudi, odraziti v spremembi povprečne ocene kvalitete življenja v skupini. Če tega učinka ni, lahko rečemo, da program procesov, ki naj bi vodili k izboljšanju življenja svojih uporabnikov, ne uravnava dovolj uspešno. Avtorji zato predvidevamo zbiranje podatkov več uporabnikov (približno 10), učinek programa pa nameravamo ugotavljati iz skupne ocene obravnavanega vzorca. Do sedaj so se številne evalvacije v Sloveniji omejile zlasti na opis evalviranih programov in njihovih učinkov, izognile pa so se celostni oceni predmeta evalvacije. Kot argument za tako obnašanje so evalvatorji ponavadi navedli, da je ocena naloga naročnikov. Tako stališče podeljuje naročniku pravico veta in mu daje položaj končnega razsodnika, kar pa ni v skladu s predstavljenimi načeli evalvacije. Evalvacija po mnenju avtorjev ne more biti popolna, če ne poda ocene evalviranega programa, ki bi bila javno dostopna in bi omogočila njegovo izboljšanje. Zato morajo evalvatorji oceniti pomembne dimenzije evalviranega programa in svoje ocene javno predstaviti. Seveda so cene evalvatorjev nujno subjektivne, odvisne od zornih kotov, ki jih imajo posamezni evalvatorji, in podvržene različnim drugim vplivom. Pomembno je torej, da v eval-vaciji zagotovimo čim večjo objektivnost ocen. To lahko dosežemo predvsem s tem, da več ocenjevalcev samostojno ocenjuje pomembne vidike posameznega programa. Pomembno za stabilnost ocenjevanja je, da posamezno organizacijo ocenjuje več ocenjevalcev. Prav tako je pomembno, da evalvirani program poleg strokovnih evalvatorjev ocenjujejo tudi predstavniki izvajalcev, uporabnikov in drugih vpletenih skupin. Dobljene ocene različnih ocenjevalcev med sabo primerjamo ter ugotovimo strinjanja, ki jih lahko vzamemo za dober približek realni oceni, in razlike med ocenami, ki kažejo na nezanesljivost ocenjevanja. Pomembnejša vira nezanesljivosti, ki ju moramo pri evalvaciji upoštevati, sta nejasnost kriterijev ocenjevanja in razlike v zornih kotih ocenjevalcev, zlasti v različnih poudarkih, ki jih posamezni ocenjevalci pripisujejo posameznim elementom kriterijev. Da bi čim bolj nevtralizirali vpliv teh dejavnikov, v svojem modelu ocenjevanja predvidevamo, da bodo evalvatorji razlike v ocenah prediskutirali in bo vsak ocenjevalec podal argumente za svojo oceno. Na podlagi take diskusije lahko ocenjevalci postavijo konsenzualne ocene, s katerimi se vsi dovolj strinjajo, da jih lahko zagovarjajo. Če zagotovimo, da bodo ocenjevalci kompetentni predstavniki vseh vpletenih, s tem povečamo intersubjektivno veljavnost ocen in dosežemo 5 NINO RODE, LIL JANA RIHTE R, B A RBAR A KOB AL največjo možno objektivnost v danih okoliščinah. Hkrati skozi tak postopek ocenjevanja programov omogočimo dialog med evalvatorji, predstavniki organizacij in drugih vpletenih, v katerem je mogoče razjasniti razloge za opaženo stanje in najti izboljšave. Drugi ukrep za objektivnost ocen je vezanje ocenjevanja na konkretne razlike. To nameravamo doseči tako, da bomo v vsako evalvacijo vključili vsaj dve organizaciji hkrati. S tem bomo zagotovili medsebojno primerljivost ocen, saj bodo temeljile na primerjavi razlik med programoma. Obenem bomo na tak način omogočili tudi komunikacijo med organizacijami o izkušnjah, problemih in rešitvah glede evalvacije in lastnega delovanja. SCENARIJ POTEKA EVALVACIJE Najpreprostejši scenarij evalvacije bi bil tale. Dva usposobljena evalvatorja bosta evalvirala dve organizaciji. Vsak evalvator bo za svojega od evalviranih programov: • pridobil za sodelovanje v ocenjevanju vsaj enega od sodelavcev, po možnosti pa tudi uporabnika obravnavanega programa • ob pomoči predstavnikov organizacije zbral relevantne podatke o programu, ki ga obravnava • napisal predstavitev, v kateri bodo podatki, relevantni za ocenjevanje organizacij. Vsak od štirih ali šestih udeležencev evalva-cije (dva evalvatorja in po en sodelavec, lahko pa tudi po en uporabnik iz vsakega od obravnavanih programov) bo sam neodvisno ocenil oba programa po relevantnih dimenzijah: na podlagi predstavitve in na podlagi lastnih izkušenj z organizacijo. Tako bomo dobili štiri ali šest ocen za vsako organizacijo. Pri tem bosta dve oceni (tri ocene) temeljili na izkušnjah iz kontaktov s programom in na poročilu, dve (tri) pa samo na poročilu. Dobljene ocene bodo obdelali in predstavili tako, da bodo razvidna strinjanja in razlike med ocenami. Podatke in ugotovitve bodo evalvatorji pre-debatirali med sabo in jih uskladili, nato pa predstavili evalviranima organizacijama, naročnikom evalvacije in drugim zainteresiranim in organizirali diskusijo o rezultatih ocenjevanja. Na podlagi te diskusije in predlogov za rešitve, ki so se v njej izkristalizirali, bodo evalvatorji napisali evalvacijski poročili za vsako organizacijo in predloge za nadaljnje izboljšanje postopka evalvacije. UVAJANJE SISTEMA EVALVACIJE V SOCIALNEM VARSTVU Predlagani sistem evalvacije nameravamo uveljaviti postopoma in ga v procesu prilagajati realnemu stanju. Pri tem bomo posebno pozornost posvetili temu, da bodo dodatne obremenitve izvajalcev čim manjše, da pa bo zagotovljeno redno zbiranje podatkov, relevantnih za evalvacijo. Za zanesljivo evalvacijo, ki bi omogočila tudi izboljšanje učinkovitosti programa, bi bilo treba spremljati porabo virov, izvajane postopkov, potek procesov in izide programa na individualnem nivoju za vsakega uporabnika in jih šele na koncu evalvacije združiti v enotne kazalce na nivoju programa. Neposredno zbiranje podatkov na nivoju programa ne omogoča zanesljive evalva-cije. Kljub temu avtorji menimo, da je uvajanje zbiranja podatkov na individualnem nivoju v prvem koraku oblikovanja sistema evalvacije prevelik zalogaj. Individualno zbiranje podatkov bi morali rutinsko izvajati programi sami, zato bi lahko ob prehitrem uvajanju prišlo v organizacijah do odporov proti uvajanju evalvacije nasploh in do pritožb o preobremenjenosti izvajalcev z nepotrebno administracijo. Zato v prvi fazi predlagamo uvajanje zbiranja podatkov, združenih na nivoju programov. Podatki, združeni na nivoju programov ali organizacij, zadostujejo za minimalno evalvacijo programa, ki pa ne omogoči nujno primerjave z drugimi programi. Pri tem je treba poudariti, da je lahko primerjava takih podatkov med organizacijami nezanesljiva, zlasti pa neveljavna, saj ne omogoča vpogleda v dejavnike, ki se prepletajo znotraj vsakega od primerjanih programov. V mislih imamo zlasti težavnost problemov, ki jih imajo posamezniki, njihovo odzivnost na določeno kombinacijo postopkov, ki so bili uporabljeni v programu, prilagodljivost kombinacije postopkov v programu potrebam in značilnostim posameznikov in vplive procesov, ki jih program s svojimi postopki ne more obvladati. Vsi ti pa tudi drugi dejavniki vplivajo na individualne izide, s tem pa tudi na uspešnost in učinkovitost programa. Zbiranje podatkov, združenih na nivoju programa, 6 UVA JAN JE SIS TE M A E VALVACIJE V SOCIA LNEM VARS T V U premeša te individualne vplive in s tem zamegli povezave med viri, postopki, procesi in izidi. Neugodna kombinacija takih dejavnikov bi lahko torej poslabšala izide ali povečala porabo virov. Na podlagi takih podatkov bi torej sklepali, da je določen program ali celo določen pristop k reševanju problemov manj uspešen ali manj učinkovit, kar pa ne bi bilo upravičeno. Še zlasti na začetku bo veliko dela z uvajanjem in stabiliziranjem predlaganega sistema evalvi-ranja. Ko bo novi način evalviranja utečen in se bodo pokazale prednosti evalvacije, predvidevamo, da se bo v samih organizacijah, ki jih bomo evalvirali, pokazala potreba po natančnejših evalvacijah in s tem po individualnem zbiranju podatkov. Takrat bi postopno uvedli zbiranje podatkov na individualnem nivoju, ki bi jih predvsem uporabljali sami programi in organizacije, ki jih izvajajo, za zunanjo evalvacijo pa bi uporabili primerno razčlenjene združene podatke, ki bodo omogočali realno in zanesljivo evalvacijo. VIRI ASA (1998), The Program Evaluation Standards: Summary of the Standards. http://www.eval.org/EvaluationDocuments/ progeval.html (11. oktober 2004). Nacionalni program socialnega varstva do leta 2005 (2000). Ur. l. RS, 31/2000: 3777–3787. Načrt za izvajanje usmeritev in nalog iz nacionalnega programa socialnega varstva do leta 2005 (2002). Ur. l. RS, 45/2002. M. Novak (ur.) (2000), Enotni informacijski sistem socialnega varstva v Republiki Sloveniji. Ljubljana: Inštitut RS za socialno varstvo. M. Q. Patton (1997), Utilisation-Focused Evaluation. London: Sage Publications.