102 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. Eric Verbiest idr.1 Podatkovna pismenost ravnateljev: razvoj vodstvenih zmožnosti za s podatki podprto izboljšanje šole Povzetek: Vse pogosteje se od šol pričakuje, da bodo uporabljale podatke, tako za svoj razvoj kot tudi zaradi dejstva, da postajajo vse bolj tudi same odgovorne za kakovost svojega delovanja. Ravnatelji imajo ključno vlogo pri zbiranju, interpretaciji in uporabi teh podatkov, zaradi česar morajo biti ustrezno podatkovno pismeni. Pričujoči prispevek temelji na ugotovitvah projekta2 Razvijanje zmožnosti vodij za na podatkih temelječe izboljšave (DELECA)3. V njem obravnavamo koncept podatkovne pismenosti ravnateljev in opisujemo kompetence ravnateljev glede na različne ravni njihovega na podatkih zasnovanega praktičnega dela. Ker je za kakovost prakse odločilna zmožnost organizacije za uspešno reševanje problemov, ne pa podatki sami po sebi, velja ob njihovi uporabi poudariti podporno vlogo ravnatelja ter procesov učenja v in o organizaciji, ki jo vodi. Za uspešno ravnateljevanje so pomembne tako izkušnje kot znanje, za vstop v vlogo ravnatelja pa je nujen preplet obojega. V prispevku predstavljamo najpomembnejše smernice za razvoj kurikularnih rešitev, ki bi pripomogle k usposabljanju bolj podatkovno pismenih ravnateljev, in jih ilustriramo s primeri, ki smo jih razvili v okviru programa, zasnovanega kot del projekta DELECA. Ključne besede: ravnatelji, profesionalni razvoj, podatkovna pismenost, kompetence. UDK: 37.091 Znanstveni prispevek Dr. Eric Verbiest, Univerza v Antwerpu, Middelheimlaan 1, 2020 Antwerpen, Belgija; e-naslov: e.b.verbiest@gmail.com SODOBNA PEDAGOGIKA 4/2014, 102-116 1 Soavtorji tega prispevka so dr. Milan Pol (Masarykova univerza, Češka), Kristin Vanlommel (Univerza v Antwerpu, Belgija), dr. Paul Mahieu (Univerza v Antwerpu, Belgija), dr. Bohumira Lazarova (Masarykova univerza, Češka), dr. Kristina Malmberg (Univerza Uppsala, Švedska), Signe Neimane (Izobraževalni in informacijski center mesta Rige, Latvija), dr. Justina Erčulj (Šola za ravnatelje, Slovenija), Andrej Savarin (Šola za ravnatelje, Slovenija), Agnis Gleizups (Izobraževalni in informacijski center mesta Rige, Latvija) in Torbjörn Hortlund (Univerza Uppsala, Švedska). 2 Splošni namen tega projekta je razviti vodstvene zmožnosti ravnateljev za izboljšanje delovanja šol na podlagi empiričnih podatkov. Ožja cilja projekta sta: (1) zasnovati program usposabljanja ravnateljev, ki bi temeljil na razvoju šole, podprtem s podatki; in (2) razviti strategijo za implementacijo tega programa (gl. DELECA 2014). 3 Projekt je bil financiran s podporo Evropske komisije. Prispevek odraža le stališča avtorjev, zato Evropska komisija ne more prevzeti nikakršne odgovornosti glede uporabe v njem vsebovanih podatkov. Podatkovna pismenost ravnateljev .. 103 Uvod Vse pogosteje se od šol pričakuje, da bodo uporabljale podatke, tako za svoj razvoj kot tudi zaradi dejstva, da postajajo vse bolj tudi same odgovorne za kakovost svojega delovanja. To med drugim pomeni, da tudi od ravnateljev vse pogosteje pričakujemo, da bodo podatkovno pismeni oz. da bodo znali smiselno uporabljati empirične podatke. V tem prispevku zato poudarjamo nujnost podatkovne pismenosti ravnateljev. Osrednje vprašanje, ki se ga lotevamo, je torej vprašanje njihovega izobraževanja in razvoja za večjo kompetentnost zbiranja, interpretacije in uporabe podatkov. K profesionalnemu razvoju podatkovno pismenih ravnateljev bomo prispevali z obravnavo dveh problemov: prvega bi lahko strnili v vprašal-nico »kaj«, pri čemer je v ospredju sam profesionalni razvoj podatkovno pismenih ravnateljev; drugega pa bi lahko označili z vprašalnico »kako«, s čimer merimo na proces njihovega profesionalnega razvoja. Opisujemo torej koncept podatkovne pismenosti kot kompetentnosti, ki jo je mogoče povezati z različnimi ravnmi na podatkih temelječega praktičnega dela. Na podlagi značilnosti učinkovitih programov profesionalnega razvoja opisujemo tudi najpomembnejša načela in smernice za zasnovo kurikula (tako z vidika vsebine kot tudi z vidika didaktičnih pristopov), s katerim bi bilo mogoče doseči večjo podatkovno pismenost ravnateljev. Nujnost razvoja podatkovno pismenih ravnateljev Številne države so na področju javnih storitev usmerile k ciljni naravnanosti, pri čemer postaja vse pomembnejša decentralizacija ter večji poudarek na odgovornosti izvajalcev. Šole tako postajajo bolj avtonomne, toda od njih se pričakuje tudi doseganje dobrih rezultatov. Zahteve po vse večji odgovornosti med drugim pomenijo, da od šole vse pogosteje pričakujemo obveščanje vseh v njeno delovanje vključenih deležnikov o mnogih vidikih njenega delovanja, še posebej pa o učnih rezultatih, ki jih dosegajo njeni učenci. Gre za usmeritev sodobnih izobraževalnih politik, ki temelji na predpostavki, da bo večja pozornost, ki jo namenjamo rezultatom na testih znanja ter sistematičnemu zbiranju podatkov 104 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. o relevantnih organizacijskih pogojih, vodila k bolj učinkovitim učnim praksam, kar naj bi bilo v končni instanci poplačano tudi v obliki bolj kakovostnega učenja učencev (McDonnell 2005). Poudarjanje rezultatov in odgovornosti šol zanje je sicer podvrženo tudi kritikam. Tako so denimo Bottery (2004), Vandenberghe (2004) in Ravitch (2010) opozarjali na pomanjkljivosti in negativne posledice izvajanja programov v takšnih pogojih, med drugim na oženje kurikula, deprofesionalizacijo, poučevanje, usmerjeno zgolj k doseganju visokih rezultatov na testih in na s tem povezane goljufije. To je privedlo k prizadevanjem, da bi pristop, ki temelji na zunanjem nadzoru nad odgovornostjo, povezali s pristopom, katerega bistvo je notranji razvoj (Elmore 2008; Hopkins 2007). Barber (2002) je obdobje po letu 2000 razumel kot obdobje s podatki podprte strokovne presoje, pri čemer naj bi bilo izobraževanje v rokah strokovnjakov za izobraževanje, a ob eksplicitni zahtevi, da so to dejansko strokovnjaki, ki so opremljeni z in se opirajo na podatke. Ob tem je samoevalvacija pomemben mehanizem, ki omogoča prestopiti meje natančno določenega zunanjega nadzora nad odgovornostjo ter uveljaviti večjo avtonomijo (Geysel idr. 2010). Earl in Katz (2006) sta predvidela, kaj pomeni takšna s podatki podprta strokovna presoja: namreč, uporabo raziskovanja in podatkov, s katerimi bo mogoče upravičiti in podpreti sprejete odločitve v izobraževanju. Tako eksterni (ki se osredotoča na odgovornost) kot tudi interni pristop (ki se osredotoča na razvoj) terja uporabo podatkov - besedilnih, besednih, številčnih podatkov, opazovanj in pomenov -, ki jih strokovni delavci sistematično zbirajo in organizirajo ter jih je mogoče uporabiti pri sprejemanju organizacijskih odločitev.4 Podatki so torej več kot le kvantitativni pojav, vsebujejo namreč tudi kvalitativno znanje. To je lahko včasih tacitno, kot so denimo pojmovanja razmerij med ravnatelji in učitelji. Ravnatelji imajo ključno vlogo v prizadevanjih za odgovornost in razvoj. Na splošno je mogoče reči, da se vse bolj srečujejo s pričakovanji, da postanejo podatkovno pismeni ali podatkovno »modri« (angl. data wise) (Earl in Katz 2006; Earl in Timperley 2009). Hamilton idr. (2009) podatkovno pismenost opredelijo kot »zmožnost zastavljati in odgovarjati na vprašanja o zbiranju, analizi in interpretaciji podatkov« (prav tam, str. 47). Po njihovem prepričanju je široka podatkovna pismenost tako učiteljev in ravnateljev kot tudi učencev temeljna značilnost »podatkovno vodene« šolske kulture. Nekateri dokazi dajejo podlago za sklep, da je učinkovitost šole močno povezana z učinkovito uporabo podatkov tako v oddelku kot na šolski ravni (Anderson idr. 2010; Calman 2010). Pri tem je najpomembnejša vloga ravnatelja. Če namreč ta uporabe podatkov ne postavi na prvo mesto, če ne spodbuja njihove uporabe ali ne ustvarja delovnih pogojev, ki bi spodbujali uporabo podatkov pri sprejemanju didaktičnih odločitev, se učitelji tega navadno sami niti ne lotevajo (Anderson idr. 2010). Louis idr. (2010) so raz- 4 Mogoče je razlikovati med podatki, informacijami, znanjem in drugimi sorodnimi koncepti (Ackoff 1989; Schildkamp idr. 2012; Vanhoof idr. 2009). Podatki so simbolne reprezentacije števil in količin. Informacije vsebujejo obdelane podatke, ki tako postanejo uporabni in dajejo odgovore na vprašanja »kdo«, »kaj«, »kje« in »kdaj«. Znanje pa se nanaša na uporabo podatkov in informacij ter daje odgovore na vprašanja »kako«. Podatkovna pismenost ravnateljev .. 105 iskovali, kako ravnatelji in učitelji uporabljajo podatke, kako šolsko okolje vpliva na s podatki podprte odločitve ravnateljev in kako so dosežki učencev povezani z uporabo podatkov na ravni šole. Ugotovili so, da imajo ravnatelji ključno vlogo, ko gre za vzpostavljanje pričakovanj in z njimi povezanih namenov uporabe podatkov ter pri načrtnem zagotavljanju možnosti in časa za delo s podatki, kar vključuje tudi strokovno izobraževanje, priložnosti za delo v kolegialnih skupinah ter dostop do ekspertnega znanja. Ob tem je pomembna vloga ravnateljev tudi ko gre za ozaveščanje tacitnega znanja, s čimer to postaja bolj eksplicitno in strokovnim delavcem omogoča razumeti kulturne vidike šolskega življenja. Tako v ospredje prihajajo tudi vprašanja, povezana s profesionalnim razvojem samih ravnateljev. Na tem mestu bomo k profesionalnemu razvoju podatkovno pismenih ravnateljev prispevali z obravnavo dveh tematik. S prvo bomo naslavljali vprašanje, ki ga je mogoče strniti v vprašalnico »kaj«: osredotočili se bomo torej na ravnateljev profesionalni razvoj, kakršen vodi k njegovi podatkovni pismenosti, vključujoč vprašanja, kot so kaj podatkovno pismen ravnatelj počne, katere so njegove s tem povezane temeljne kompetence in na katere prakse in kompetence bi se morali bolj osredotočiti, da bi ravnatelji postali bolj podatkovno pismeni. Druga tematika zadeva vprašanje »kako«, torej sam proces profesionalnega razvoja, vključno z razmislekom, kako lahko ravnateljem pomagamo, da postanejo kompe-tentnejši pri uporabi podatkov v šoli, in katere učne strategije lahko pripomorejo k njihovi večji podatkovni pismenosti. Oboje bomo ilustrirali z nekaj praktičnimi primeri iz programa, ki smo ga razvili v okviru projekta DELECA (gl. opombo 1). Gre za vprašanja, ki so relevantna tako v znanstvenem kot tudi v povsem praktičnem smislu. Doslej ni bilo prav veliko raziskav o profesionalnem razvoju ravnateljev (Darling-Hammond idr. 2007, Davis idr. 2005; Dempster idr. 2011; Pont idr. 2008; Smylie in Bennet 2005). Del odgovora na vprašanje, kako podatkovno opismeniti ravnatelje, nudijo tudi nekatere empirične študije o njihovem profesionalnem razvoju, ki so nastale v zadnjem času. Potreba po usposabljanju ravnateljev za večjo podatkovno pismenost je očitna. Na podatke oprto vodenje v programih usposabljanja ravnateljev še vedno zaseda obrobno mesto. V večini primerov je mogoče ugotoviti, da preprosto ni nikakršnega poudarka na pridobivanju in uporabi podatkov za namene razvoja šole in njene odgovornosti (Vanhoof in Mahieu 2011; Verbiest 2010). Ob tem se prav razvoj podatkovno pismenih ravnateljev povsem sklada z mednarodnimi in nacionalnimi prednostnimi nalogami izobraževalnih politik. Ena od OECD-jevih študij denimo poudarja pomen sistemov odgovornosti, toda obenem opozarja, da ti sistemi lahko prispevajo k izboljšanju šol izključno kolikor je njihovo vodstvo podatkovno pismeno (Pont idr. 2008). O podatkovni pismenosti nekoliko natančneje Podatkovne pismenosti seveda ne pričakujemo le od ravnateljev (gl. npr. Leithwood 2012). Toda v kontekstu tega prispevka se moramo omejiti na kompetence, ki so neposredno povezane z zbiranjem, analizo in interpretacijo podatkov ter njihovo uporabo pri načrtovanju dejavnosti šole. Prav tako se na tem mestu 106 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. ne bomo ukvarjali s pogoji, potrebnimi za podatkovno pismeno vodenje šole, kot je denimo obvladovanje sodobnih tehnologij. Vanhoof idr. (2014) podatkovno pismenost dojemajo kot kompetenco. Prvič, ta kompetenca vključuje strategije, spretnosti in znanje, nujne za to, da sploh zmoremo ustrezno opredeliti informacijske potrebe ter locirati, ovrednotiti, sin-tetizirati, organizirati, predstaviti in/ali sporočati informacije. In drugič, koncept kompetenc podatkovne pismenosti zahteva tudi pozornost do odnosa oz. stališč do uporabe podatkov, saj prav uporabnikova stališča o uporabi podatkov v pomembni meri določajo, koliko časa in napora bo pripravljen v to vložiti. Ob predpostavki, da delo s podatki v šoli stoji in pade z ravnateljevo učinkovito uporabo le-teh in zavzetostjo zanje, je pomembno razumeti tudi razlike med samimi ravnatelji, ko gre za njihov odnos do uporabe podatkov. Pomembno je razumeti, da uporaba podatkov zahteva več kot le preprosto usvajanje niza podatkovnih spretnosti. Vanhoof idr. (2013) tako ugotavljajo, da ravnatelji niso naklonjeni uporabi podatkov, če za to ne kažejo zavzetosti ali če jim delo s podatki povzroča nelagodje, pa čeprav tudi sami verjamejo, da bi bila uporaba podatkov lahko koristna. Pogosto se tudi dogaja, da ravnatelji preprosto prezrejo svoje znanje o uporabi podatkov in dopustijo, da jih vodi zgolj lasten občutek. Ta ugotovitev je izjemno pomembna za zasnovo programov usposabljanja, namenjenih ravnateljem. Učinkoviti programi profesionalnega razvoja morajo namreč ustvariti varno okolje za udeležence, temelječe na strokovnosti in medsebojnem spoštovanju, kar spodbuja vse večjo zavzetost in samozavest ravnateljev za uporabo podatkov. Delo s podatki pogosto opisujemo kot proces, ki poteka na različnih ravneh. Primere takšnih ravni opisujejo Copland idr. (2009), Kowalski (2009) ter Vanhoof idr. (2014). Sami smo njihove pristope smiselno povezali in tako zasnovali ravni na podatkih temelječe prakse, ki jih skupaj s primeri kompetenc ter spretnosti, znanja in stališč predstavljamo v preglednici 1. Copland idr. (2009) opozarjajo na nevarnost determinističnega pojmovanja »podatkovno vodenega delovanja« (angl. data driving action), ko gre za koncept na podatke oprtega vodenja v izobraževanju. Ob tem, ko se podatkovno pismeni vodje pri svojem delovanju povsem zavedajo razpoložljivih podatkov, na njihovo delo vplivata tudi njihovo lastno vrednotenje in dojemanje tistih razsežnosti empirične prakse, o kateri še ni zanesljivih podatkov in jih morda tudi nikoli ne bo. Poleg tega so podatki bolj kot za samo sprejemanje odločitev uporabni za vodenje kot tako. Če namreč upoštevamo, da je mogoče podatke, ki se nanašajo na izobraževanje, pogosto različno interpretirati in so torej lahko večpomenski, to lahko pomeni, da dejansko sprožajo več vprašanj kot pa dajejo natančnih odgovorov o konkretnih odločitvah. Seveda lahko nudijo podlago za razprave o možnih ravnanjih, toda preveč preprosto bi bilo trditi, da lahko vselej »vodijo« odločanje ali neposredno pokažejo, kako se najbolje odzvati na dano problematiko, denimo na problem nižjih dosežkov dečkov v primerjavi z deklicami. Podatkovna pismenost ravnateljev .. 107 RAVNI NA PODATKIH TEMELJEČE PRAKSE PRIMERI KOMPETENC PRIMERI SPRETNOSTI, ZNANJA IN STALIŠČ Opredelitev raziskovalnih problemov Zmožnost pomagati zaposlenim pri opredelitvi njihovih potreb po podatkih - Biti pripravljen in usposobljen videti probleme z različnih perspektiv. - Biti pripravljen in usposobljen za pomoč zaposlenim pri razumevanju problemov z različnih perspektiv. - Imeti znanje o samoevalvaciji šole. Iskanje in dostopanje do podatkov in dokazov Zmožnost pomagati zaposlenim pri izvajanju raziskovanja - Zavedati se različnih možnosti za uporabo podatkov. - Zavedati se potrebe po različnih podatkih za doseganje različnih namenov. - Imeti znanje o zbiranju podatkov in orodjih za njihovo analizo. - Biti pripravljen in usposobljen za nudenje pomoči zaposlenim, da razvijejo zavest o možnostih uporabe podatkov, potrebi po različnih podatkih za doseganje različnih namenov ter da usvojijo znanje o zbiranju podatkov in orodjih za njihovo analizo. Povabilo k razpravi o alternativnih (ali nasprotnih) pogledih Zmožnost v šoli začeti skupen dialog o pomenu podatkov, zmožnost pomagati zaposlenim pri integraciji teh podatkov z drugimi podatkovnimi viri - Premišljeno presojati. - Imeti strpen odnos do nejasnosti. - Ceniti in se zavzemati za globlje razumevanje. - Spodbujati druge (učitelje, kritične prijatelje) k strokovnemu dialogu o podatkih. - Zavzemati različne perspektive in sistematično zastavljati osrednja vprašanja. - Upoštevati druge vrste podatkov (numerične podatke, mnenja, anekdote, opazovanja). - Biti pripravljen in usposobljen za pomoč zaposlenim pri njihovem razvijanju zmožnosti kritičnega mišljenja (premišljeno presojati, biti strpen do nejasnosti, ceniti globlje razumevanje). - Biti pripravljen in usposobljen za pomoč zaposlenim pri prepoznavanju in upoštevanju drugih vrst podatkov. Interpretacija podatkov Zmožnost pomagati zaposlenim pri branju, razumevanju in interpretaciji podatkov - Imeti znanje o statističnih in merskih konceptih. - Biti pripravljen in zmožen podatke smiselno povezovati. - Biti pripravljen in usposobljen za pomoč zaposlenim pri razlikovanju med verodostojnimi in neverodostojnimi podatki. Diagnosticiranje problema Zmožnost pomagati zaposlenim, da zmorejo na podlagi podatkov razložiti močna in šibka področja delovanja njihove šole - Imeti znanje o problemih s področja kurikula, poučevanja in učenja. - Imeti znanje o razvoju šole ter problemih, povezanih z organizacijskim učenjem. - Biti pripravljen in usposobljen za pomoč zaposlenim pri usvajanju znanja o problemih s področja kurikula, poučevanja in učenja ter vprašanjih, povezanih z razvojem šole in organizacijskega učenja. 108 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. Načrtovanje: Zmožnost pomagati Imeti znanje o tem, kako izboljšati kurikulum, poučevanje in učenje. Imeti znanje o tem, kako izboljšati razvoj šole in organizacijsko učenje. Biti pripravljen in usposobljen za pomoč zaposlenim pri usvajanju znanja o možnostih izboljšanja kurikula, poučevanja, učenja, razvoja šole ter organizacijskega učenja. implikacije za ravnanja zaposlenim pri načrtovanju dejavnosti zagotavljanja kakovosti in izboljšav na podlagi ugotovitev in interpretacij Preglednica 1: Ravni na podatkih temelječe prakse, primeri kompetenc ter spretnosti, znanja in stališč. Anderson idr. (2010) ob tem poudarjajo, da uporaba podatkov sama po sebi ne vpliva na kakovost poučevanja in učenja; nanjo vpliva kvečjemu ustreznost ravnanj, ki sledijo na podatke oprtim interpretacijam o naravi danega problema, možnih rešitvah le-tega ter na tej osnovi sprejetim odločitvam. Z drugimi besedami, zmožnost organizacije za reševanje problemov igra pri tem odločilno vlogo. Osredotočenost na delo s podatki pomeni, da ravnatelji učitelje spodbujajo pri pridobivanju, interpretaciji in uporabi podatkov, vse z namenom izboljšanja lastnega delovanja in delovanja šole. Nekatere študije, kot poročajo npr. Boudett idr. (2005) ter Katz idr. (2010) potrjujejo, da so pri učinkoviti uporabi podatkov najuspešnejši ravnatelji, ki svoje zaposlene uspešno vključujejo v procese skupnega sprejemanja odločitev. Zato tudi pri oblikovanju kompetenc poudarjamo podporno vlogo ravnatelja in procesov organizacijskega učenja o uporabi podatkov. Učinkovit profesionalni razvoj ravnateljev Pont idr. (2008) zapišejo, da je v zadnjih 10 do 15 letih v mnogih državah razvoj šolskega vodenja sicer postala realnost, toda kljub temu je na tem področju še vedno prisotna potreba po bolj koherentnih pristopih. Nekateri drugi avtorji omenjajo dejstvo, da so raziskave o profesionalnem razvoju ravnateljev še vedno redke (npr. Darling-Hammond idr. 2007; Dempster idr. 2011). Timperley idr. (2007; gl. tudi Denis in Van Damme 2010; Robinson in Tim-perley 2007) so opravili širok pregled več kot 100 študij ter v njem povezali najpomembnejše ugotovitve o učinkovitem profesionalnem razvoju učiteljev. Glede na to, da gre za odrasle, učitelji (in ravnatelji) ne pristopajo k učenju kot »nepopisani listi«, pač pa imajo svoja strokovna prepričanja o tem, kako se učenci učijo, česa naj bi se učili in kako jih poučevati. Večinoma gre pri tem za implicitne teorije, ki pa imajo nanje izjemno močan učinek. Nove informacije, ki se ne skladajo z njihovimi obstoječimi prepričanji, lahko hitro naletijo na odpor, zato je pomembno ta prepričanja upoštevati, v našem primeru torej prepričanja o uporabi podatkov. Učinkovito strokovno izobraževanje namreč temelji na predpostavki, da strokovnjaki tudi sami osmislijo znanje, pridobljeno v procesu profesionalnega razvoja. Toda osmišljanje ni le stvar preprostega posredovanja jasnih sporočil udeležencem, od katerih nato pričakujemo, da bodo na njihovi osnovi sami sprejemali strokovne odločitve, ne da bi se prej poglobili v njihova obstoječa prepričanja, pač pa je kom- Podatkovna pismenost ravnateljev .. 109 pleksen proces, v katerem v interakcijo stopajo obstoječa prepričanja udeležencev, okoliščine, v katerih ti opravljajo svoje praktično strokovno delo, in novo znanje, ki so ga deležni v tem procesu. Poglobljeno učenje zato običajno zahteva ponavljajoče se cikle vključenosti v izobraževalne procese, preizkušanja znanja v praksi ter ugotavljanja, kakšne rezultate smo dosegli. Forde (2011) razlikuje med tremi modeli razvoja vodenja: - model, ki temelji na vajeništvu, za katerega je značilno, da udeleženci potrebne vodstvene in upravljavske spretnosti pridobivajo s pomočjo izkušenj v sami šoli (gre torej za t.i. izobraževanje »na delu«); - model, ki temelji na znanju, pri čemer udeleženci pridobijo ustrezne kvalifikacije s področja vodenja in upravljanja v programih drugostopenjskega univerzitetnega izobraževanja; in - izkustveni model, ki temelji na strukturiranem nizu izkušenj, ki udeležencem omogočajo osebnostni razvoj ter usvajanje potrebnega razumevanja in spretnosti. Omenjeni trije pristopi se seveda do določene mere prekrivajo, a je med njimi vendarle mogoče razlikovati, saj temeljijo na različnih pojmovanjih razvoja vodenja. Vajeniški model omogoča boljši vpogled v avtentično vlogo ravnatelja in lahko pomembno pripomore k razvoju identitete ravnatelja ter njegove samozavesti. A je po drugi strani razvojni proces v tem modelu lahko bolj negotov in teži k ohranjanju obstoječega stanja. Model, ki temelji na znanju, omogoča široko paleto strukturiranih učnih priložnosti, s pomočjo katerih lahko udeleženci dostopajo do širokega znanja in poglobljeno razmišljajo o lastnih izkušnjah ter ciljih, ki si jih želijo zastaviti kot ravnatelji. Sproža pa dvome glede praktične relevantnosti takšnega pristopa, pri čemer imamo v tovrstnih univerzitetnih programih pogosto opraviti tudi z notranjo napetostjo med doseganjem akademskih zahtev, močno povezanih z raziskovanjem, in zagotavljanjem praktičnih kompetenc, ki jih terjajo strokovni standardi. Četudi imata oba od opisanih modelov svoje pomanjkljivosti, sta izkušnje in znanje pri obeh pomembni razsežnosti kompleksnega procesa, v katerem posameznik postaja ravnatelj. Forde (prav tam) je mnenja, da pridejo prednosti obeh modelov najbolj učinkovito do izraza prav v izkustvenem modelu, torej v prepletu različnih učnih priložnosti, kjer se oblikujejo pojmovanja, odkriva narava teh pojmovanj skozi prakso, in kjer je na delu tudi razmislek o izkušnjah (gl. Bush in Glover 2004; Huber 2011). Na podlagi redkih raziskav (Darling-Hammond idr. 2007; Verbiest idr. 2000), lahko na tem mestu povzamemo nekatere skupne pomembne značilnosti učinkovitih programov profesionalnega razvoja: - obsežen in koherenten kurikulum, skladen z državnimi in strokovnimi standardi, v katerem je mogoče prepoznati poudarek na pedagoškem vodenju in razvoju šole; - predavanja in študijsko branje literature, ki daje udeležencem konceptualni okvir za interpretacijo lastnih izkušenj ter oblikovanje lastnih ciljev; 110 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. - aktivno, na udeležence osredotočeno poučevanje, vključujoč didaktične strategije, ki spodbujajo razmišljanje ter povezovanje med teorijo in prakso; - dobro zasnovana in ustrezno vodena praksa, ki kandidatom v zadostnem obsegu omogoča vključevanje v odgovorno vodstveno delo pod tutorstvom starejših in bolj izkušenih strokovnjakov; - učenje vodenja v praksi, vključno z analizami hospitacij v oddelkih, supervizijo, profesionalnim razvojem na podlagi opazovanja praktičnega dela, v povezavi s študijem literature in diskusijami; in - kolegialna učna omrežja, kot so denimo omrežja ravnateljev, študijske skupine, mentorski ali vrstniški coaching, torej skupnosti, ki praktikom omogočajo medsebojno komunikacijo in podporo pri reševanju problemov. Tudi na osnovi zgoraj opisanih značilnosti se torej lahko prepričamo o pomenu izkustvenega modela. Razvoj podatkovne pismenosti: smernice za zasnovo kurikula in praktični primeri V tem delu prispevka povzemamo najpomembnejše smernice za zasnovo kurikula, s katerim je mogoče ravnatelje podatkovno opismeniti. Začenjamo s smernicami, ki se nanašajo na didaktični pristop, nato oblikujemo nekaj smernic, ki zadevajo kompetence in specifično znanje, ki ga potrebujejo podatkovno pismeni ravnatelji. Ilustriramo jih s primeri, ki smo jih razvili za program v kontekstu projekta DELECA (2014, gl. op. 1). Najprej pa v tabeli 2 prikazujemo strukturo omenjenega programa, ki pokaže, da je ta razdeljen v pet modulov (vsak od teh pa traja en dan). Vsak modul obravnava eno od temeljnih kompetenc podatkovno pismenega vodje. MODUL PRIMERI KOMPETENC TEMELJNA VSEBINA 1. Pomen in namen dela s podatki Zmožnost zaposlenim pomagati pri opredelitvi potreb po podatkih. - Uvod, pričakovanja udeležencev, cilji programa in načrt. - Kaj razumemo pod pojmom podatek in s kakšnimi podatki imamo opraviti v šoli? - Kaj to pomeni za razvoj šole? - Vpeljava koncepta podatkovno pismenega vodenja. - Kaj je v šolah mogoče izvesti? Predvidene ovire pri uvajanju podatkovno podprtega vodenja. - Izobraževalne potrebe ravnateljev in šol na področju dela s podatki. 2. Iskanje in zbiranje podatkov ter dokazov in njihova presoja Zmožnost zaposlenim pomagati pri izvedbi raziskovanja. - Različne vrste podatkov. - Metode zbiranja podatkov. - Zanesljivost in veljavnost podatkov in metod. Podatkovna pismenost ravnateljev .. 111 3. Analiza in interpretacija Zmožnost v šoli spodbuditi skupne razprave o sporočilnosti podatkov. Imeti zmožnost zaposlenim pomagati pri integraciji teh informacij z drugimi podatkovnimi viri. Uvod v analizo in interpretacijo; uporaba podatkov za izboljšanje šole. Branje kvantitativnih in kvalitativnih podatkov. Presoja in vrednotenje rezultatov. Implikacije za ravnatelje. 4. Od rezultatov do izboljšanja šole Zmožnost zaposlenim pomagati pri razumevanju, kako podatki kažejo močna in šibka področja njihove šole. Upravljanje in vodenje sprememb v praksi: dosedanje izkušnje. Refleksije o 1., 2. in 3. dnevu: pogled na podatke in njihovo uporabo pri izboljšanju šole; teoretični pregled »novega učnega« vodenja ter izboljšanja šole. Od podatkov k dejanjem: načrtovanje podatkovno podprtega procesa izboljšanja in vloga ravnateljev. Načrtovanje za spremembe. 5. Ustvarjanje kulture raziskovanja Zmožnost zaposlenim pomagati pri načrtovanju zagotavljanja kakovosti ali izboljšav glede na razumevanje in sporočilnost podatkov. Analiza obstoječe kulture raziskovanja. Uvodna predstavitev ciljev in načrtov 5. modula. Pomen kulture raziskovanja in njena opredelitev. Delo na kulturi raziskovanja: od refleksije k dejanjem. Trajnost Sklepna načela: spodbujajoči in omejujoči dejavniki. Preglednica 2: Pregled programa DELECA. Izvedba Profesionalni razvoj, ki ravnateljem omogoči, da postanejo podatkovno pismeni, torej zahteva uporabo izkustvenega modela, v katerem lahko skupina udeležencev dejavno razmišlja o svojih pogledih na uporabo podatkov v šolah, jih ovrednoti z vidika novo pridobljenega znanja o uporabi podatkov in oblikuje svoje s tem povezane cilje in dejavnosti. Da bi izpopolnil kompetence ravnateljev na področju podatkovne pismenosti, tak model vključuje tudi predavanja, študij literature in konceptualne okvire za interpretacijo lastnih izkušenj ter oblikovanje lastnih ciljev (s povratno informacijo vrstnikov in tutorjev). V 1. modulu (»Pomen in namen dela s podatki«) udeležence prosimo, da raziščejo podatke, ki jih sami uporabljajo v svoji šoli, ter vire teh podatkov. Poleg tega morajo poročati, kaj sami razumejo kot podatke in kakšne so njihove izkušnje z le-temi. Modul vključuje tudi diskusijo o tem, kaj pravzaprav so podatki, s čimer vzpostavimo konceptualni okvir za njihovo razumevanje. Na koncu udeležencem posredujemo nekaj študijske literature, ki jo morajo preučiti (prim. Earl in Katz 2006). V 5. modulu (»Ustvarjanje kulture raziskovanja«) udeleženci prejmejo anketo, ki je bila zasnovana za merjenje obstoječe kulture raziskovanja. Prosimo jih, da jo izpolnijo in tako ugotovijo močna in šibka področja svoje šole. Nato jih prosimo, da odgovore delijo z ostalimi člani skupine, pri čemer izpeljemo kratko diskusijo 112 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. o močnih in šibkih točkah. To nas pripelje k razmisleku o možnih omejitvah in spodbudnih dejavnikih, povezanih s kulturo raziskovanja, čemur sledi predavanje in diskusija o samem pojmu kulture raziskovanja in dejavnikih, ki nanjo pozitivno ali negativno vplivajo. Vsebina Usposabljanje za profesionalni razvoj ravnateljev, ki vodi k njihovi podatkovni pismenosti, temelji na nizu kompetenc, ki smo jih izpeljali na podlagi ravni na podatkih temelječe prakse. Gre za kompetence, ki ravnatelju omogočajo, da učiteljem na šoli pomaga pri učenju o podatkih, osredotočajo pa se zlasti na njegovo vlogo v procesu pridobivanja in uporabe podatkov. Da bi v tem smislu postali bolj kompetentni, morajo udeleženci kritično obdelati specifične informacije. Same kompetence so opisane v preglednici 1; poudarek je zlasti na podporni vlogi ravnatelja in procesu organizacijskega učenja o uporabi podatkov ter pomoči zaposlenim pri prebiranju, razumevanju in interpretaciji podatkov. Moduli vključujejo številne primere podpornih vlog ravnatelja. V 3. modulu (»Analiza in interpretacija«) z udeleženci izvedemo delavnico v manjših skupinah, kjer se vodja skupaj z udeleženci osredotoči na prej opravljeno delo (vprašanja, zbiranje podatkov, prvi vtisi). Člani skupine lahko nato zastavljajo vprašanja (npr. »S kolikimi učitelji ste delali?« in »Kako ste podatke kategorizirali?«). Nato opravijo analizo (kaj so ugotovili, možne interpretacije, vprašanja in omejitve pri interpretacijah) ter povratno informacijo posredujejo vodji. Ob koncu izvedbe modula vodja skupine napiše poročilo o povratnih informacijah, ki jih je prejel ter opravi razmislek o njihovih implikacijah. V 4. modulu (»Od rezultatov do izboljšanja šole«) udeleženci delajo v manjših skupinah, kjer pripravijo akcijski načrt, ki temelji na dokumentu s podatki (npr. na rezultatih, ki so jih učenci dosegli na nacionalnem preverjanju znanja ali na poročilu o opazovanju pouka). Skupine načrtujejo izboljšanje strategij in pripravijo plakate, ki jih razstavijo v predavalnici. Predstavijo svoje načrte za izboljšanje, diskutirajo o podobnostih in razlikah med njimi ter iščejo razloge zanje. Po predavanju o teoretičnih vidikih izboljšanja šole in »novem pedagoškem vodenju« (o vlogi ravnateljev pri na podatkih temelječem izboljšanju) se udeleženci vrnejo k podatkom o njihovi lastni šoli, ki so jih analizirali v 3. modulu. Vsak zase na podlagi dane predloge razvijejo akcijski načrt za svojo šolo. Da bi lahko sprejemali odločitve na podlagi razpoložljivih podatkov, ki se nanašajo na pouk, organizacijo šole in organizacijske pogoje za uporabo podatkov v šoli, udeleženci predstavljenega programa skozi opisane module usvajajo znanje o raziskovalnih metodah, zanesljivosti in veljavnosti podatkov in metod, izobraževalnih politikah, ki temeljijo na uporabi podatkov v šolah in izobraževanju nasploh, razlikah med pristopom, ki temelji na zunanjem nadzoru nad odgovornostjo ter pristopom, katerega bistvo je notranji razvoj, in nenazadnje okviru, ki šolsko organizacijo povezuje s poukom in rezultati, ki jih dosegajo učenci. Podatkovna pismenost ravnateljev .. 113 Sklep in razprava V tem prispevku smo obravnavali dve temeljni vprašanji, povezani s profesionalnim razvojem ravnateljev za njihovo večjo podatkovno pismenost. Prvo vprašanje se je nanašalo na to, kaj sploh pomeni profesionalni razvoj ravnateljev v tem pogledu, drugo vprašanje pa na to, kako naj ta proces poteka. Če k uporabi podatkov pristopimo kot k procesu, ki ga tvorijo različne ravni, je mogoče na tej podlagi identificirati več kompetenc (spretnosti, znanja, stališč) podatkovno pismenih ravnateljev. Te niso omejene le na zbiranje in interpretacijo podatkov. Zmožnost organizacije za reševanje problemov ima odločilno vlogo in ne podatki sami zase. To med drugim pomeni, da ravnatelji učitelje spodbujajo pri pridobivanju, interpretaciji in uporabi podatkov, vse z namenom izboljšanja lastnega delovanja in delovanja šole. Kar zadeva proces profesionalnega razvoja, smo na podlagi sicer redkih raziskav povzeli nekatere pomembne skupne značilnosti učinkovitih programov profesionalnega razvoja. Te kažejo na pomen modela izkustvenega učenja, ki temelji na strukturiranem nizu izkušenj, ki udeležencem omogočajo osebnostni razvoj ter usvajanje potrebnega razumevanja in spretnosti v povezavi s študijem literature ter kritičnim razmislekom o lastnih izkušnjah. Čeprav zapisano odraža trenutno stanje na področju profesionalnega razvoja podatkovno pismenih ravnateljev, velja poudariti, da vemo še zelo malo o razvoju ravnateljev nasploh in da se ob tem srečujemo s precej skromnim naborom empiričnih podatkov, na katere bi se lahko oprli. Razvoj pedagoškega vodenja je kompleksen proces. Zahteva znanje o učinkovitih vodstvenih praksah, zmožnosti za njihovo izvajanje, s tem povezane psihološke in socialne procese ter učne strategije in vire, ki nanje vplivajo. Poznamo sicer številne učinkovite prakse, a vemo zelo malo o drugih sestavinah (Smylie in Bennet 2005). Leithwood (2012) povzema pogosto navajane pomanjkljivosti, ko gre za prizadevanja, da bi opredelili upravljavske in (zlasti) vodstvene kompetence. Omenja denimo razdrobljenost ravnateljevih vlog, ki bi jih bilo bolje razumeti kot integrirano celoto, ob predpostavki, da gre za generični niz zmožnosti, ki se prilegajo vsem kontekstom. Poleg tega poudarja, da ni na voljo empiričnih dokazov, ki bi nedvoumno kazali na povezavo med kompetencami vodstva in rezultati, ki jih izkazuje organizacija (gl. tudi Canole in Young 2013; Robinson idr. 2009). Večina opisov kompetenc, vključujoč te, ki smo jih uporabili v našem prispevku, so zgolj teoretski derivati praks ravnateljev in kot taki ne temeljijo na empiričnem raziskovanju. Strokovnjaki, ki se ukvarjajo z usposabljanjem ravnateljev, seveda ne morejo čakati, da znanost opravi svoje delo: potrebujejo opise kompetenc, da ravnateljem pomagajo pri njihovem profesionalnem razvoju. A priznati moramo, da empiričnih temeljev, na katerih bi lahko utemeljili programe in modele profesionalnega razvoja ravnateljev, še nimamo; obstoječih raziskav (Darling-Hammond idr. 2007; Davis idr. 2005; Dempster idr. 2011; Pont idr. 2008; Smylie in Bennet 2005) je malo in so teoretsko šibke. Sklenemo torej lahko, da nujno potrebujemo dobro premišljene teorije: med drugim o razmerjih med kompetencami in ravnanjem ravnateljev, med različnimi modeli profesionalnega razvoja, ter razmerji med ravnanji ravnateljev, učiteljev in rezultati, ki jih nato dosegajo učenci. 114 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. Literatura in viri Ackoff, R. (1989). From Data to Wisdom. Journal of Applied Systems Analysis, 16, str. 3-9. Anderson, S., Leithwood, K. in Strauss, T. (2010). Leading data use in schools: Organizational conditions and practices at the school and district levels. Leadership and Policy in Schools, 9, st. 3, str. 292-327. Barber, M. (2002). The next stage for large scale reform in England: From Good to Great. Paper presented at Vision 2020 - Second International Online Conference. Bottery, M. (2004). The challenges of educational leadership. Values in a globalized age. London: Paul Chapman Publishers. Boudett, K., City, E. in Murnane. J. (ur.). (2005). Data Wise: A Step-by-Step Guide to Using Assessment Results to Improve Teaching and Learning. Cambridge: Harvard Education Press. Bush, T. in Glover, D. (2004). Leadership development: evidence and beliefs. A review of the literature carried out for NCSL. Nottingham: National College for School Leadership. Calman, R. (2010). Education's big eight: Exploring the underlying traits of high-performing schools. Register, 12, st. 3, str. 19-22. Canole, M. in Young, M. (2013): Standards for Educational Leaders: An Analysis. Washington: Council of School State Officers. Dostopno na: http://www.ccsso.org/Documents/ Analysis%20of%20Leadership%20Standards-Final-070913-RGB.pdf (pridobljeno 30. 12. 2013). Copland, M., Knapp, M. in Swinnerton, J. (2009). Principal leadership, data and school improvement. V: T. Kowalski in T. Lasley (ur.). Handbook of Data-Based Decision Making in Education. New York: Routledge, str. 153-172. Darling-Hammond, L., LaPointe, M., Meyerson, D., Terry Or, M. in Cohen, C. (2007). Preparing school leaders for a changing world: Lessons from Exemplary Leadership Development Programs. Stanford: Stanford Educational Leadership Institute. Davis, S., Darling-Hammond, L., LaPointe, M. in Meyerson, D. (2005). Review of research, School Leadership Study - Developing successful principals. Stanford: Stanford Educational Leadership Institute. DELECA. (2014). Dostopno na: www.deleca.org (pridobljeno 22. 10. 2014). Dempster, N., Lovett, S. in Fluckiger, B. (2011). Strategies to Develop School Leadership: A select literature review. Melbourne: Australia Institute for Teaching and School Leadership. Dostopno na: http://clearinghouse.aitsl.edu.au/Static/Strategies%20to%20 Develop%20School%20 Leadership.pdf (pridobljeno 27. 12. 2013). Denis, J. in Van Damme J. (2010). De leraar: professioneel leren en ontwikkelen. Reviewon-derzoek van H. Timperley e.a. Leuven, den Haag: Acco. Earl, L. in Katz, S. (2006). Leading schools in a data-rich world. Harnessing data for school improvement. Thousand Oaks: Corwin Press. Earl, L. in Timperley, H. (2009). Understanding how evidence and learning conversations work. V: L. Earl in H. Timperley (ur.). (2009). Professional learning conversations. Challenges in using evidence for improvement. Dordrecht: Springer, str. 1-12. Elmore, R. (2008). Leadership as the practice of improvement. V: B. Pont, D. Nusche in D. Hopkins (ur.). Improving School Leadership. Volume 2: Case studies on system leadership. Paris: OECD, str. 37-68. Podatkovna pismenost ravnateljev .. 115 Forde, C. (2011). Leadership for learning: educating educational leaders. V: T. Townsend in J. Macbeath (ur.). The International Handbook of Leadership for Learning. Dordrecht: Springer, str. 353-372. Geysel, F., Krüger, M. in Sleegers, P. (2010). Data feedback for school improvement: The role of researchers and school leaders. The Australian Educational Researcher, 37, st. 2, str. 59-75. Hamilton, L., Halverson, R., Jackson, S., Mandinach, E., Supovitz, J. in Wayman, J. (2009). Using student achievement data to support instructional decision making (NCEE 2009-4067). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Dostopno na: http://ies.ed.gov/ncee/wwc/publications/practiceguides/ (pridobljeno 15. 12. 2012). Hopkins, D. (2007). Every school a great school. Realizing the potential of system leadership. Maidenhead: Open University Press. Huber, S. (2011). Leadership for Learning - Learning for Leadership. The impact of Professional Development. V: T. Townsend in J. MacBeath (ur.). International Handbook of Leadership for Learning. Dordrecht: Springer, str. 635-652. Katz, S., Earl, L. in Ben Jaafar, S. (2009). Building and connecting learning communities: The power of networks for school improvement. Thousand Oaks: Corwin. Kowalski, T. (2009). Evidence and Decision Making in Professions. V: T. Kowalski in T. Lasley (ur.). Handbook of Data-Based Decision Making in Education. New York: Routledge, str. 3-19. Leithwood, K. (2012). The Ontario Leadership Framework 2012, with a discussion of the Research Foundations. Ontario: Institute for Education Leadership. Dostopno na: http:// iel.immix.ca/storage/6/1360068388/Final_Research_Report_-_EN_REV_Feb_4_2013. pdf (pridobljeno 30.12.2013). Louis, K. S., Leithwood, K., Wahlstrom, K. in Anderson, S. (2010). Learning from leadership project: Investigating the links to improved student learning: Final report of research findings. New York: The Wallace Foundation. McDonnell, L. (2005). Assessment and accountability from the policymaker's perspective. In J. J. L. Herman and E. Haertel (ur.). Uses and misuses of data for educational accountability and improvement: The 104th yearbook of the National Society for the Study of Education, Part II. Malden: Blackwell. Pont, B., Nusche, D. in Moorman, H. (2008). Improving School Leadership. Volume 1: Policy and Practice. Paris: OECD. Ravitch, D. (2010). The Death and Life of the Great American School System: How testing and choice are undermining education. New York: Basic Books. Robinson, V. in Timperley, H. (2007). The leadership of the improvement of teaching and learning: lessons from initiatives with positive outcomes for students. Australian Journal of Education, 51, st. 3, str. 247-262. Robinson, V., Hohepa, M. in Lloyd, C. (2009J. School Leadership and Student Outcomes: Identifying what Works and Why. Best Evidence Synthesis. Dostopno na: http://www. educationcounts.govt.nz/_data/assets/pdf_file/0015/60180/BES-Leadership-Web.pdf (pridobljeno 23. 12. 2013). Schildkamp, K., Ehren, M. in Lai, M. K. (2012). Editorial article for the special issue on data-based decision making around the world: from policy to practice to results. School Effectiveness and School Improvement, 23, st. 2, str. 123-131. 116 SODOBNA PEDAGOGIKA 4/2014 Eric Verbiest idr. Smylie, M. in Bennet, A. (2005). What do we know about developing school leaders? A look at existing research and next steps for new study. V: W. Firestone in C. Rhiel (ur.). A new agenda for research in Educational Leadership. New York: Teacher College Press, str.138-155. Timperley, H., Wilson, A., Barrar, H. in Fung, I. (2007). Teacher Professional Learning and Development: Best Evidence Synthesis Iteration [BES]. Wellington: Ministry of Education. Vandenberghe, R. (2004). Over stuurbaarheid van het onderwijs. Een analyse van 'sturend beleid', resultaten en niet-bedoelde effecten. V: G. Kelchtermans (ur.). De stuurbaarheid van het onderwijs Tussen kunnen en willen, mogen en moeten. Leuven: Universitaire Pers, str. 89-120. Vanhoof, J., Verhaeghe, G., Petegem, Van, P. in Valcke, M. (2013). Improving data literacy in schools: lessons from the school feedback project. V: K. Schildkamp, M. K. Lai in L. Earl (ur.). Data-based decision making in education: challenges and opportunities. Dordrecht: Springer, str. 113-134. Vanhoof, J., Vanlommel, K., Thijs, S. in Vanderlocht, H. (2014). Data use by Flemish School Principals: Impact of Attitude, Self-efficacy and External Expectations. Educational Studies, 40, št. 1, str. 48-62. Vanhoof, J. in Mahieu, P. (2011). Local Knowledge Brokerage for Data Driven Policy and Practice in Education. Policy Futures in Education, 11, št. 2, str. 185-199. Vanhoof, J., Mahieu, P. in Van Petegem, P. (2009). Geinformeerde schoolontwikkeling: van een nieuw gegeven naar een beleidsinstrument. Kwaliteitszorg in het onderwijs, str. 17-51. Verbiest, E. (2010). Op weg naar Nieuw Onderwijskundig Leiderschap. Schoolleiding en begeleiding 2: Personeel en Organisatie, 25, str. 17-38. Verbiest, E., Ballet, K., Vandenberghe, R., Kelchtermans, G. in Van de Ven, H. (2000). Uit-gerust. Een onderzoek naar de resultaten van de Magistrumopleiding voor schoolleider primair onderwijs. Leuven: Departement pedagogische wetenschappen, Centrum voor onderwijsbeleid en - vernieuwing's-Hertogenbosch: Fontys Hogescholen: Ople-idingscentrum schoolmanagement.