#10 vzgoja izobraževanje Dr. Paul Black in dr. Dylan William, King's College London1 SPREMINJANJE POUČEVANJA SKOZI FORMATIVNO SPREMLJANJE: RAZISKOVANJE IN PRAKSA PROJEKT FORMATIVNEGA SPREMLJANJA ZNANJA KING'S-MEDWAY-OXFORDSHIRE PREGLED RAZISKAV Zgodba o našem dolgoletnem interesu za formativ-no spremljanje nas je privedla do odločitve, da je bistvenega pomena napraviti pregled literature, če želimo odkriti dokaze o tem, da izboljševanje formativnega spremljanja vpliva na zviševanje standardov znanja. Prav tako se je zdelo nujno, da poiščemo dokaze, ali sedanja praksa pušča dovolj manevrskega prostora za izboljšave in nasvete o tem, kako izboljšati formativno spremljanje. Naš pregled raziskovalne literature je zajel številne knjige in več kot 160 revij iz obdobja zadnjih devetih let, vključeval pa je tudi študij prejšnjih pregledov raziskav (Crooks, 1988; Natriello, 1987). S pomočjo tega procesa smo pridobili okoli 580 člankov oziroma poglavij, iz katerih smo pripravili daljši pregled, v katerem smo uporabili gradivo iz 250 že omenjenih virov. Pregled je bil objavljen (Black in Wiliam, 1998a) skupaj s komentarji, ki so jih prispevali strokovnjaki iz petih držav. Prvi del pregleda raziskuje dokaze. Za vzorčni primer nam je služila študija, objavljena leta 1986, ki se je osredotočila - vendar ne izključno - na razredno ocenjevanje otrok z lažjimi primanjkljaji. Študija vsebuje veliko število formativnih inovacij, izmed katerih smo jih izbrali 23 (Fuchs in Fuchs, 1986). Vse to so kvantitativni dokazi o izboljšanju uspeha pri učenju, ki so jih dobili s pomočjo primerjave podatkov med eksperimentalno in kontrolno skupino. Od tedaj je bilo objavljenih še veliko člankov, ki opisujejo podobno stroge kvantitativne eksperimente. Tudi naš pregled poroča o dvajsetih takšnih študijah, ki vse dokazujejo, da inovacije, ki vključujejo utrjevanje prakse for-mativnega spremljanja, pomembno in bistveno vplivajo na napredek pri učenju. Te študije so zajele različne starostne skupine (od petletnikov do univerzitetnih dodiplomskih študentov) in različne šolske predmete ter države. Dejstvo, da je bil tak napredek dosežen z različnimi metodami, katerih skupna značilnost je bilo okrepljeno for-mativno spremljanje, je kazalo na to, da je to lastnost, ki je vsaj delno odgovorna za uspeh. Vendar to še ni pomenilo, da je tak napredek preprosto doseči tudi v širšem obsegu v običajnih razredih. Drugi del pokriva raziskovanje trenutno obstoječih praks učiteljev. Slika, ki se je izrisala, je bila depresivna. Kar se tiče učinkovitega učenja, se zdi, da so vprašanja učiteljev in testi spodbujali mehansko in površno učenje. To je veljalo tudi za primere, ko so učitelji trdili, da so želeli razviti razumevanje. Naleteli smo tudi na dokaze o negativnem učinku medsebojnega primerjanja učencev, ki bolj spodbuja tekmovalnost kot osebni napredek. Še več, zdi se, da imajo povratne informacije učencem pogosto socialno in upravljavsko vlogo, kar gre neredko na račun učenja. Na splošno se je pokazalo, da je formativno spremljanje v praksi šibko ter da njegovo vpeljevanje zahteva precej globoke spremembe v učiteljski razredni praksi in njihovem pojmovanju svoje vloge glede odnosa do učencev. Tretji del se osredotoča na vključenost učencev pri formativnem spremljanju. Izkazalo se je, da prepričanja učencev, povezana s poznavanjem učnih ciljev, tveganj glede različnih odzivov ter glede tega, kako naj bi izgledalo učenje, vplivajo na motivacijo učencev za aktivnost, na izbiro vrste aktivnosti ter na naravo njihove pripravljenosti zanjo. Druge raziskave so preučevale različne pristope, naravnane na pozitivne ukrepe, in obdelale teme, kot so učne metode, učne veščine ter vrstniško in samoocenjevanje. Četrti del predstavlja pregled možnih strategij, ki bi lahko koristile učiteljem in bi jih lahko povzeli iz raziskav. Ena od značilnosti, ki smo jo odkrili, je potencial učne naloge, ki jo učitelj zasnuje za preverjanje učenja učencev. Druga značilnost se nanaša na velik pomen razprave v razredu, ki jo vodi učitelj s pomočjo vprašanj in odgovorov učencev. Peti del je usmeril pozornost na preučevanje celovitega sistema poučevanja in učenja, v katerem je svojo vlogo odigralo formativno spremljanje. Za primer so nam služili programi za obvladovanje učenja (mastery learning). Opaženo je bilo, da so v njih učenci prejeli povratne informacije o svojem trenutnem učnem dosežku glede na neko pričakovano raven učnega dosežka (tj. raven »obvladovanja«). Opaziti pa je bilo tudi, da so bile omenjene povratne informacije podane hitro in da so imeli učenci priložnost razpravljati s svojimi vrstniki o tem, kako izboljšati slabosti. Šesti del podrobneje preučuje literaturo o povratni informaciji. Pomemben primer predstavlja obsežen pregled empiričnih dokazov, ki sta ga opravila Kluger in DeNisi (1996). Njun pregled je razkril, da imajo povratne informacije 1 Radi bi izrekli priznanje pobudi Projektne skupine za politiko ocenjevanja Britanskega združenja za raziskave s področja izobraževanja (zdaj znani kot Skupina za reformo ocenjevanja), ki je dala začetno spodbudo in podporo našemu raziskovalnemu pregledu. Zahvaljujemo se Fundaciji Nuffield, ki je financirala prvotni pregled in prvo fazo našega projekta. Prav tako se zahvaljujemo profesorju Myronu Atkinu in njegovim kolegom z Univerze Stanford, ki so nam za zadnjo fazo zagotovili sredstva Ameriške nacionalne fundacije za znanost (NSF). Na koncu se zahvaljujemo tudi lokalnim šolskim oblastem za Medway in Oxfordshire ter njihovim šestim šolam, predvsem pa njihovim 36 učiteljem, ki so prevzeli osrednjo in tvegano nalogo spreminjanja naših zamisli v praktično delujoče znanje. 5-6 - 2014 - XLV RAZPRAVE #11 pozitivne učinke samo, če jih oblikujemo in uporabimo kot smernice za izboljšanje. Enako pomembna je bila pojmovna analiza, ki je opredelila povratno informacijo kot »informacijo o vrzeli med dejansko in referenčno ravnjo sistemskega parametra, ki se uporabi za nekakšen način spreminjanja te vrzeli« (Ramaprasad, 1983), ter Sadlerjev razvoj le-te (1989), ki poudarja, da morajo učenci razumeti tako »referenčno raven« - tj. cilj svojega učenja - kot tudi dejansko raven svojega razumevanja. Enako pomembno je bilo jasno sporočilo, povzeto iz raziskave o teoriji atribucije (npr. Vispoel in Austin, 1995), ki pravi, da si morajo učitelji prizadevati, da svojim učencem vcepijo idejo, da je uspeh posledica notranjega, nestabilnega, specifičnega dejavnika, kot je napor, in ne stabilnih splošnih dejavnikov, kot so sposobnosti (notranji dejavnik) ali pozitivno sprejemanje s strani učitelja (zunanji dejavnik). Na splošno so bile značilnosti, ki so zaznamovale številne študije, naslednje: Formativni pristop vključuje izboljšanje povratne informacije med učenci in učiteljem; ti načini vključujejo nove pedagoške pristope in zahtevajo bistvene spremembe v razredni praksi. Temelj različnih pristopov so predpostavke o tem, kaj vodi k učinkovitemu učenju - predvsem aktivno vključevanje učencev. Če želimo, da bo vrednotenje delovalo formativno, moramo rezultate, ki jih dobimo, uporabiti za usklajevanje poučevanja in učenja - šele takrat bodo načini, kako učitelji to naredijo, dobili veljavo. Veliko pozornosti moramo posvetiti načinom ocenjevanja, ki vplivajo na motivacijo in samozavest učencev, ter vključitvi učencev v samovrednotenje. Interpretacija raziskav Sintetiziranje raziskav ne more biti objektiven proces -saj namreč neizogibno ostaja subjektiven. Struktura šestih predstavljenih delov ni nastala samodejno. To je bila pot, ki smo si jo izbrali za rekonceptualizacijo, organizacijo in za osredotočanje na ustrezno področje literature. Naša opredelitev pojma »ustreznost« se je med delom širila, tako da smo morali odkriti načine organiziranja vse širšega polja raziskovanja in vzpostaviti nove konceptualne povezave, da bi lahko združili različne ugotovitve v koherentno sliko. To je bil eden od razlogov, da je naš pregled sprožil zagon za delo na tem področju. Zagotovil je nov okvir, ki bi ga bilo težko ustvariti na kakršen koli drugačen način. Pregled raziskav ni le kopirana oblika raziskovanja. Objave Čeprav smo se, ko smo izvajali raziskavo in pisali pregled, trudili, da bi dosledno spoštovali tradicionalne standarde raziskovanja na področju družboslovnih znanosti, se tega v knjižici Znotraj črne škatle (Black and Wiliam, 1998b), v kateri smo raziskovali posledice politike, nismo držali. Knjižico smo objavili in na veliko reklamirali skupaj z akademskim pregledom. To je zbudilo veliko zanimanja ter dalo zagon našem projektu in nadaljnjemu širjenju idej. Medtem ko bi lahko standarde dokazov, ki smo jih sprejeli pri izvajanju pregleda raziskav, označili kot standarde »akademske racionalnosti«, so bili standardi Znotraj črne škatle veliko bliže standardom »razumnosti«, ki jih za družboslovno raziskovanje priporoča Stephen Toulmin (Toulmin, 2001). V nekaterih pogledih publikacija z naslovom Znotraj črne škatle ne predstavlja drugega kot naša mnenja in predsodke, čeprav želimo verjeti, da so le-ti podprti z dokazi in da se ujemajo z našimi 50-letnimi izkušnjami s tega področja. Pomembno je tudi omeniti, da je knjižica Znotraj črne škatle požela uspeh tako zaradi svoje retorične moči kot tudi zaradi tega, ker temelji na dokazih. To bi lahko izzvalo zaskrbljenost pri marsikaterem znanstveniku - saj se zdi, da briše mejo med dejstvom in vrednostjo. Toda kot dokazuje Flyvbjerg (2001), družboslovni raziskavi spodleti natančno takrat, ko se osredotoča na analitično racionalnost namesto na vrednostno racionalnost (glej tudi Wiliam, 2003). KAKO SMO ZAČELI Z DELOM (MOVING INTO ACTION) Zasnova projekta Prvi fazi naše zgodbe je skoraj neizogibno sledila druga faza. Ker je naš pregled raziskav pokazal, da lahko inovacije pri formativnem spremljanju zvišajo učne dosežke učencev, smo začeli seveda razmišljati o načinih, na katere bi lahko šolam te koristi zagotovili. Naše izkušnje glede profesionalnega razvoja učiteljev so nas naučile, da vpeljevanje novih praks v razrede ne more biti preprosto le sestavljanje recepta, ki bi ga učitelji uporabili. Zaradi raznolike narave inovacij in različnih kontekstov, v katerih so bile preskušene, nismo mogli predpostavljati, da bi jih lahko samo »preslikali« v druge kontekste. Drugi razlog je bil ta, da na podlagi prebiranja poročil raziskovalcev ni mogoče opisati njihovega dela tako podrobno, kot bi bilo potrebno za oblikovanje nasvetov o tem, kako jih preslikati. Tretji razlog, ki bi bil odločilen tudi v odsotnosti prvih dveh, je bil naš pristop k prenašanju spoznanj raziskav v prakso. Menili smo, da je nove ideje o poučevanju in učenju mogoče udejanjiti le v posebnih okoljih, v našem primeru v povezavi z učitelji (sprva) britanskih srednjih šol in le v primeru, če so jih učitelji sposobni preoblikovati in ustvariti novo praktično znanje, ki ustreza njihovim nalogam. Tako smo si zagotovili financiranje dveletnega razvojnega projekta (s strani britanske fundacije Nuffield). Z nami je bilo pripravljeno sodelovati šest šol, ki so poučevale učence, stare od 11 do 18 let. Vsaka od njih je izbrala po dva učitelja naravoslovja in matematike, ki sta bila pripravljena prevzeti tveganje in dodatno delo, povezano s tem. V drugem letu izvajanja projekta sta se nam iz istih šol pridružila še dva učitelja angleščine ter dodatna učitelja matematike in naravoslovja, tako da je bilo skupaj vključenih 48 učiteljev. Podporo jim je nudilo osebje njihovih lokalnih (okrožnih) izobraževalnih oblasti, projekt pa je 5-6 - 2014 - XLV #12 vzgoja izobraževanje bil poimenovan Projekt formativnega spremljanja King's-Medway-Oxfordshire (KMOFAP). S tem smo želeli poudariti naše tesno sodelovanje z vsemi drugimi partnerji (Black in Wiliam, 2003). V obdobju dveh let so se učitelji in raziskovalci vsakih pet tednov srečevali na celodnevnih sestankih. Poleg tega sta dva raziskovalca obiskovala šole, opazovala učitelje v njihovih razredih, jim dajala povratne informacije, s pomočjo intervjujev zbirala podatke o njihovih pogledih in zbirala ideje o problemih za razprave na celodnevnih sestankih. Podrobna poročila o naših ugotovitvah (Black in drugi, 2002, 2003) temeljijo na zapisih teh sestankov ter opazovanjih in evidencah obiskov v učilnicah, ki jih je opravil King's tim, poleg tega pa tudi na intervjujih in zapisih samih učiteljev ter nekaj razpravah s skupinami učencev. Po zaključku tega projekta so se člani King's tima odzvali na številna vabila za pogovor, ki so jih prejeli od drugih skupin. V treh letih so imeli več kot 200 takih sestankov. Ti so se nanašali na vse predmete ter tako na primarno kot na sekundarno stopnjo. Poleg tega se je neprekinjeno nadaljevalo delo s štirimi skupinami osnovnih šol. Člani tima so kot svetovalci sodelovali tudi pri velikih razvojnih poizkusih s številnimi britanskimi pokrajinskimi lokalnimi oblastmi, z ministrstvoma za izobraževanje na Škotskem in v Jerseyju ter pri nedavnem preučevanju razrednih rezultatov za vladni program, katerega cilj je bil izboljšati poučevalne in učne prakse v šolah. Na začetku projekta so učiteljem kvantitativni dokazi, da formativno spremljanje zares izboljšuje standarde učnega uspeha, predstavljali močan motivacijski dejavnik. Eden od vidikov projekta KMOFAP je bil tudi ta, da je King's tim delal z vsakim učiteljem, da bi od učencev, ki so sodelovali v inovaciji, zbral podatke o izboljšanju njihovih učnih dosežkov pri testih in primerljive podatke iz podobnih razredov, ki niso bili vključeni v projekt (Wiliam et al., 2004). Za projekt nismo izdelali nobenih lastnih testov -uporabljeni podatki o uspešnosti so bili dobljeni s pomočjo testov, ki so jih za vse učence - ne glede na to, ali so bili vključeni v projekt ali ne - uporabljale šole. Analiza teh podatkov je razkrila splošno in pomembno izboljšanje rezultatov učnega uspeha. Tako so bili lahko zdaj dokazi, pridobljeni s pomočjo pregleda raziskav, dopolnjeni z dokazi o izboljšanju uspeha na nacionalnih izpitih Združenega kraljestva kot tudi na šolski ravni. Prakse, ki smo jih razvili Te prakse bomo opisali s pomočjo štirih naslovov: ustne povratne informacije v razrednem dialogu, povratne informacije v procesu ocenjevanja, vrstniško in samoocen-jevanje terformativna uporaba sumativnih testov. Opis bo kratek - podrobnejši opisi so bili namreč že objavljeni v drugih publikacijah (Black in drugi, 2003). Cilj razrednega dialoga je bil izboljšati interaktivne povratne informacije, ki so bistvenega pomena za forma-tivno spremljanje. Poročilo raziskave o času, ki ga imajo učenci na razpolago za odgovor (Rowe, 1974), je učitelje motiviralo, da so po zastavljenem vprašanju učencem pustili več časa za premislek o odgovoru. Tako se lahko od vseh pričakuje, da se aktivno vključujejo v razpravo, sestavljeno iz vprašanj in odgovorov, ter oblikujejo daljše odgovore. Poseben način za izboljšanje sodelovanja je bil tudi ta, da so dve do tri minute, preden jih je učitelj zaprosil za prispevek, učenci viharili ideje. Nato so resno obravnavali vse odgovore ne glede na to, ali so bili pravilni ali napačni, saj je bil cilj doseči napredek v globini razumevanja in ne priklic pričakovanih odgovorov. Posledica takih sprememb je bila, da so se učitelji podrobneje seznanili s predznanjem svojih učencev ter morebitnim napačnimi razumevanji in vrzelmi v znanju, tako da so v naslednjih korakih lahko nagovorili resnične potrebe svojih učencev. Med razvijanjem omenjenega pristopa so učitelji ugotovili, da je treba več truda posvetiti oblikovanju vprašanj, ki jih je vredno zastaviti, torej vprašanj, ki raziskujejo probleme, ki so ključnega pomena za razvoj razumevanja učencev. Podrobneje so se morali posvetiti tudi nadaljnjim dejavnostim, da bi lahko oblikovali smiselne odzive in izzive, ki bi učencem pomagali razširiti razumevanje. Razvijanje interaktivnega stila razrednega dialoga je od mnogih učiteljev zahtevalo korenito spremembo učnega stila. Naloga se jim je zdela težka tudi zato, ker so sprva imeli občutek, da izgubljajo nadzor. Nekateri so v projektu sodelovali tudi več kot leto dni, preden jim je uspelo doseči tako spremembo. Nadaljnje delo s preostalimi šolami je pokazalo, da je prav za ta vidik formativnega dela najmanj verjetno, da ga bodo učitelji uspešno vpeljali. Za preučevanje povratne informacije pri ocenjevanju smo učiteljem najprej predstavili pregled raziskovalnih študij, ki so ugotovile, da je mogoče učenje učencev izboljšati s pomočjo podajanja povratnih informacij v obliki komentarjev, ker ima številčno ocenjevanje negativni učinek, saj v primeru, ko so prisotne tudi številčne ocene, učenci komentarje prezrejo (Butler, 1988). Ti rezultati so pri učiteljih izzvali presenečenje in zaskrbljenost. Skrbelo jih je, kakšen učinek bo izzvala naloga, ki jo bodo učencem vrnili brez številčnih ocen, opremljeno le s komentarji. Vendar pa so bili potencialni konflikti s šolsko politiko razrešeni, saj so izkušnje pokazale, da so komentarji, tako učencem kot njihovim staršem omogočili nasvet, kako postati še boljši. Poleg tega so se namesto poskusov tolmačenja ocen osredotočili na vprašanja o učenju. Da bi lahko kar najbolje izkoristili priložnosti za učenje, ki jih omogočajo povratne informacije o pisnem izdelku, je bilo treba kot del splošnega učnega procesa načrtovati postopke, ki so od učencev zahtevali, da sledijo komentarjem. Ena od posledic tega izziva je bila, da so morali učitelji skrbneje pretehtati, kako bodo oblikovali komentarje pisnega izdelka. Postalo je jasno, da ti sporočajo, kaj je bilo opravljeno dobro in kaj je treba izboljšati, poleg tega pa morajo obenem ponuditi tudi usmeritve, kako doseči to izboljšanje. Ko so razvili veščine oblikovanja in uporabe takih povratnih informacij, je postajalo vse bolj jasno, da je odločilna kakovost nalog, ki so bile namenjene domačemu 5-6 - 2014 - XLV RAZPRAVE #13 delu oziroma delu v razredu; poleg ustnega preverjanja so morale biti take naloge pripravljene za spodbujanje učencev pri razvijanju in izražanju razumevanja ključnih značilnosti tega, kar so se naučili. Pri vrstniškem ocenjevanju in samoocenjevanju je izhodišče predstavljal Sadlerjev (1989) argument, da je samo-vrednotenje bistvenega pomena za učenje, ker lahko učenci dosežejo učni cilj le, če ga razumejo ter znajo oceniti, kaj morajo storiti, da bi ga dosegli. Tako morajo biti učencem jasna merila za evalvacijo kakršnih koli učnih dosežkov, če jim želimo omogočiti, da bodo imeli jasen pregled tako nad cilji svojega dela kot tudi nad tem, kaj pomeni njihovo uspešno doseganje. Kolikor to dosežejo, začnejo razvijati pregled nad delom, tako da so ga sposobni obvladovati in nadzorovati. Z drugimi besedami, tako učenci razvijejo svoje sposobnosti za metakognitivno razmišljanje. Znan primer uspešnosti takega načina dela je raziskava Whita in Frederiksena (1998). Prva in najtežja naloga pri razvoju samoocenjevan-ja je učence pripraviti do tega, da bodo o svojem delu razmišljali v povezavi z zastavljenimi cilji. V praksi se je vrst-niško ocenjevanje izkazalo kot pomembna spodbuda za samoocenjevanje. Vrstniško vrednotenje je neprecenljivo, ker so učenci drug od drugega pripravljeni sprejeti kritiko svojega dela, ki je v primeru, da bi jo podal njihov učitelj, ne bi jemali resno. Vrstniško delo je dragoceno tudi zato, ker medsebojna izmenjava poteka v jeziku, ki ga po navadi uporabljajo učenci, in ker se učenci učijo s pomočjo prevzemanja vlog učiteljev in izpraševalcev drugih (Sadler, 1998). Zdi se, da učenci laže razumejo kriterije za ocenjevanje, ko ocenjujejo delo sošolcev, kot če bi ocenjevali svoje delo. Toda če želimo, da bi tako vrstniško skupinsko delo uspelo, potem seveda mnogi učenci potrebujejo navodila, kako se je treba vesti v skupinah, tj., naučiti se morajo vzajemnega poslušanja, počakati, da pridejo na vrsto, nuditi potrditve skupaj s konstruktivno kritiko o delu drug drugega. Tipična vaja te vrste je ocenjevanje domačih nalog. Učence so zaprosili, da ocenijo svoje delo s pomočjo »semaforja«, tj. z rdečo ali oranžno, če so bili popolnoma ali delno negotovi glede svojega uspeha, in zeleno, če so bili vanj prepričani. Nato pa so tisti, ki so uporabili oranžno ali zeleno luč, delali v mešanih skupinah ter so svoje delo ocenili in si med seboj pomagali, medtem ko je učitelj posebno pozornost posvetil tistim, ki so izbrali rdečo luč. Učitelji so razvili tri metode formativne uporabe su-mativnih testov. Ena od metod je bila, da so učence pri pripravah na test zaprosili, da s pomočjo »semaforja« odgovorijo na seznam ključnih besed oziroma tem, iz katerih bo sestavljen test. Ta vaja jih je spodbudila k razmisleku o tem, kje je njihovo učenje dobro ter kam morajo usmeriti svoje napore. Eden od razlogov za to je bil, da so učitelji ugotovili, da mnogi učenci nimajo izdelane strategije za pripravo na test s pomočjo strateške ocene svojega učenja. Pri drugi metodi so v vrstniških skupinah medsebojno ocenili teste na zgoraj opisani način ocenjevanja domačih nalog. To je lahko še prav posebej težko takrat, ko se je od njih pričakovalo, da bodo izdelali svoje ocenjevalne rubrike, kajti da bi lahko to storili, so morali razmisliti o namenu vprašanja in o merilih kakovosti ter jih uporabiti pri odgovorih. Po opravljenem vrstniškem ocenjevanju so lahko učitelji svoj čas namenili razpravi o vprašanjih, ki so bila posebej težavna. Naslednja zamisel je bila prevzeta iz raziskovalnih študij (Foos et al., 1994; King, 1992), ki so pokazale, da so učenci, ki so se na izpite pripravljali tako, da so oblikovali in nato odgovarjali na svoja lastna vprašanja, uspešnejši od primerljivih skupin, ki so se pripravljale na običajen način. Priprava testnih vprašanj zahteva in zato tudi razvija pregled nad temo. Delo učiteljev na področju sumativnega vrednotenja je postavilo na preizkušnjo naša pričakovanja glede tega, da je v okoliščinah, v katerih delajo, namen formativnega in sumativnega vrednotenja tako različen, da ju je treba ločiti. Ugotovitev, do katere smo prišli, je bila namreč popolnoma drugačna - da sumativni testi morajo biti ter da na njih moramo gledati kot na pozitivni del učnega procesa. Če so učenci dejavno vključeni v proces testiranja, lahko uvidijo, da s testi več pridobijo kot izgubijo, saj jim lahko pomagajo izboljšati učenje. Vendar pa te sinergije ni mogoče doseči v primeru pomembnih testov, ki so bili pripravljeni ter ocenjeni eksterno. REFLEKSIJE O REZULTATIH Jasno je bilo, da so ideje, ki so vzniknile med učitelji in nami, vsebovale veliko več kot le nekaj taktičnih dodatnih trikov. Potrebno je bilo kar nekaj refleksije, da smo izvabili bolj temeljna vprašanja od zastavljenih. Osredotočenost na učenje Ena izmed najbolj presenetljivih stvari, ki se je zgodila na začetnih sestankih projekta, je bila, da so nas sodelujoči učitelji prosili, naj pripravimo predavanje o teorijah učenja. Če pogledamo nazaj, nas to morda niti ne bi smelo tako presenetiti. Ne nazadnje smo poudarjali, da povratne informacije delujejo formativno le, če učenci dobljene informacije uporabijo za izboljšanje dosežkov. Toda medtem ko lahko šele po dogodku doženemo, ali so imele neke povratne informacije želeni učinek, so morali učitelji pridobiti sposobnost posredovanja povratnih informacij, za katere so vnaprej vedeli, da bodo učencem koristile. Za to pa so morali razviti modele različnih načinov učenja. Tako so učitelji veliko pozornosti namenili izbiri nalog, vprašanj ter drugim pripomočkom, da bi s tem zagotovili take odgovore učencev, ki v resnici predstavljajo njihove ideje (odgovore) na zastavljena vprašanja učiteljev. Ključ do učinkovitega učenja torej zahteva odkrivanje poti, ki bodo učencem omogočile prestrukturirati njihovo znanje in vgraditi nove, še močnejše ideje. V učilnicah KMOFAP so učitelji po pozornejšem poslušanju odzivov učencev začeli bolj ceniti dejstvo, da učenje ni proces pasivnega sprejemanja znanja, temveč proces, v katerem morajo biti učenci aktivni pri ustvarjanju lastnega razumevanja. 5-6 - 2014 - XLV #14 vzgoja izobraževanje Vse te zamisli odražajo nekatere od glavnih načel konstruktivističnega pojmovanja učenja - tj., da je treba začeti tam, kjer se učenci nahajajo, ter da je treba učence v proces vključiti aktivno. Učiteljem je postalo jasno, da če želijo doseči dobre rezultate pri testih in izpitih, učenja ne morejo opraviti namesto učencev. Opraviti ga morajo učenci sami, in to ne glede na to, kakšen je pritisk. Učenci so začeli s pomočjo osredotočenja na kriterije ter njihove primere spoznavati, kaj šteje kot dobro delo. Včasih so to dosegli s pomočjo osredotočene razprave celega razreda o nekem konkretnem primeru, spet drugič pa tako, da so uporabljali kriterije za oceno dela svojih vrstnikov. Dejavnosti, ki so jih spodbudile, da so ocenili svoje delo v luči ciljev in kriterijev, so jim pomagale razviti metako-gnitivne pristope k učenju. Ne nazadnje so vključevanje učencev v dialog, v katerem je sodeloval ves razred, in razprave vrstniških skupin ustvarili bogatejšo skupnost učencev, v kateri je socialno učenje postalo pomembnejše in učinkovitejše. Vse je potekalo v okviru spreminjanja razredne kulture, h kateri so prispevale vse štiri aktivnosti. Učno okolje in spremembe vloge Tu obstajajo tudi globlja vprašanja. Učno okolje mora biti organizirano tako, da se učenci bolj aktivno vključijo v naloge. Poudarek mora biti na tem, da učenci razmišljajo in to razmišljanje delijo drug z drugim. Ali kot je dejal neki učitelj: Na neki točki se je zgodil prehod in pozornost se je preusmerila od tega, kar sem vnesel v proces, na to, kar so prispevali učenci. Postalo je očitno, da je eden od načinov, na katerega lahko dosežemo bistveno trajnostno spremembo, da učence pripravimo do tega, da več razmišljajo. Potem sem začel iskati načine, kako bi napravil učni proces za učence bolj pregleden. Svoj čas zdaj posvečam iskanju načinov, kako pripraviti učence na prevzemanje odgovornosti za lastno učenje in obenem narediti učenje bolj sodelovalno. Tom, Šola Riverside Ta učitelj je spremenil svojo vlogo in se iz podajalca vsebine spremenil v voditelja raziskovanja in razvoja idej, v katerega so bili vključeni vsi učenci. Ena od izstopajočih značilnosti projekta je bil način, kako so v njegovih zgodnjih fazah mnogi o novem pristopu govorili kot o »zastrašujočem«, saj so čutili, da izgubljajo nadzor nad svojimi razredi. Proti koncu projekta pa istega procesa niso več opisovali kot izgubo nadzora, ampak kot proces, v katerem se odgovornost za učenje razreda deli z razredom - gre za natanko isti proces, gledan z dveh zelo različnih zornih kotov. Takšno učno okolje zahteva razredno kulturo, ki je učiteljem in učencem lahko tuja in jih vznemirja. Učinek inovacij, ki so jih vpeljali naši učitelji, se je po navadi implicitno odražal v spreminjanju pravil, ki določajo vedenje, kakršnega pričakujemo od učiteljev in učencev ter ga imajo le-ti za ustreznega. Ali kot pravi Perrenoud (1991): Vsak učitelj, ki želi prakticirati formativno spremljanje, mora preurediti svoj slog poučevanja tako, da ublaži pridobljene navade svojih učencev. Učenci morajo namreč spremeniti svoje vedenje. Ne smejo se več vesti le kot pasivni prejemniki ponujenega znanja ter morajo postati aktivni učenci, ki zmorejo prevzeti odgovornost za svoje učenje. Ti učenci se začnejo bolj zavedati, kdaj se učijo in kdaj ne. Neki razred, ki ga je pozneje poučeval učitelj, ki ni poudarjal preverjanja, namenjenega podpori učenja, je učitelja presenetil, ko se je pritožil: »Povedali smo vam, da tega ne razumemo. Zakaj ste torej začeli obravnavati naslednjo temo?«. Tu se je zgodilo, da so se pri vseh spremenila pričakovanja glede njihovih vlog, tj., prišlo je do spremembe razumevanja, kaj učitelji ali učenci mislijo, da bi kot učenci ali učitelji morali početi. Čeprav se morda zdijo take spremembe zastrašujoče, ni nujno, da se zgodijo iznenada. Pri učiteljih KMOFAP so spremembe potekale počasi in postopoma na podlagi razvijanja izkušenj ter povečanega zaupanja v različne strategije za bogatitev povratnih informacij ter interakcij. Nadaljnje raziskave V našem pregledu iz leta 1998 smo našteli številna vprašanja, ki bi jih bilo treba preučiti s pomočjo nadaljnjih raziskav. Prvo vprašanje se je glasilo, ali je okolje, v katerem se izvaja katera koli študija, zares v tolikšni meri umetno, da posplošitev rezultatov ni mogoča. Ta zadržek je bil eden od razlogov, da smo razvili projekt KMOFAP, ki ga zdaj lahko uporabimo za posplošitev ugotovitev te študije. Pri tem ko opazujemo, kako druge šole svoje inovacije opirajo na rezultate KMOFAP-a, smo na podlagi izkušenj prišli do prepričanja, da to zahteva najmanj dvoletno trajno predanost ter da je treba evalvacijo in povratne informacije vgraditi v vsak načrt in da vsak vključeni učitelj potrebuje močno podporo tako od sodelavcev kot od vodstva šole. Drugi raziskovalni cilj je plod neke presenetljive lastnosti - zdi se, da raziskave, ki smo jih preučevali, sploh ne posvečajo pozornosti vprašanjem, ki so povezana z raso, družbenim slojem in spolom. Ta vprašanja še vedno čakajo, da bodo raziskana. Tretje področje za nadaljnje raziskovanje predstavlja področje prepričanj in predpostavk o teoriji učenja. Predpostavke o učenju, ki so osnova kurikula in pedagogike, ter prepričanja učiteljev, ki so povezana z učenjem, kot tudi njihova prepričanja glede njihovih vlog ocenjevalcev ter »sposobnosti« in obetov njihovih učencev vplivajo na njihove interpretacije učenja ter določajo kakovost for-mativnega spremljanja. Potrebna je vzporedna raziskava pojmovanj in prepričanj učencev o sebi kot tudi tistih, ki se učijo, in o njihovih izkušnjah glede sprememb, ki izhajajo iz inovacij in formativnega spremljanja. Četrto področje predstavlja vprašanje, kakšen vpliv imajo vsebinska ter pedagoškovsebinska znanja, ki jih učitelji uporabljajo pri svojih šolskih predmetih. Vprašanja, ki jih je treba preučiti, so način, kako se ti viri nahajajo v temelju učiteljevega strukturiranja in podajanja učnega gradiva, 5-6 - 2014 - XLV RAZPRAVE #15 ter interpretativni okviri, ki jih učitelji uporabljajo, ko se odzivajo na dokaze povratne informacije učencev. Socialna struktura razreda, skupnost, ki jo tvori in kakovost interakcij znotraj te skupnosti močno vplivajo na inovacije, kot so izboljšanje dialoga v razredu ter vrstniško-in samoocenjevanje. Tu bi bilo treba preučiti še naravo socialne strukture v razredu, na katero vpliva razdelitev odgovornosti med učenci in učitelji pri formativnem spremljanju, ter omejitve širšega šolskega sistema. Pomembni sta še dve nadaljnji vprašanji. Eno so napetosti in možne sinergije med učiteljevimi lastnimi ocenami in rezultati ocenjevanja ter metodami, ki jih zahteva družba. Drugo pa predstavlja potreba po koordinaciji vseh zgoraj navedenih vprašanj v obsežen teoretski okvir, ki bi povezoval ocenjevanje v razredih z vprašanji pedagogike in kurikula - to pa je naloga, ki se je je treba šele lotiti. RAZISKOVANJE IN PRAKSA Zakaj je delovalo? Na neki ravni, je bila naša zgodba sklenjena. Osnova raziskave nas je pripeljala do uspešne inovacije in objave njenih rezultatov, ki so se izkazali za tako priljubljene, kot je bilo samo izvorno poročilo raziskave (Black in drugi, 2002, 2003). Vendar smo bili presenečeni, da je bila tako uspešna pri tem, saj se je zavzemala za precej korenite spremembe v praksi učiteljev. Spraševali smo se, kaj se lahko iz nje naučimo o notorično težkem problemu prenašanja spoznanj raziskav v prakso. Pokazalo se je, da je bila verodostojnost pomemben dejavnik, ki smo ga kot raziskovalci vnesli v proces. V svojih projektnih dnevnikih je več učiteljev zapisalo, da je bilo naše zavzemanje za ideje, skupaj z idejami samimi, tisto, kar jih je prepričalo, da so se odločili za sodelovanje v projektu. Pri raziskavah s področja izobraževanja dejstva ne govorijo nujno sama po sebi. Del te verodostojnosti izhaja tudi iz odločitve, da bomo pri angleščini, matematiki in naravoslovju delali s tistimi učitelji, med katerimi imata vsaj eden ali dva člana tima potrebno strokovno znanje ter uživata ugled v predmetni skupnosti. Tako smo lahko resno obravnavali tudi specifična vprašanja, kot je na primer: »Ali je to primerno vprašanje za raziskovanje pojmovanja fotosinteze pri učencih?« Nadaljnji pomemben dejavnik, ki se nanaša na vsebino, pa je vprašanje, ali so ideje za učitelje intrinzično sprejemljive. Razpravljali smo o izboljšanju učenja v razredu, kar je bilo za razliko od birokratskih ukrepov, kot je zastavljanje ciljev, ključnega pomena za njihovo profesionalno identiteto. Ena od značilnosti našega pregleda/raziskave je bila, da se je v glavnem ukvarjala z vprašanji, kot so pojmovanja učencev, vrstniško in samoocenjevanje ter vloga povratnih informacij v pedagogiki, osredotočenimi na učenje. Pri tem nam je bilo v veliko pomoč dejstvo, da smo preusmerili poudarek v študijah o formativnem spremljanju stran od sistemov ter njihovih poudarkov na formativno-sumativni povezavi in ga usmerili v procese v razredu. S prejšnjim dejavnikom je povezano tudi dejstvo, da smo se s tem, ko smo se osredotočili na procese v razredu, odločili, da bomo sprejeli zunanje omejitve, ki delujejo v formativno-sumativni povezavi. Neuspešne angleške poizkuse iz osemdesetih in devetdesetih let prejšnjega stoletja, da bi spremenili sistem, smo postavili na stran. Čeprav je bilo verjetno edino razumno, da nismo začeli ponovno napadati mlinov na veter, je bila bolj bistvena raven, ki smo jo izbrali in predstavlja jedro učenja, na kateri formativno delo zahteva ustrezno pozornost. Še več, glede na to, da se mora vsaka sprememba izkazati skozi praktična dejanja učiteljev, je to točka, na kateri bi se morala začeti vsaka reforma. Dokazi o učnih uspehih, ki temeljijo na pregledu literature ter našem projektu, so preoblikovali in okrepili zahtevo po prioriteti formativnega načina dela, za kar so si prejšnja priporočila politike (DES, 1988) zaman prizadevala. Razprava o tem, kako mora politika zagotoviti optimalno sinergijo med učiteljevim formativnim ter sumativnim in eksternim preverjanjem, je še vedno nedokončana, vendar je nov poudarek na formativnem preverjanju sprožil spremembo v teži argumentov. Strategija procesa V našem razvojnem modelu smo bili pozorni tako na vsebino kot tudi na sam proces učiteljevega razvoja (Reeves in drugi, 2001). Proces profesionalnega razvoja smo obravnavali skozi dejstvo, da učitelji potrebujejo čas, svobodo in podporo sodelavcev za kritično refleksijo in razvijanje svoje prakse (Lee, 2005), hkrati pa smo ponudili tudi praktične strategije in tehnike o tem, kako je treba proces začeti. Vendar pa to samo po sebi ne zadostuje. Učitelji potrebujejo tudi konkretne zamisli o smereh, kamor lahko produktivno popeljejo svojo prakso, zato je treba v okviru profesionalnega razvoja učiteljev posebno pozornost posvetiti tistim dimenzijam učenja učiteljev, ki so specifične za neki predmet (Wilson in Bern, 1999). Ena od ključnih predpostavk projekta je bila, da če želimo uresničiti obljubo o formativnem spremljanju, tradicionalni pristopi, v katerih raziskovalci učiteljem »povedo«, kaj naj naredijo, niso primerni. Zagovarjali smo, da je poglaviten naslednji korak proces razvoja s podpiranjem. V takem procesu so morali učitelji v svojih razredih odkriti rešitve za številna praktična vprašanja, na katera raziskovalni dokazi niso mogli odgovoriti. Probleme je bilo treba preoblikovati v sodelovanju z njimi in kjer je bilo to mogoče, v povezavi s temeljnimi uvidi, prav zagotovo pa tako, da so bili smiselni za njihove kolege, ki poučujejo v običajnih razredih. Ključno značilnost usposabljanja učiteljev je predstavljal razvoj akcijskih načrtov. Ker smo s pomočjo drugih študij spoznali, da učinkovito vpeljevanje formativnega spremljanja od učiteljev zahteva ponovno pogajanje o »učnem dogovoru«, ki so ga razvili s svojimi učenci (Bousseau, 1984; Perrenoud, 1991), smo se odločili, da je najprimernejši čas za vpeljevanje formativnega spremljanja na začetku novega šolskega leta. Tako smo v prvih šestih mesecih izvajanja 5-6 - 2014 - XLV #16 vzgoja izobraževanje projekta (od januarja do julija 1999) učitelje vzpodbudili, da so začeli eksperimentirati z nekaterimi strategijami in tehnikami, ki so jih priporočale raziskave, kot so na primer izpraševanje za spodbujanje razumevanja, (izključno) kvalitativne povratne informacije, skupinsko oblikovanje kriterijev ter vrstniško in samoocenjevanje. Vse učitelje smo nato zaprosili, da pripravijo akcijski načrt za izvajanje novosti, ki jih želijo razviti v svoji pedagoški praksi, in pri tem izberejo samo en razred, v katerem bodo septembra 1999, ob začetku novega šolskega leta vpeljevali te strategije. Podroben pregled teh načrtov si lahko ogledate v Black in drugi (2003). Ko so učitelji raziskovali ustreznost for-mativnega spremljanja za svojo lastno prakso, so pri tem ideje iz raziskav ter ideje drugih učiteljev preoblikovali v nove ideje, strategije in tehnike, te pa so nato posredovali učiteljem in s tem ustvarili učinek »snežne kepe«. Te ideje smo predstavljali vse večjemu številu učiteljev zunaj projekta in s tem postali vse boljši pri posredovanju ključnih idej. Skozi naše delo z učitelji smo začeli bolj jasno razumevati, da zahteva uporaba raziskav v praksi veliko več kot le preprost proces »posredovanja« ugotovitev raziskovalcev v razred. Učitelji, ki so sodelovali v našem projektu, so bili vključeni v proces ustvarjanja znanja, čeprav je to znanje drugačne vrste in je najverjetneje relevantno le znotraj okvirov, v katerih delajo (Hargreaves, 1999). To značilnost našega pristopa smo učiteljem predstavili že na samem začetku projekta. Pozneje smo ugotovili, da nam v tej fazi nekateri od njih niso verjeli. Mislili so, da smo točno vedeli, kaj od njih želimo, vendar smo jim pustili, naj to odkrijejo sami. Ko so nas bolje spoznali, so ugotovili, da na ravni vsakdanje razredne prakse resnično nismo vedeli, kaj je treba storiti. Prenos ugotovitev raziskav v prakso Čeprav ne verjamemo, da morajo biti vse pedagoške raziskave koristne, smo trdno prepričani, da bi morali večino raziskav s področja izobraževanja izvajati z namenom izboljšanja izobraževalnega delovanja - to so raziskave tega, kar Stokes (1997) imenuje »Pasteurjev kvadrant«. In čeprav še vedno ne vemo, »kaj deluje« pri poučevanju, smo prepričani, da obstaja znatno soglasje o tem, kakšne vrste razredov spodbujajo najboljše učenje. Veliko manj pa vemo o tem, kako naj se to zgodi. Raziskovanje tega, kako učitelji sprejemajo raziskave, jih prilagajajo in vzamejo za svoje, je veliko težje kot raziskovanje učinkov različnih kurikulov, velikosti razredov ali prispevka razrednih pomočnikov. O učinkovitem profesionalnem razvoju ne vemo toliko, kot bi si želeli, vendar če se za težo dokazov opremo raje na »ravnovesje verjetnosti« kot na »onkraj razumnega dvoma«, nam lahko pedagoška raziskava veliko pove. Ko se politika brez dokazov sooči z razvojem, ki ima nekatere dokaze, bi moral prevladati razvoj. Tako se torej razhajamo s stališči nekaterih, ki sprejemajo odločitve o politiki in si, kot kaže, želijo, da bi se raziskave izvajale v velikem obsegu in po najvišjih standardih analitične racionalnosti, katerih rezultati so relevantni tudi za politiko. Pogosto se lahko zgodi, da sta ta dva cilja med seboj dejansko nezdružljiva. LITERATURA Black, P. in Wiliam, D. (1998a). »Assessment and Classroom Learning«, Assessment in Education, Zv. 5, str. 7-71. Black, P. in Wiliam, D. (1998a). Inside the Black Box: Raising Standards through classroom Assessment. See also Phi Delta Kappan, Zv. 80, str. 139-148. Black, P. in Wiliam, D. (2003). »In Praise of Educational Research: Formative Assessment«, British Educational Research Journal, Zv. 29(5), str. 623-637. Black, P. et al. (2002). Working inside the Black Box: Assessment for Learning in the classroom, Department of Education and Professional Studies, King's College, London. Black, P. et al. (2003). Assessment for learning: Putting it into Practice, Open University Press, Buckingham, United Kingdom. Brousseau, G. (1984). »The Crucial Role of the Didactical Contact in the Analysis and Construction of Situations in Teaching and Learning mathematics«. V: Steiner, H.-G. (ur.), Theory of Mathematics Education: IcME 5 Topic Area and Miniconference, Institut für Didaktik der Mathematik der Universität Bielefeld, Nemčija, str. 110-119. Butler, R. (1988). »Enhancing and Undermining Intrinsic Motivation; the Effects of Task-involving and Ego-involving Evaluation on Interest and Performanece«, Brittish Journal of Educational Psychology, Zv. 58, str. 1-4. Crooks, T. J. (1988). »The Impact of Classroom Evaluation Practices on Students«, Review of Educational Research, Zv. 58, str. 438-481. DES (1988). task Group on Assessment and testing: A Report, Department of Education and Science and the Welsh Office, London. 5-6 - 2014 - XLV RAZPRAVE #17 Flyvbjerg, B. (2001). Making Social Science Matter: Why Social Inquiry Fails and How It can Succeed Again, Cambridge University Press, Cambridge UK. Foos, P. W., Mora, J. J. in Tkacz, S. (1994). »Student Study Techniques and the Generation Effect«, Journal of Educational Psychology, Zv. 86, str. 567-576. Fuchs, L. S. in Fuchs, D. (1986). »Effects of Systematic Formative Evaluation: A Meta- Analysis«, Exceptional children, Zv. 53, str. 199-208. Hargreaves, D. H. (1999). »The Knowledge Creating School«, British Journal of Educational Studies, Zv. 47, str. 122-144. King, A. (1992). »Facilitating Elaborative Learning through Guided Student-generated Questioning«, Educational Psychology, Zv. 27, str. 111-126. Kluger, A. N. in DeNisi, A. (1996). »The Effects of Feedback Interventions of performance: A historical review, a meta-analysis. And a Preliminary Feedback Intervention Theory«, Psyhological Bulletin, Zv. 119, str. 254-284. Lee, C. (2005). »Studying Changes in the Practice of Two Teachers«, International Journal of Teacher development, v tisku. Natriello, G. (1987). »The Impact of Evaluation Processes on Students«, Educational Psychologist, Zv. 22, str. 155-175. Perrenoud, P. (1991). »Towards a Pragmatic Approach to Formative Evaluation«. V: P. Weston (ur.), Assessment of Pupils Achievement: Motivation and School Success, Swets and Zeitlinger, Amsterdam, str. 79-101. Ramaprasad, A. (1983). »On the Definition of Feedback«, Behavioral Science, Zv. 28, str. 4-13. Reeves, J., McCall, J. in MacGilchirst, B. (2001). »Change Leadership: Planning Conceptualisation and Perception«. V: MacBeath, J. in Mortimore, P. (ur.), Improving school effectiveness, Open University Press Buckingham UK, str. 122-137. Rowe, M. B. (1974). »Wait Time and Rewards as Instructional Variables, Their Influence on Language, Logic and Fate Control«, Journal of Research in Science Teaching, Zv. 11, str. 81-94. Sadler, R. (1989). »Formative Assessment and the Design of Instructional Systems«, Instructional Science, Zv. 18, str. 119-144. Sadler, R. (1998). »Formative Assessment: Revisiting the Territory«, Assessment in Education, Zv. 5, str. 77-84. Stokes, D. E. (1997). Pasteur's Quadrant: Basic Science and technological Innovation, Bookings Institution Press, Washington DC. Toulmin, S. (2001). Return to Reason, Harvard University Press, Cambridge MA. Vispoel, W. P. in Austin, J. R. (1995). »Success and failure in Junior High School: A Critical Incident Approach to Understanding Students' Attributional Beliefs«, American Educational Research Journal, Zv. 33, str. 377-412. White, B. Y. in Frederiksen, J. R. (1998). »Inquiry, Modeling, and Metacognition: Making Science Accessible to all Students«, cognition and Instruction, Zv. 16, str. 3-118. Wiliam, D. (2003). »The Impact of Educational Research on Mathematics Education«. V: A. Bishop, M. A. Clements, C. Keitel, J. Kilpatrick in F. K. S. Leung (ur.), Second International Handbook of Mathematics Education, Kluwer Academic Publishers, Dordrecht Netherlands, str. 469-488. Wiliam, D. et al. (2004). »Teachers Developing Assessment for Learning: Impact on Student Achievement«, Assessment in Education, Zv. 11, str. 49-65. Wilson, S. M. in Berne, J. (1999). »Teacher Learning and the Acquisition of Professional Knowledge: An Examination of Research on Contemporary Professional development«. V: Iran-Nejad, A. in Pearson, P. D. (ur.), Review of Research in Education, American Educational Research Association, Washington DC, str. 173-209. 5-6 - 2014 - XLV #18 vzgoja izobraževanje POVZETEK Članek govori o procesu rasti, ki se je začel s pregledom tega, kar nam lahko o for-mativnem spremljanju pove raziskovanje. Najprej opisuje delo na omenjenem področju. Njegovi rezultati so vodili k razvojnemu delu z učitelji, katerega namen je bil odkriti, kako bi lahko ideje, vzete iz raziskav, pretvorili v prakso. Opisu tega v drugem poglavju sledi razmislek o rezultatih in posledicah v tretjem delu. V četrtem poglavju je predstavljen splošnejši razmislek o tem, kako ta izkušnja osvetljuje nalogo, katere cilj je spreminjanje raziskovalnih rezultatov v prakso. ABSTRACT The article is telling us a story of the process of growth starting with an overview of what research can tell us about formative assessment. The article begins with the description of activities in the previously mentioned area. Its results led to developmental work with teachers aimed to identify how ideas taken from research could be transformed into practice. The description is followed by reflection on results in the second chapter and the consequences in the third part. The fourth chapter presents a more general consideration about how these experiences can be reflected in the tasks aimed at transforming research results into practice. Prevod prispevka: Black P. and Wiliam D. »Changing Teaching through Formative Assessment: Research and Practice - The King's-Medway-Oxforshire Formative Assessment Project«. V: OECD (2005), Formative Assessment: Improving Learning in Secondary classrooms, oEcD Publishing. http://dx.doi.org/10.1787/97892 6 4 0 07413-en. Prevedla: dr. Justina Erculj Kakovost prevoda in njegova usklajenost z izvirnim besedilom dela sta izključna odgovornost avtorice prevoda. Če bi prišlo do protislovja med izvirnikom in prevodom, ima prednost besedilo izvirnika. Delni prevod OECD-jeve publikacije, ki je bila prvič izdana v angleščini in francoščini z naslovoma: Formative Assessment: Improving Learning in Secondary Classrooms L'évaluation formative: Pour un meilleur apprentissage dans les classes secondaires © 2005 OECD Vse pravice pridržane. © 2014 Zavod Republike Slovenije za šolstvo za slovensko izdajo 5-6 - 2014 - XLV