Ö Preverjanje doseženega kurikula ^ na osnovi standardov znanja ^^ kot izhodišcCe za izboljšave
^	Darko Zupanc
^ Državni izpitni center
^H Prispevek poudarja pomen ucCnociljnega kurikularnega pristopa ^ ^^ v šolstvu in konceptualno razdelitev kurikula na tri ravni in s tem priznavanjem dejstva, da se ravni kurikula med seboj razlikujejo. ^^ Prispevek je kritičen do razliCnih razumevanj temeljnih pojmov med strokovnjaki (izvedbeni kurikul, cilji poučevanja, uCni dosežki/izidi, ^^ pricakovani dosežki/rezultati, vsebinski standardi in standardi
dosežka), kar med praktiki v šolah v Sloveniji povzroča zmedo in ^^ predstavlja oviro za izboljšave v šolstvu, utemeljene na teoretičnih Ä	okvirih. Vsaka sprememba, posodobitev in prenova v šolah še ni
h^H izboljšava. Za izboljšave v šolah je najpomembnejše poucevanje in ucenje v razredih ter analiziranje doseženega, kar predstavlja kriterij, ^e so posamezne predlagane spremembe in novi pristopi v resnici izboljšave. Z izboljšavami v razredih in pri vodenju šol na osnovi doseženega kurikula in standardov znanja je potrebno biti zmeren.
Ključne besede: izvedbeni kurikul, cilji poucevanja, u^ni dosežki/izidi, standardi dosežka, fdga krog
Uvod
V svetovni zgodovini izobraževanja je znano obdobje, ko je Sovjetska zveza leta 1957 uspešno poslala v orbito okoli Zemlje prvi umetni satelit Sputnik. V zda so ob tem velikem znanstvenem in tehnicnem podvigu ugotovili, da je ogrožen njihov primat svetovne velesile in da jih velika politicna tekmica, Sovjetska zveza, prehiteva (Bybee 1998). Državne politike so usmerile pogled tudi v vzgojo in izobraževanje, najprej v zda, kasneje pa tudi v drugih državah razvitega sveta. Prizadevanja pri reformah v izobraževanju so šla v smeri sprememb v upravljanju šol, kurikulu, poucevanju, preverjanju znanja, pedagogiki, razlicnih praksah poucevanja, diferenciaciji in managementu (Smith 2008). V primerjavah doseženega znanja med državami je bil najvecji poudarek dan branju in pisanju, matematiki in naravoslovnim znanostim, še posebej z mednarodnimi raziskavami timss, pisa, firls.
V zgodovini izobraževanja v Evropi je bil pred vec kot dese-
vGDENJE 112014:59-76
timi leti (2000) odmeven t.i. »fisa šok« v NemCiji. Strokovnjaki v Nemciji so se problemov zavedali že po rezultatih timss leta 1995; politiki pa po objavi rezultatov fisa 2000 problemov niso mogli veC pomesti pod preprogo (gegd 2011). Dosežki nemških dijakov so bili pod povpreCjem testiranih držav pri fisa 2000, tako pri bralni, matematiCni in naravoslovni pismenosti. Imeli so zelo veliko skupino dijakov z nizkimi dosežki ter velik vpliv socialnoekonomskega (ses) in imigrantskega statusa na dosežke (Steinert
2012).	Usmeritve za izboljšanje so šle v smeri skupnih standardov, preverjanja znanja na osnovi standardov (Bishop 1998), sodelovanja v mednarodnih primerjalnih preverjanjih znanja, vzpostavitvi sistemov spremljanja - monitoringa razvoja standardov in preverjanja le-teh ter permanentnem poroCanju o kazalnikih na osnovi podatkov in problemsko-usmerjenem preverjanju (gecd 2010, 211). V NemCiji se po veC kot desetih letih uvajanja sprememb v šolskem sistemu lahko zazna stabilen trend izboljšav; dosežke zvišujejo tako pri bralni, matematiCni kot pri naravoslovni pismenosti in zmanjšujejo vpliv ses na dosežke uCenCev (gecd
2013).
Slovenija ni niti svetovna niti evropska ekonomska velesila; v preteklosti tudi ni doživela izrazito nizkih dosežkov v znanju glede na primerljive države. Za SlovenCe pa je vseeno pomembno, morda še pomembnejše kot za druge države z veliko gospodarsko moCjo, kako visoko v znanju svojih uCenCev, dijakov in študentov se uvršCamo v mednarodnih okvirih in kakšni so naCionalni trendi. Izkušnje drugih držav pri razmišljanju, kako izboljšati sistem vzgoje in izobraževanja tako na naCionalnem nivoju kot na nivoju šole in razreda, so dobrodošle.
Prispevek bo osvetlil nekatere odprte probleme in nakazal usmeritve za prihodnost na omenjenih podroCjih potenCialnih sprememb, na katerih so se v preteklosti sooCili in še delujejo tako v zda, NemCiji in v mnogih drugih državah. Gre za razumevanje trodelnega kurikula, uCnoCiljnega konCepta, standardov znanja (Medveš 2010, 66), pouCevanja in preverjanja znanja na osnovi standardov ter uporabe s podatki podprtega sistema povratnih informaCij za odloCanje o spremembah in izboljšavah pri po-uCevanju v razredih, vodenju šol in upravljanju šolskega sistema v Celoti. Namen prispevka je opozoriti in pojasniti, da v Sloveniji konCeptualni prehod iz uCnovsebinskega naCrtovanja do uCnoCiljnega kurikula (ŠireC 1984) v praksi še vedno ni dosežen. Najbrž zaradi nerazCišCenih temeljnih pojmov med strokovnjaki prihaja do (drugaCnega) nerazumevanja standardov znanja in pomena
doseženega kurikula. Namen prispevka je osvetliti te dileme, da bi odpravili ovire, ki imajo svoj izvor v nerazjasnjenih konceptualnih dilemah in bi bila s tem bolje utrjena pot za izboljšave, ki jih potrebujemo tudi v slovenskem šolstvu.
Kurikul, cilji poutjevanja in uCCni dosežki/izidi
V šolstvu stalno teCejo razprave o tem, kaj naj se uCenci uCijo, kako naj se pouCuje in o odgovornosti šol za doseganje zastavljenih ciljev. Snovalca kurikula v vzgoji in izobraževanju sta Tyler (1949) in že pred njim Bobbitt (1918). Sedanje preverjanje in standardi znanja so »pravnuki« Tylerjevih temeljnih konceptov kurikula. Osnovne zahteve kurikularnega pristopa so racionalnost, ek-saktnost in preverljivost, ki naj temeljijo na ucnociljnih in ne na ucnovsebinskih ucnih načrtih. Iz zapisa ucnega cilja (angl. learning objective) se mora razbrati ucencevo dejanje in vsebino, ki ga z dejanjem izkaže, je zapisal Tyler (1949). Tudi sodobni avtorji (Kennedy, Hyland in Ryan 2006) o ucnih dosežkih/izidih (angl. learning outcomes) pišejo podobno: ucni dosežki/izidi so opisi tega, kar naj bi bil ucenec vprašan ali mu bo naroceno, da naredi; ucni cilji opisujejo zaznavne dogodke, ki naj pokažejo, ce se je ucenec naucil, usvojil zaželeno znanje oz. vešcino. Tyler (1949) navaja, da je najuporabnejša taka oblika za zapis ucnega cilja, da se iz nje razbere ucencevo dejanje in vsebino, ki ga z dejanjem izkaže. Anderson in sodelavci (2001) poudarjajo, da je v zapisu ucnega cilja glagol, s katerim se obicajno opiše kognitivni proces, in samostalnik, s katerim se opiše znanje, ki naj bi ga ucenec izkazal. Ucnociljni nacrti omogocajo tudi neposredno kriterijsko ugotavljanje ucnih dosežkov/izidov. Šele s tem se lahko, po mnenju Širca (1984), odrecemo Gaussovi ucnostorilnostni ocenjevalni delitvi. Po mnenju Linna in Gronlunda (2000) so izhodišce za izboljšave v edukaciji jasni ucni dosežki/izidi (angl. learning outcomes), kaj se od ucencev pricakuje, da se (na)ucijo.
V osemdesetih letih prejšnjega stoletja se je v slovenski pedagoški stroki prvic pisalo o kurikulu (Kroflic 2002) in o prehodu iz ucnovsebinskega nacrtovanja pouka k ucnociljnemu (Širec 1984). Strokovni svet za vzgojo in izobraževanje je ob takratni razpravi o izsledkih evalvacijskih raziskav sklenil, da je treba od dozdaj-šnjega pretežno ucnosnovnega nacrtovanja hitreje preiti k ucnociljnemu nacrtovanju. Širec (1984) je rešitev problema prena-trpanosti ucnih nacrtov videl edino v ucnociljnem, ne pa v uc-nosnovnem nacrtovanju. Z nacionalnim ucnociljnim nacrtom so
sicer opredeljeni uCni cilji, uCitelj pa ostaja svoboden pri izbiri uCne snovi, ucnih oblik, ucnih metod in tehnik, ucne organizacije, uCnih sredstev, kakor tudi pri ugotavljanju ucne storilnosti na didakticno-analiticni ravni. Ucnociljni nacrti omogocajo v nasprotju z ucnosnovnimi nacrti tudi optimalno veljavno (validno), nepristransko (objektivno) in zanesljivo ugotavljanje izidov - se pravi ravni med naccrtovanim in doseženim.
Kurikul že v konceptu pomeni nekaj drugega kot ucni nacrt, lahko bi rekli, da presega zgolj nacrtovanje poucevanja in ucenja (Zupanc 2005c). Tako kot za vsak sistem tudi pri vzgoji in izobraževanju velja, da so med nacrtovanjem, izvedbo in rezultati (dosežki) razlike. O kurikulu se govori na treh ravneh (Mullis idr. 2004; Štraus 2005) oz. locevanju (Vos in Bos 2001):
•	nacrtovanega kurikula in
•	izvedbenega kurikula od
•	doseženega kurikula.
Pri nacrtovanem kurikulu gre za (ucne) nacrte, kaj naj se uci in kako naj se poucuje, da se bodo ucenci (na)ucili in kako naj se organizira vzgojno-izobraževalni sistem, da bi se to doseglo. Pri izvedbenem kurikulu gre za izvedbo v praksi; kaj in koliko se v resnici poucuje v šoli, kdo poucuje, kako se v razredih poucuje in kaj, koliko in kako se ucenci v resnici ucijo. Pri tem gre za izvedbo nacrtovanega kurikula v praksi. Koncni cilj pa so dosežki oz. izidi (angl. outcomes), zato je pri doseženem kurikulu pomembno, kaj se ucenci naucijo - kolikšen je ucinek šolanja. Že poimenovanja treh razlicnih ravni kurikula povedo, da nacrtovane vsebine in ciljev poucevanja pri dolocenem predmetu v praksi še ne pomenijo, da se vse to pri poucevanju tudi izvaja. Kaj od nacrtovanega in s strani ucitelja izvedenega se ucenci naucijo in dosežejo, pa se brez preverjanja znanja in spretnosti ne more ugotoviti (Zupanc 2005b).
Izvedbeni kurikul
V Sloveniji smo, predvsem v poklicnem in strokovnem izobraževanju, z zakonodajo vpeljali pojem odprtega kurikula, tako da del izobraževalnega programa dolocijo šole skupaj s socialnimi partnerji (»Zakon o poklicnem in strokovnem izobraževanju 19962006«). Tudi del izobraževalnega programa, ki ga šola doloci v sodelovanju s socialnimi partnerji - t. i. odprti kurikul, mora šola v skladu s tem zakonom (68. clen) zapisati v letni delovni nacrt. S
tem se je odgovornost z države deloma prenesla na lokalno skupnost, šolo in učitelja. Ali je ta odločitev dobra ali ne, v pričujočem prispevku ne bomo razpravljali; je pa konceptualno konsistentna - del načrtovanja kurikula se je s tem iz nacionalne ravni prenesel niže na šole, sočialne partnerje in učitelje v posameznih šolah.
Končeptualno zmedo pa lahko povzročajo nekatere opredelitve v operativnih dokumentih (Izhodišcca za pripravo izobraževalnih programov nižjega in srednjega poklicnega ter srednjega strokovnega izobraževanja 2001; Peveč Grm idr. 2006). Na »ravni« nacrto-vanja kurikula, le preneseni z načionalnega na šolsko/učiteljsko raven, se za naCrtovanje odprtega kurikula brez pomislekov uporabi čelo drug pojem oz. »raven« izvedbenega kurikula. V metodološkem priročniku za šole so npr. usmeritve, kako »umestiti izvedbeni kurikul med ravni naCrtovanja« in da moramo »izvedbeni kurikul razumeti kot eno izmed ravni naCrtovanja, ki sestavljajo čeloten pročes načrtovanja vzgojno-izobraževalnega pročesa, od načionalnega kurikula do učne priprave učitelja« (Peveč Grm idr. 2006, 52). Med naštevanjem poznavanja ravni naCrtovanja in umestitve izvedbenega kurikula se v dokumentih navaja: »naCrtovanje dela z vsemi subjekti izobraževalnega pročesa; naCrtovanje strukture in organizačije izobraževalnega pročesa; opredelitve temeljnih strategij in metod vzgojno-izobraževalnega dela; priprave na-Crta svetovanja in strokovne podpore dijakom; v izvedbeni kurikul se vključi naCrt očenjevanja in priporoča se graditev sistema sa-moevalvačije« (prav tam).
Vsebinsko gre pri vsem tem nesporno za načrtovanje in raven naCrtovanega kurikula, za kar v odprtem delu postopke vodi na šoli, zato uporaba pojma izvedbeni kurikul za te namene ni primerna. Za končeptualno razumevanje kurikula na treh ravneh, od naCrtovanega, preko konkretne izvedbe v praksi in na konču preverjanja doseženega, opisana uporaba termina »izvedbenega« kurikula v pokličnem in strokovnem šolstvu v Sloveniji ni ustrezna. Ključni poudarek pri izvedbenem kurikulu je, da ga je potrebno obravnavati ločeno od naCrtovanega. Še tako dobra in dosledna izvedba v praksi se ne more idealno prekriti s še tako dobrim na-Crtovanjem; četudi naCrtovanje in izvedba potekata na lokalni oz. šolski ravni ali je oboje čelo potisnjeno v pristojnost posameznega učitelja. Bistvo razdelitev kurikula na tri ravni je priznavanje dejstva, da se ravni kurikula med seboj razlikujejo. Pri tem gre za ugotavljanje odstopanj med ravnmi; odstopanje izvedbe v praksi od naCrtovanja in soočenje z neenakostjo doseženega pri učenju (naučenega) od izvedenega poučevanja oz. posledično od naCrto-
vanih ciljev pouCevanja (standardov znanja) - to je bistvo razumevanja in uporabe koncepta kurikula na treh ravneh.
Evolucija izrazoslovja v izobraževanju je šla v zadnjih desetletjih v tuji strokovni literaturi na tem podrocju od operativnih ciljev poucevanja (angl. instructional objectives) iz 60. in 70. let (Mager 1984), kjer so predlagali zelo specificne zapise o zaznavnih dosežkih (izidih) v oceh uciteljev, do ucnih dosežkov/izidov (angl. learning outcomes), kjer je poudarek na opisih, kaj naj bi ucenec znal, razumel ali bil sposoben narediti po zakljucku ucnega procesa (Kennedy, Hyland in Ryan 2006). Bistvo te spremembe je v prenosu osredotocenosti iz ucitelja na ucenca. Slovenci za dve pomensko razlicni aktivnosti, z dvema razlicnima akterjema: »uci-telj uci« (angl. instructions) in »ucenec se uci« (angl. learning), uporabljamo isto besedo »ucenje«. Zato morda v slovenskih prevodih premik s »ciljev poucevanja« (angl. instructional objectives) in osredotocenosti z ucitelja na »ucne dosežke/izide« (angl. learning outcomes) in s tem osredotocenosti na ucenca, ni tako opazen. Zmeda v slovenski strokovni literaturi je bila še vecja zaradi slabega in zavajajocega prevoda pojma »instructional objectives«, npr. »ucni cilji« ali »cilji ucenja«.
V Sloveniji se je v nekaterih ucnih nacrtih cilje neposredno povezovalo s standardi (Velikonja 2000, 19). Vneposodobljenih ucnih nacrtih za gimnazije so t.i. standardi znanja še vedno opredeljeni z operativnimi cilji in vsebinami (»Ucni nacrti za gimnazije« 2011). Ucne dosežke oz. izide (angl. learning outcomes) tuji viri (Adam 2006) povežejo oz. enacijo z vsebinskimi »standardi znanja«.
Standardi znanja v izobraževanju
Ko je bil uveljavljen še ucnovsebinski pristop nacrtovanja vzgoje in izobraževanja, so bili v vecini držav centralne in vzhodne Evrope zapisani t.i. izobraževalni standardi; šlo je za naslove in podnaslove vsebinskih podrocij in število ur, ko naj bi to obravnavali, redko pa je bilo napisano, kakšne dosežke naj bi ucenci dosegli (West in Crighton 1999). V današnjem casu se razumevanje standarda kot »potrebnega« števila ur pouka pri šolskem predmetu še vedno razbere v maturitetnih dokumentih, ko se govori o »maturitetnem standardu« pri dolocenem predmetu (Bahovec 2012, 20). Pri tem ne gre za standarde znanja, ki so doloceni s cilji gimnazijskega programa za posamezni predmet, ampak za število ur pouka pri pripravi na maturo. V Maturitetnem katalogu je še vedno zapisano (prav tam), da se »z nerazporejenimi urami
okrepijo ure obveznih predmetov, izbirnim predmetom pa se doda toliko ur, da je dosežen maturitetni standard«. V Sloveniji se je besedna zveza »standard znanja« tudi sicer uporabljala zelo različno (Zupanc 2005a).
V uCnih naCrtih za osnovno šolo zapisi o standardih znanja in tudi šolski predpisi po spremembi Zakona o osnovni šoli (20062013) ponovno govorijo o njih. V uCnih naCrtih za predmete v gimnaziji so bili zapisi o standardih znanja, med razliCnimi predmeti pa je bilo oCitno razumevanje le-tega zelo razliCno, Celo znotraj posameznega predmeta je bila uporaba tega termina nekonsistentna (ZupanC 2005a). Sedaj standardov znanja v uCnih naCrtih za gimnazijske predmete ni, pojavlja se terminologija o priCakova-nih rezultatih oz. dosežkih. V neposodobljenih uCnih naCrtih za nekatere strokovne predmete v gimnazijah pa priCakovanih dosežkov ni in so še vedno napisani standardi znanja (»UCni naCrti za gimnazije« 2011). V (predmetnih) katalogih znanja (uCnih naCrtih) za nižje in srednje pokliCno izobraževanje, za srednje strokovno izobraževanje in za pokliCno-tehniško izobraževanje se pri splošnoizobraževalnih predmetih omenjajo standardi znanja, pri strokovnih modulih pa se ne omenja niti standardov znanja niti priCakovanih dosežkov. CCe se je v preteklih letih standard znanja v kurikularnih dokumentih pojavljal, je razen v redkih izjemah nadomešCal ali se je Celo podvajal s terminom »uCni Cilj« (ZupanC 2005a); danes bi rekli z uCnim dosežkom/izidom (angl. learning outCome).
Tako kot je v zgodovini znanosti, tehnike in nenazadnje trgovine in gospodarstva za pretok blaga, ljudi in idej pomembno, da se pojme in koliCine z merskimi enotami natanCno definira in prevaja, je to pomembno tudi med izobraževalnimi sistemi. Poimenovanje doloCenega izraza samo po sebi lahko ni pomembno, pomembno pa je, da je razumevanje (vsaj med strokovnjaki) enako (ZupanC 2005a). CCe razliCni strokovnjaki doloCen temeljni pojem razumejo in interpretirajo razliCno, je to slabo, in še posebej med praktiki povzroCa nejasnosti. Tako razliCna uporaba osnovnih pojmov v kurikularnih dokumentih slovenski pedagoški stroki in šolski politiki ne more biti v ponos.
Pričakovani dosežki/rezultati namesto standardov znanja?
V	Sloveniji so poskusili v preteklih letih izriniti Cilje pouCevanja in standarde iz kurikularnih dokumentov (KovaC Šebart 2014).
V	zakonodajo in uCne naCrte se je poskušalo vpeljati nov pojem
»pricakovani dosežek/rezultat« (»Zakon o spremembah in dopolnitvah Zakona o osnovni šoli« 2007). Pricakovane dosežke se najprej zasledi v kurikularnih dokumentih za odrasle, ko naj bi izobraževalni program »dolocilmogoce ali pricakovane dosežke udeležencev. Te cilje lahko posamezni udeleženci dosežejo v razlic-nem obsegu in razlicni kakovosti« (Velikonja 2000, 19). Kasneje je v posodobljenih ucnih nacrtih za gimnazije »pricakovane dosežke/rezultate« sprejel Strokovni svet za splošno izobraževanje in so (še) objavljeni in veljavni (»Ucni nacrti za gimnazije« 2011). Morda je šlo za neposrecen poskus nadomešcanja uveljavljenega pojma »ucnih dosežkov/izidov« (angl. learning outcomes) z drugacnim prevodom »pricakovani dosežki/rezultati« (Borstner 2008), morda pa je bil v ozadju mišljen drugacen koncept individu-alizacije »pricakovanih rezultatov« v nacionalnih ucnih nacrtih. Z besedami »o razvojno-procesnem nacrtovanju kurikuluma« (Do-brovoljc idr. 2002) se zapisane cilje - pricakovane dosežke v izobraževalnih programih za odrasle razume tako, da so »standardi v celoti individualizirani«.
Nacionalni kurikul, sprejet za vse udeležence izobraževanja v državi, ne more poskušati opredeliti cilje poucevanj, dosežke, izide - standarde znanja, ki bi bili razlicni in prilagojeni posameznemu ucencu. Šlo bi za logicno protislovje oz. logicni nesmisel; standardi ne morejo biti individualizirani; ce poskušajo biti prilagojeni za vsakega posameznika, to ne more biti standard. CCe ucni dosežki - standardi znanja v ucnih nacrtih niso nacionalno opredeljeni, ce se preko »pricakovanih rezultatov« skrijejo pod »avtonomijo« posameznih uciteljev in »glede na zanimanje in zmožnosti« ucencev in si vsak »ucenec sam oblikuje svoj osebni cilj«, je kriterijska interpretacija dosežkov že na ravni razreda, šole, regije in na ravni države onemogocena. Kriterijska interpretacija katerega koli preverjanja znanja mora upošteva enake kriterije glede na ucne dosežke/izide - standarde, opredeljene v ucnih nacrtih, ki so sprejeti za vse udeležence izobraževalnega programa. To je pomemben razlog za zavrnitev koncepta individualizacije »pricakovanih rezultatov« v nacionalnih ucnih nacrtih. S tem bi bil one-mogocen prehod oz. dopolnitev normativne interpretacije dosežkov znanja s kriterijsko interpretacijo pri vsaki vrsti ocenjevanja znanja v slovenskem šolstvu.
cCe bi se ucitelje z ucnimi nacrti pooblastilo, kaj bodo vklju-cili v pouk in katere cilje bodo zasledovali, ce bi bila izbira ciljev pri pouku odvisna od »zanimanja in zmožnosti« ucencev, se lahko vecino ucencev oceni z visokimi, odlicnimi ocenami. Ob ta-
kem konceptu so ocene znanja že v svoji osnovi, med ucenci, razredi in šolami neprimerljive. Vsekakor na ta nadn kriterijsko ne moremo primerjati doseženega znanja dveh uCencev in to izraziti s primerljivo oceno. Dva ucenca z enako oceno lahko dosegata povsem razlicne ravni znanja in spretnosti, nasprotno pa dva ucenca z razlicno številcno oceno lahko znata približno enako. Za Kodeljo (2000) je ocenjevanje pravicno, ce je v skladu z retribu-tivnim nacelom pravicnosti, ki se glasi: za enako izkazano znanje enaka ocena. (Če se ga krši, je nepravicno. Pri tem je vseeno, ali je ocena previsoka ali prenizka. V obeh primerih je krivicna. S konceptom individualizacije »pricakovanih rezultatov« v nacionalnih ucnih nacrtih bi se poskušalo »strokovno« pokriti eno anomalijo v slovenskem šolstvu - in sicer izjemno povecevanje deleža visokih šolskih ocen - inflacijo ocen pri šolskem ocenjevanju (Zupanc in Bren 2010).
Z izrivanjem »standardov znanja«, ki se morajo dolociti na nacionalnem nivoju in uvajanjem novega pojma »pricakovanih rezultatov«, še posebej, ko bi bila pricakovanja za vsakega (ucite-lja, ucenca, starša ...) (lahko) razlicna, bi se poglabljalo uvajanje slabo definiranih in neoprijemljivih pojmov v slovensko šolstvo. Konceptualno je za vsak sistem nesporno (tudi za šolskega), da velika fleksibilnost, izbirnost in avtonomija v sistemu na eni strani potrebuje protiutež z nacionalno opredeljenimi standardi znanja in preverjanje doseganja le-teh.
Za šolski sistem je kljucnega pomena usklajenost kurikula, standardov znanja in preverjanja z ocenjevanjem. Looney (2009) govori o sistemu, kjer preverjanje in ocenjevanje temelji na standardih znanja (angl. standards-based assessment system). (Če so v izobraževalnem sistemu slabe povezave med kurikulom, standardi znanja in preverjanjem ter ocenjevanjem doseženega, uci-telji v šolah ne morejo pridobiti veljavnih ugotovitev o dosežkih svojih ucencev in posledicno prilagoditi poucevanja, da bi se približali potrebam ucencev pri doseganju ucnih ciljev, kar je osrednji cilj izobraževalnega sistema, ki temelji na preverjanju doseženih standardov (Linn 2001; 2005; Haertel in Herman 2005).
Vsebinski standardi (še) niso standardi dosežkov
V literaturi (Cresswell 2000), predvsem ameriški (Linn in Gron-lund 2000), je jasna locnica med vsebinskimi standardi in standardi dosežkov (Maxwell 2009). Z vsebinskimi standardi se opiše kurikularne cilje, speciflcne cilje poucevanja, ucne izide. Kasnejše
preverjanje znanja oz. testiranje uCenCev se zastavi tako, da se dosežke pri tem interpretira na osnovi opisanih vsebinskih standardov. Šele s preverjanjem znanja v referenCni skupini govorimo o standardih dosežka (Cizek in BunCh 2007, 14). Standardi dosežkov imajo namen definirati potrebna znanja in vešCine za razliCne kategorije znanja ali sposobnosti (AmeriCan EduCational ResearCh AssoCiation 1999).
UCinkoviti standardi morajo biti postavljeni tako, da opredelijo dvoje (ZupanC 2005b):
•	kaj se mora uCeneC (na)uCiti oz. kaj se bo preverjalo in
•	doloCiti, kdaj je standard dosežen oz. raven dosežkov; umerjen s tistim, ki je potreben za vsako oCeno pri primerljivih izpitih.
Vsebinski standardi doloCajo »kaj«, medtem ko standardi dosežkov doloCajo »kako dobro je dovolj dobro«. Vsebinski standardi so javne navedbe, ki doloCajo, kaj naj bi uCeneC znal in bil sposoben narediti pri doloCeni vsebini ali šolskem predmetnem podroCju na doloCeni stopnji izobraževanja in usposabljanja.
Klenowski in Wyatt-Smith (2010) navajata štiri kljuCne pogoje za uCinkovito uporabo standardov pri izboljšavah in podpori uCite-ljem in uCenCem pri uCenju: jasni pojmi o namenu in funkCiji standardov znanja, kaj standardi znanja predstavljajo, podpora praktikom, šolam in uCiteljem ter organizirana skupnost v sistemu preverjanja znanja na osnovi standardov.
V Sloveniji siCer govorimo o izobraževanju na osnovi standardov, o kurikulu s standardi znanja in o pouCevanjuna osnovi standardov (Tomlinson 2000), ne povemo pa, da imamo v sistemu (še to v razliCnih programih nedosledno) samo vsebinske standarde, ki so v resniCi naCrtovani kurikularni Cilji, zapisi speCiflCnih Ciljev pouCevanja ali opisi uCnih dosežkov/izidov. Iz navedenega je oCi-tno, da v slovenskem šolskem sistemu do postavitve standardov dosežkov (Cizek in BunCh 2007) ne pridemo. Razlog je najbrž tudi v tem, da se stroke s podroCja izobraževanja in šolska politika ne poenoti oz. niti ne želi poenotiti. To je za razvoj vzgoje in izobraževanja v Sloveniji slabo; zaradi nerazCišCenih pojmov in nedokon-Canih konCeptualnih strategij se med uCitelji praktiki in vodstvi šol upraviCeno pojavljajo kritike. UdeleženCi - praktiki so na raznih organiziranih oblikah izobraževanja in usposabljanja pogosto so-oCeni z zelo razliCnimi, tudi diametralno nasprotnimi usmeritvami in za svoje vsakdanje delo težko zaznajo skupno rdeCo nit in enoten konsistenten sistemski konCept.
Izvajaj
Nacrtuj	Preverjaj
Ukrepaj
SLIKA 1 Shewhartova oziroma Demingova krožna zanka: nacrtuj, izvajaj, preveri, ukrepaj in ponovno nacrtuj - fdga - »Plan Do Check Act« (povzeto po Deming 1982)
Še najbližje postavitvi standardov dosežkov v Sloveniji so nacionalna preverjanja znanja (nfz) v osnovnih šolah z opisi dosežkov pri posameznem predmetu preverjanja na celotni letni populaciji ali pri izbirnih predmetih na vzorcu ucencev. Poleg tega v okviru Državnega izpitnega centra poteka umestitev nacionalnih izpitov iz anglešcine v skupni evropski jezikovni okvir (sEJo). Ko bodo izpiti iz anglešcine na razlicnih stopnjah šolanja (pri npz v 6. in 9. razredu osnovne šole, pri splošni maturi na osnovni in višji ravni zahtevnosti, pri poklicni maturi ter izpitih za odrasle) umešceni v SEJo, se bo lahko posamezne dosežke kandidatov pri teh izpitih razvršcalo glede na opredeljene standarde dosežkov (Letno poro-cilo Državnega izpitnega centra za leto 2012 2013, 38).
Preverjanje doseženega kurikula ob podpori Demingovega kroga PDCA
Deming (1982) je uvajanje stalnega izboljševanja kakovosti v organizacijo opisal v 14 tockah. Deming je bil sodelavec in varovanec Walterja Shewharta. Iz tega casa je pojem nikoli koncanega procesa izboljševanja, ki je v teoriji znan pod imenom Shewhartova oziroma Demingova krožna zanka: nacrtuj, izvajaj, preverjaj, ukrepaj in ponovno nacrtuj - pdca (angl. Plan Do Check Act). To je princip preproste povratne zanke, ki je znana v teoriji procesov (slika 1). Deming (1982) je trdil, da organizacija ne more kupiti kakovosti, kakovost je mogoce doseci le z ucinkovitim vodenjem s strani vodij. Za izboljšanje kakovosti je potrebno opazovati in meriti ter voditi evidenco o dosežkih, da vemo, ce organizacija napreduje, nazaduje ali ostaja pri isti stopnji kakovosti (Marolt in Gomišcek 2005).
Veliko podobnosti v Demingovem krogu kakovosti se lahko razbere tudi za izobraževanje. Kurikul se lahko nacrtuje (angl. intended curriculum) na nacionalni ravni, vsekakor pa tudi na šolski in
Spremembe, posodobitve, prenove, reforme ...
Izvedbeni kurikul
Nacrtovani kurikul	Doseženi kurikul
Dejavnosti za spremembe - izboljšave
SLIKA 2 Krožna kurikularna zanka kakovosti v edukaciji na nacionalni, šolski in razredni ravni
vsak ucitelj prav tako nacrtuje letno pripravo in vsakodnevno pou-cevanje na ravni oddelka. Osrednje mesto v kurikularnem procesu imajo aktivnosti pri izvedbi v praksi (angl. implemented curriculum). Pomembno je, kakšno zacetno znanje, motivacijo in prica-kovanja imajo ucenci in ucitelji, kaj se v resnici v šolah in oddelkih poucuje, kako ucitelji ucijo (angl. teach) oz. poucujejo (angl. introduction), kako in koliko se ucenci ucijo (angl. learn), kakšne možnosti imajo za poucevanje in ucenje. V procesih je potrebno ciklicno preverjati dosežke, t.i. doseženi kurikul (angl. attained -achieved curriculum) (Mullis idr. 2004).
Analize doseženega so lahko oz. morajo biti povratna informacija, ki se jih nadgradi s korekcijami, dopolnitvami, popravki oz. dejavnostmi za spremembe - izboljšave. To je osnova za spremljanje izobraževalnih procesov in izidov ter za izboljšave pri vodenju (slika 2). Spremembe, posodobitve, prenove in/ali reforme v nacr-tovanem in izvedbenem kurikulu morajo izvirati iz ugotovitev in analiz doseženega kurikula (slika 3).
Preverjanje znanja daje informacije, do katere mere so bili standardi znanja doseženi, medtem ko naj bi analize dale povratno informacijo uciteljem in ucencem, da si z njo pomagajo pri odlo-citvah za spremembe, popravke in za izboljšave, za premostitev vrzeli med trenutnim doseženim znanjem in tistim, ki ga dolocajo cilji poucevanja in standardi znanja.
Pouk
Opredeliti cilje	Preverjanje doseganja
poucevanja, ucne	Poucevanje in ucenje: ciljev poucevanja, ucnih
dosežke/izide, vsebinska	^^^ ^ - . .	dosežkov/izidov,
'	ucitelji poucujejo,	^ ,, ,, ,, ^
standarde	ucenci se ucijo	standardov dosezkov
Dejavnosti za spremembe: izboljšave; povratna informacija ter korekcije, dopolnitve in popravki
SLIKA 3 Povratna zanka pri poucevanju in ucenju v šoli in v razredih
Rezultati raziskave piSA kažejo na višje stopnje socialno-eko-nomske pravicnosti v šolskih sistemih, ki podatke o dosežkih ucencev uporabljajo za sprejemanje odlocitev oz. izboljšav o poucevanju in tudi za spremljanje in analiziranje rezultatov o dosežkih skozi daljše casovno obdobje (gegd 2010, 47). Kochan ugotavlja (Townsend 2007), da rezultati dela v šoli niso dobri, ce ni analiz znotraj posamezne šole, ki bi podrobneje osvetlile zbrane podatke, ker bi interpretacije lahko pomagale neposrednim akterjem sprememb: ravnateljem, uciteljem in ucencem.
ZakljuCCek
Looney (2009) poudarja, da je za vodenje in upravljanje izboljšav v šolah potreben sistem spremljanja povratnih informacij o dosežkih. To je pogoj za posodabljanje izobraževanja na osnovi standardov. Poudarek je na spremljanju in vrednotenju dosežkov ucencev, ne na predpisovanju in uniformiranju šolskih procesov, ki so v skladu z naceli avtonomije šol in uciteljev od šole do šole in od ucitelja do ucitelja lahko razlicni. Z analiziranjem doseženega znanja se zagovarja nacela avtonomije uciteljev in šol na eni strani, in podobno kot v tujih šolskih sistemih spremljanje, vrednotenje doseženega znanja z odgovornostjo za dosežke (Broa-dfoot 1996; Fullan in Watson 2000; Goldstein 2001; Gurria 2007; Zupanc 2007; Zupanc 2008) tako ucencev, uciteljev, ravnateljev, predmetnih strokovnjakov in šolske politike.
Za slovenske šolnike, ucitelje in ravnatelje bi bilo koristno, ce bi se šolska stroka in politika v kurikularnih dokumentih poenotila in enoznacno poimenovala, razumela in interpretirala cilje poucevanja, ucne dosežke/izide, opredelila namen in funkcijo standardov znanja, tudi standardov dosežkov, in kako bodo standardi znanja ucitelju v pomoc (Klenowski in Wyatt-Smith 2010).
Preseči bi morali stanje, da stalno ukvarjanje, spreminjanje in posodabljanje vhodnih determinant (načrtovanje) samo od sebe ne vodi do kakovostnih in boljših izidov (dosežkov). Kurikul na treh ravneh v svojem temelju prinaša drugačno razumevanje kon-čeptov. Kot dejstvo moramo sprejeti, da vsaka izvedba (izvedbeni kurikul) odstopa od še tako dobrega načrtovanja kurikula in doseženi kurikul nikoli ne bo idealen, tak kot je bil načrtovan. To ne pomeni vdanosti v usodo in sprijaznjenost s slabostmi pri načrtovanju kurikulov, ampak preusmeritev pozornosti in aktivnosti na izvedbeni kurikul, preverjanje doseženega in izvajanje izboljšav v povratni zanki. Zgodovina slovenskega šolstva zadnjih dvajset let je prežeta z ukvarjanjem strokovnjakov z vedno novimi in posodobljenimi učnimi načrti, katalogi znanj, izpitnimi katalogi...; vrhunska šolska stroka (razen učiteljev in ravnateljev) pa se malo ukvarja z izvajanjem načrtovanih zamisli v praksi in s konkretnimi dosežki učenčev in dijakov, ki pogosto niso taki kot so teoretiki načrtovali. Vsaka sprememba, posodobitev in prenova še ni izboljšava. Prav temeljno razumevanje končepta kurikula na treh ravneh, poudarek na izvajanju poučevanja in učenja ter analiziranje doseženega je lahko merilo in kriterij, če so posamezne predlagane spremembe, dopolnitve, poskusi, posodobitve, prenove ali reforme v resniči izboljšave.
Ko bomo vsi skupaj govorili o dosegljivih in ne predvsem o ide-aliziranih načrtovanih čiljih, ko bo poudarek pri izobraževanju, usposabljanju in izpopolnjevanju učiteljev na aktivnostih pri poučevanju in učenju v šolskih razredih, ko bo neposredno pedagoško delo učiteljev z učenči pridobilo nazaj ključno pozornost, se bomo lahko tudi odkrito soočili z realnimi dosežki naših učenčev in dijakov ter na tej osnovi v povratni zanki spreminjali in izboljševali poučevanje v razredih, vodenje šol in, upajmo, upravljanje šolskega sistema v čeloti. Pomembno je preverjanje doseženega (kurikula) in delovanje v povratnih zankah na osnovi podatkov. Izboljševanje brez prestanka, vedno boljše in boljše, ni mogoče. CCe se objektivno ugotovi, da so dosežki in pročesi v organizačiji ali pri posameznem učitelju dobri, je velik dosežek, če se zadrži in vzdržuje dosežena visoka raven. Ni potrebno, da so vsi učitelji in ravnatelji frustrirani s stalnim izboljševanjem kakovosti.
Ne glede na to, ali gre za učenje posameznega učenča, poučevanje učitelja, vodenje šole s strani ravnatelja in pomočnikov ali za upravljanje šolskega sistema na načionalni ravni, je osnovno načelo ugotavljanja in zagotavljanja kakovosti, da je pri samoeval-vačiji - pri ugotavljanju doseženega potrebno biti pozoren na ve-
lika odstopanja - variabilnosti pri doseženem. Odstopanje je lahko pozitivno, tako da pri analiziranju vzrokov pridemo do odliCnih zgledov - dobrih praks, ki jih še dodatno promoviramo. Pri preverjanju doseženega pa se moramo v delu sistema, na katerega lahko vplivamo in smo zanj odgovorni, spoprijeti tudi z velikimi variabilnostmi v negativni smeri. CCe analiziramo vzroke za takšna odstopanja ter predlagamo in izvedemo spremembe za odpravo vzrokov na ravni, za katero smo odgovorni, smo naredili zelo veliko.
Pomembno je enoznaCno razumevanje temeljnih pojmov med strokovnjaki, teoretiCni konCepti, ki vzdržijo tudi v praksi, prioriteta vseh aktivnosti pri pouCevanju v razredih in uCenju posameznika, upoštevanje in vrednotenje podatkov ter objektivno priznavanje dosežene kakovosti in praviCnosti. Nujno je tudi sooCanje z realnimi problemi in dosledno izvajanje potrebnih izboljšav, ki je v dolgoroCno korist uCenCem/dijakom, staršem in tudi šolnikom.
Literatura
Adam, S. 2006. »An IntroduCtion to Learning OutComes: IntroduCing Bologna ObjeCtives and Tools.« http://www.bologna.msmt.Cz/flles/ Adam_IH_LP.pdf
Anderson, L. W., D. R. Krathwohl, P. W. Airasian, K. A. Cruikshank, R. E. Mayer, P. R. PintriCh, J. Raths in M. C. WittroCk. 2001. A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York: Addison Wesley Longman.
BahoveC, I., ur. 2012. Maturitetni izpitni katalog za splošno maturo 2014. Ljubljana: Državna komisija za splošno maturo in Državni izpitni Center.
Bishop, J. 1998. »The EffeCt of CurriCulum-Based External Exit Exams on Student AChievement.« Journal of Economic Education 29 (2): 171-182.
Bobbitt, J. F. 1918. The curriculum. Boston: Houghton Mifflin.
Borstner, M. 2008. »PriCakovani rezultati.« http://www.zrss.sl/ projektiess/skladisCe/usposabljanje_za_uCne_naCrte/smerniCe %20za%20posodabljanje/pri%C4%8Dakovani_mag.%20borstner.doC
Broadfoot, P. M. 1996. Education, Assessment and Society. New York: Open University Press.
Bybee, R. W. 1998. »The Sputnik Era: Why is This EduCational Reform Different from All Other Eforms?« http://www.aps.org/units/fed/ newsletters/apr98/sput.Cfm
Cizek, G. J., in M. B. BunCh. 2007. Standard Setting: A Guide to Establishing and Evaluating Performance Standards on Tests. Thousand Oaks, ca: Sage.
Cresswell, M. 2000. »The Role of PubliC Examinations in Defining and
Monitoring Standards.« V Educational Standards, ur. H. Goldstein in A. Heath, 69-104. London: The British ACademy. Deming, W. E. 1982. Out of the Crises. Cambridge: MassaChusetts
Institute of TeChnology, Center for AdvanCed Engineering Study. DobrovoljC, A., V. HlebeC, S. Klemen^i^, L. Knafli^, R. Močnik, P. Nadrag in A. IsteniC StarCi^, ur. 2002. Evalvacija socialnointegracijske vloge programa projektno učenje za mlajše odrasle. Ljubljana: Filozofska fakulteta Univerze v Ljubljani. Fullan, M., in N. Watson. 2000. »SChool-Based Management: ReConCeptualizing to Improve Learning OutComes.« School Effectiveness and School Improvement 11 (4): 453-473. Goldstein, H. 2001. »Using Pupil PerformanCe Data for Judging SChool and TeaChers: SCope and Limitations.« http://www.mlwin.Com/ hgpersonal/Using%20pupil%20performanCe%20data%20for %judging%20sChools%20and%20teaChers.pdf Gurria, A. 2007. »LaunCh of fisa 2006.« SpeeCh by gecd
SeCretary-General, Press Club, Tokio. http://www.oeCd.org/ doCument/35/0,3343,en_2649_34487_39722787_1_1_1_1,00.html Haertel, E., in J. Herman. 2005. A Historical Perspective on Validity Arguments for Accountability Testing. Los Angeles: University of California, National Center for ResearCh on Evaluation, Standards, and Student Testing (cresst). Izhodišča za pripravo izobraževalnih programov nižjega in srednjega poklicnega ter srednjega strokovnega izobraževanja. 2001. Ljubljana: Center rs za pokliCno izobraževanje. Kennedy, D., A. Hyland in N. Ryan. 2006. »Writing and Using Learning OutComes: a PraCtiCal Guide. http://www.bologna.msmt.Cz/ flles/learning-outComes.pdf Klenowski, V., in C. Wyatt-Smith. 2010. »Standards, TeaCher Judgement and Moderation in Contexts of National CurriCulum and Assessment Reform.« Assessment Matters 2: 107-131. Kodelja, Z. 2000. Pravičnost in ocenjevanje: problemi ocenjevanja znanja in devetletna osnovna šola. Ljubljana: Pedagoška fakulteta, Univerza v Ljubljani in Zavod rs za šolstvo. KovaC Šebart, M. 2014. »CCas zamujenih javnih razprav, desetletje
devetletke.« Dnevnikov objektiv, 22. februar. KrofliC, R. 2002. Izbrani pedagoški spisi: vstop v kurikularne teorije.
Ljubljana: Zavod Republike Slovenije za šolstvo. »Letno poroCilo Državnega izpitnega Centra za leto 2012.« 2013. http: //www.riC.si/mma/LETNO%20in%20FINANCNO%20POROCILO %202012%20sprejeto%20na%20Svetu%2028022013/ 2013101110315054/ Linn, R. L. 2001. The Design and Evaluation of Educational Assessment and Accountability Systems. Los Angeles: University of California, National Center for ResearCh on Evaluation, Standards, and Student Testing (cresst).
Linn, R. L. 2005. Issues in the Design of Accountability Systems. Los Angeles: University of California, National Center for Research on Evaluation, Standards, and Student Testing (gresst).
Linn, R. L., in N. E. Gronlund. 2000. Measurement and Assessment in Teaching. 8. izd. Upper Saddle River, ny: Prentice Hall.
Looney, J. 2009. »Assessment and Innovation in Education.« gegd Education Working Papers 24. gegd, Pariz.
Mager, R. F. 1984. Preparing Instructional Objectives. 2. izd. Belmont, ga: Pitman.
Marolt, J., in B. Gomiš^ek. 2005. Management kakovosti. Kranj: Moderna organizacija.
Maxwell, G. S. 2009. »Defining Standards for the 21st Century.« V
Educational Assessment in the 21st Century, uredila C. M. Wyatt-Smith in J. J. Cumming, 263-286. Dordrecht: Kluwer.
Medveš, Z. 2010. »Obca, splošna in poklicna izobrazba.« Sodobna pedagogika 61 (4): 52-96.
Mullis, I. V. S., M. O. Martin, E. J. Gonzales, in S. J. Chrostowski. 2004. timss 2003 International Mathematics Report. Chestnut Hill, ma: timss & pirls International Study Center.
gegd. 2010. pisa 2009 Results: What Makes a School Successful? Resources, Policies and Practices. 4. zv. Pariz: gegd.
gegd. 2011. Lessons from pisa for the United States, Strong Performers and Successful Reformers in Education. Pariz: gegd.
gegd. 2013. pisa 2012 Results: What Students Know and Can Do: Student Performance in Mathematics, Reading and Science. 1. zv. Pariz: pisa.
Pevec Grm, S., K. S. Ermenc, D. Mali, P. Hvala Kamenš^ek, B. Slivar, Š. Pogačnik, M. Kovac, in S. Kerkoš. 2006. Kurikul na nacionalni in šolski ravni v poklicnem in strokovnem izobraževanju: metodološki priročnik. Ljubljana: Center rs za poklicno izobraževanje.
Smith, L. W. 2008. »Using Formative Assessment Results to Predict Student Achievement on High Stakes Tests.« Doktorska disertacija, Liberty University.
American Educational Research Association. 1999. Standards for Educational and Psychological Testing. Washington, DC: American Psychological Association.
Steinert, B. 2012. »pisa 2009 Results in Germany: Background and Interpretations.« Predstavljeno na Slovenskem šolskem forumu, Ljubljana, 25. oktober.
Širec, J. 1984. »U^nosnovna ali u^nociljna šola?« Prosvetni delavec 35 (14):3.
Štraus, M. 2005. »Izvedbeni in doseženi kurikulum za matematiko v višjih razredih osnovne šole med 1995 in 2003.« Šolsko polje 16 (3-4): 19-40.
Tomlinson, C. A. 2000. »Reconcilable Differences? Standards-Based Teaching and Differentiation.« Educational Leadership 58 (1): 6-11.
Tyler, R. W. 1949. »Basic Principles of Curriculum and Instruction.« Chicago: University of Chicago Press.
Townsend, T., ur. 2007. International Handbook of School Effectiveness and Improvement. Dordrecht: Springer.
»U^ni nacrti za gimnazije.« [2011]. http://portal.mss.edus.si/msswww/ programi20ii/programi/gimnazija/ucni_nacrti.htm
Velikonja, M., ur. 2000. Projektno učenje za mlajše odrasle: izobraževalni programi; izobraževanje odraslih. Ljubljana: Ministrstvo za šolstvo in šport, Zavod rs za šolstvo.
Vos, P., in K. Bos. 2001. »Comparing Three Curricular Levels of TiMss-95 and TiMss-99 Mathematics Results in the Netherlands with Belgian (Flemish) Data.« Predstavljeno na ecer 2001, Lille, 5.-8. september.
»Zakon o poklicnem in strokovnem izobraževanju (zpsi).« 1996-2006. Uradni list rs, št. 12/96, 44/00, 86/04 - zvsi in 79/06 - zpsi-1.
»Zakon o osnovni šoli (zosn).« 2006-2013. Uradni list RS, št. 81/06 - UPB, 102/07, 107/10, 87/11, 40/12 - zujF in (63/13)).
»Zakon o spremembah in dopolnitvah Zakona o osnovni šoli (zosn-o).« 2007. Uradni list rs, št. 102/07.
Zupanc, D. 2005a. »Standardi znanja v slovenski šoli.« Sodobna pedagogika 56 (1): 124-147.
Zupanc, D. 2005b. »Standardi znanja v edukaciji.« Psihološka obzorja 14 (3): 69-88.
Zupanc, D. 2005c. »Ravni znanja pri (inter)nacionalnih preverjanjih.« Šolsko polje 16 (5-6): 161-195.
Zupanc, D. 2007. »Postavljanje standardov dosežka.« Preverjanje in ocenjevanje 4 (1-2): 89-104.
Zupanc, D. 2008. »Permanentno analiziranje šolskega in eksternega ocenjevanja v funkciji izboljšav v izobraževanju.« V Vrednotenje in ocenjevanje v vzgoji in izobraževanju: zbornik prispevkov, ur. T. Vidmar, 105-110. Ljubljana: Zveza društev pedagoških delavcev Slovenije.
Zupanc, D., in M. Bren. 2010. »Inflacija pri internem ocenjevanju v Sloveniji.« Sodobna pedagogika 61 (3): 208-228.
West, R., in J. Crighton. 1999. »Examination Reform in Central and Eastern Europe: issues and trends.« Assessment in Education 6 (2): 271-289.
■ Dr. Darko Zupanc je direktor Državnega izpitnega centra. darko.zupanc@guest.arnes.si