Bralna pismenost osem- in devetletkarjev: za premišljeno uporabo rezultatov mednarodnih raziskav znanja Slavko Gaber, Ljubica Marjanovič Umek Pomen in vloga mednarodnih primerjalnih raziskav znanja Primerjalno ocenjevanje« naj bi bilo »bistveno orodje dviga kakovosti edukacije« (Schleicher, 2007: 356). Še več. Izvajalci najvplivnejših mednarodnih raziskav na področju edukacije trdijo tudi, da sta standardizirano ocenjevanje in preučevanje »eden najzanesljivejših napovednikov uspeha določenega šolskega sistema« (ibid.). Opozarjajo tudi, da brez mednarodnih primerjav šolski sistemi tvegajo, da bodo tako šole kot družbe v celoti ostale zgolj pri »občutkih o kakovosti edukacije«. S tem pa države ne tvegajo, kot opozarja Mil-ner (1992), samo individualnega neuspeha v šoli, tvegajo neuspeh šole.1 Tega pa si države, še posebej v časih ekonomskega nacionalizma, ne morejo privoščiti. Zato ne čudi, da IEA (International Association for the Evaluation of Education Achive-ment) in OECD (Organization for Economic Co-operation and Development) s svojimi raziskavami merita prav na možnost uspeha in na nevarnost neuspeha posamičnih šolskih sistemov. IEA izvaja raziskave, med katerimi sta pri nas dobro poznani TIMSS in PIRLS. Svoje raziskave predstavlja kot »zagotavljanje mednarodnih mer relativnih dosežkov, ki oblikovalcem politik pomagajo identificirati močne in šibke točke sistemov edukacije« (http://www.iea.nl/mission_statement.html). OECD, kot izvajalka in naročnica raziskave PISA, pa opozarja, da »blaginja držav danes v veliki meri izhaja iz človeškega kapitala, ki ga le-te posedujejo. Zato morajo posamezniki in posameznice, če naj uspejo v hitro spreminjajočem se svetu, svoje znanje in spretnosti razvijati tekom celotnega življenja. Sistemi edukacije pa morajo za to ustvariti trdne temelje ...« (PISA, 2006 a: 3.) 1 »Ne uspeti v šoli je zgolj avantura v mladosti oz. otroštvu, bolj ali manj žalosten spomin. Razen v izjemnih primerih ni razloga, da bi iz tega delali dramo. Ne uspeti zaradi šole v življenju pa je nepopravljivo. Tedaj, a samo tedaj, imamo pravico govoriti o šolskem neuspehu.« (Milner, 1992: 44.) Tako IEA kot OECD, ki sta deloma konkurenčni ocenjevalki sistemov edukacije, dodatno utemeljujeta potrebnost in koristnost svojih raziskav. IEA, ki je od leta 1958 opravila že 23 raziskav, s pomočjo katerih so merili mednarodno primerljive dosežke, poudarja, da: - ponuja visoko kakovostne podatke, ki omogočajo oblikovalcem edukacijskih politik razumeti ključne šolske in zunajšolske dejavnike, ki se povezujejo s poučevanjem in učenjem; - ponuja tudi podatke, ki omogočajo identifikacijo področij, na katerih so potrebni posegi v šolske sisteme, če želijo države povečati »sposobnost pristopa k nacionalnim strategijam spremljanja in izboljševanja edukacije« ipd. (prim.: http://www.iea.nl/mission_statement.html). OECD v poročilu PISA 2006 sprašuje: »So dijaki dobro pripravljeni za izzive prihodnosti? So sposobni analizirati, premisliti in učinkovito sporočiti svoje ideje? So našli takšne interese, da jim bodo lahko v življenju sledili kot produktivni del ekonomije in družbe.« (PISA, 2006 a: 16.) Raziskovalci menijo, da naj bi zbrani podatki omogočili poiskati odgovore na navedena vprašanja. Še več: »oblikovalcem politik in praktikom zagotavljajo uporabna orodja za izboljšanje kakovosti, pravičnosti in učinkovitosti edukacije« (Schleicher, 2007: 356). Za ugotavljanje pripravljenosti »na izzive življenja« so v IEA, še posebej pa v OECD, razvili koncept kompetenc. S tem so v polju edukacije, ob tradicionalnem konfliktu med razumevanjem znanja znotraj spoznavnih oz. vedenjskih teorij, dodatno okrepili instrumentalno razumevanje znanja.2 Kompetence opredelijo kot »zmožnost mobilizirati psihosocialne predpogoje (tako kognitivne kot nekognitivne) uspešnega spoprijema s celovitimi zahtevami, ki nastopijo v konkretnem kontekstu« (Rychen, 2003: 43). V raziskavah, kot ugotavlja Schleicher (2007: 351), poskušajo ocenjevati: - »sposobnost mladih odraslih priti do informacije, z njo ravnati, jo vključiti v sistem razmišljanja in jo oceniti; - sposobnost imaginacije, oblikovanja idej in hipotez ter odkrivanja; - sposobnost učinkovitega sporočanja«. Mednarodne raziskave so potrebne in koristne, ne le, ker omogočajo informirano oblikovanje edukacijskih politik; potrebne so tudi zato, ker »kompetence, ki jih PISA preverja, nosijo v sebi veliko napovedno moč bodočega uspeha učenk in učencev« (Schleicher, 2007: 356). 2 Gl. Rychen 2003. Na tem mestu skoraj povsem puščamo ob strani vprašanja, ki so povezana z instrumentalnostjo znanja, z usmerjenostjo znanja v delo ob izteku družb dela. Tako ravnamo ob zavedanju, da določanje novega razmerja med v vednost in uporabnost usmerjenim znanjem presega tako naše namere kot zmožnosti. Slovenija v mednarodnih primerjalnih raziskavah znanja: v preteklih letih in danes Slovenija v mednarodnih primerjalnih raziskavah, kljub prepričanju nekaterih, da se je »za mednarodne primerjave odprla šele po letu 2004«, sodeluje od leta 1991. Dejstvo, da kljub dolgoletni udeležbi v mednarodnih raziskavah danes praviloma ne zmoremo dovolj kakovostno in korektno uporabiti niti osnovnih rezultatov teh raziskav in imamo narejenih (pre)malo sekundarnih analiz, pa kaže na zapletenost in ranljivost navedenih raziskav. Skrb vzbuja dejstvo, da smo bili v Sloveniji dvakrat zapored - z obravnavo rezultatov raziskave TIMSS 2003, ki je potekala v letu 2005, in z obravnavo rezultatov raziskav PIRLS 2006 in PISA 2006, ki je potekala leta 2007 - nevarno blizu nepremišljene uporabe rezultatov pomembnih mednarodnih raziskav. Leta 2005 so bili »še sveži in neobdelani podatki« raziskave TIMSS 2003 uporabljeni kot »strokovna podpora« nepremišljenim3 posegom v šolski sistem. Politične stranke, mediji in strokovna javnost so po hitrem postopku presodili, da so dosežki slovenskih učencev in učenk bistveno slabši, kot so bili v preteklosti, in da smo po zaporedju na repu primerljivih držav. Opozorila - tudi ta preveč previdna -, da kaže razloge za rezultate, ki so »slabši od tistih, ki smo si jih želeli«, iskati tudi v dejstvih, da so naši učenci in učenke, vključeni/-e v raziskavo, med najmlajšimi in da imajo za seboj tudi manj let šolanja kot večina tistih, ki so bili na lestvicah pred nami, niso zalegla. Še več: brez opravljenih podrobnejših analiz je bilo razglašeno, da slovenski šolski sistem glede na dosežke porabi preveč sredstev; da so nas »zadnja leta prehitele nekatere države«, ki »manj kot četrtino ali petino vlagajo v celotni šolski sistem« (Zver, 2005).4 Rezultati naj bi kot celota navedli k temu, da bo potrebno na podlagi analiz pripraviti »konkretna napotila za ukrepanje« (Zver, 2005). Nekatere kasnejše raziskave - že v letu 2005 - so, potem ko so bili primerjani dosežki sedmošolk in sedmošolcev v raziskavi TIMSS 1995 s tistimi iz raziskave TIMSS 2003, pokazale, »da večjih sprememb v dosežkih slovenskih učencev v tem času ni bilo« (Štraus, 2005: 26). Ker ne moremo in ne smemo zanemariti podatkov, da je bila v raziskavi TIMSS 2003 povprečna starost učencev in učenk 14.4 leta, slovenski učenci in učenke pa so bili v povprečju stari 13.8 let, povprečno število let šolanja v celotnem vzorcu je bilo 8 let, slovenske udeleženke in udeleženci pa so imeli za seboj 7 let šolanja, so rezultati, ki so jih dosegli slovenski učenci in učenke, potem ko so leta 2003 Švedska, Bolgarija, Latvi- 3 O dejanski naravnanosti »nepremišljenosti« gl. Gaber, 2007. 4 Na prvi pogled govorjenje o državah, ki »manj kot četrtino ali petino vlagajo v celotni šolski sistem«, nima nobenega smisla. A le na prvi pogled. Govorec, ki je z izrekanjem dokazal, da si s »številkami« in še s čim ni posebej blizu, je sporočilo - kljub mnogoplastni neartikuliranosti - oblikoval kristalno jasno: »naše šolstvo ima veliko (preveč) denarja in za ta denar daje premalo«. Koliko Slovenija pri tem za edukacijo dejansko namenja in pa dejstvo, da noben primerljiv sistem edukacije v svetu ne bi preživel, če bi v primerjavi s Slovenijo dejansko vlagal »manj kot četrtino ali petino /.../ v celotni šolski sistem«, je pri tem stranskega pomena. ja in Litva v raziskavo vključile za približno leto dni starejšo populacijo kot leta 1995, sicer slabši od pričakovanih, a niso bili »zaskrbljujoči«. »Slovenija med 'evropskimi državami' ni nazadovala in ni pristala na repu« (Gaber, 2006: 231). Rezultati raziskave, ki jo je izvedla M. Štraus (2005), so pokazali, da so učenci »tako v letu 1995 kot v letu 2003 pri izbranih matematičnih nalogah v okviru raziskave TIMSS pokazali slabše dosežke kot učenci petih primerjanih držav. V letu 1995 so bile to Belgija (flamski del), Bolgarija, Madžarska, Nizozemska in Slovaška, v letu 2003 pa je bila v skupini primerjanih držav namesto Bolgarije La-tvija. Slovenski povprečni dosežek pri izbranih nalogah je bil v letu 1995 podoben dosežkom učencev Anglije, Latvije, Norveške, Škotske in Švedske, v letu 2003 pa dosežkom učencev Anglije, Litve, Škotske in Švedske« (Štraus, 2005: 25). Norveška in Bolgarija sta imeli v navedenem letu nižje povprečne dosežke kot Slovenija. Tako je bilo leta 2005. Danes, ko je mnogim jasno, da je bila takrat narejena za šolstvo v Sloveniji škodljiva napaka v interpretaciji in je prišlo z njeno pomočjo do napak v spreminjanju šolskega sistema, se zastavlja vprašanje, ali smo leta 2007 s podatki raziskav PIRLS 2006 in PISA 2006 ravnali drugače? Kaj so prinesli rezultati dveh mednarodnih primerjalnih raziskav, v katerih se je merilo dosežke udeležencev in udeleženk, ki so imeli v raziskavi PISA (merila je predvsem naravoslovno pismenost) za seboj osem let šolanja, v raziskavi PIRLS (merila je bralno pismenost) pa 3 oz. 4 leta? Leta 2007 so bili rezultati sprejeti radikalno drugače kot leta 2005. V zraku je bilo čutiti zadovoljstvo, celo navdušenje. A naj zveni še tako neverjetno, upoštevajoč prve podrobnejše primerjalne analize dosežkov, se zdi, da rezultati niso bistveno drugačni od »poraznih« iz raziskav, ki so potekale v letu 2003. Tudi tokrat velja, da smo na PISI 2006 pri naravoslovju dosegli višje rezultate kot pri matematiki. Za naravoslovje je bilo mogoče iz primerjalno boljših dosežkov višjih letnikov osnovne šole v raziskavah TIMMS 2003 in iz uvrstitev primerljivih držav na raziskavi PISA leta 2000 in 2003 napovedati, »da lahko učenci in učenke v Sloveniji pri naravoslovju ob zaključku osnovne šole dosežejo rezultate, ki so pomembno nad povprečjem dosežkov držav OECD« (Gaber, 2006: 20). Kot kažejo rezultati, so učenci in učenke ter dijaki in dijakinje dosegli pri naravoslovju 519 točk (OECD povprečje je 500 točk), kar je napoved potrdilo. Pri matematiki so dosegli 504 točke (OECD povprečje je 498 točk), kar nas uvršča med države, ki so dosegle pomembno višji rezultat, kot je povprečje držav OECD, dejansko pa se uvrščamo bolj okoli povprečja omenjenih držav; dosežek pa je tudi nižji kot dosežek pri naravoslovju. Enako velja za bralno pismenost, pri kateri s 494 točkami (OECD povprečje je 492 točk) sicer dosegamo pomembno višje dosežke, kot je povprečje držav OECD, vendar gre dejansko za rezultat, ki je podoben povprečju držav OECD oz. se uvrščamo med države, ki so dosegle rezultat, ki ni pomembno različen od povprečja teh držav.5 5 Podobno mnenje je na predstavitvi raziskave v okviru CEPS seminarja v januarju 2008 zagovarjala tudi dr. Mojca Štraus. Podatki PISA 2006 torej kažejo, da Slovenija v mednarodnih primerjavah, čeravno nekoliko niha v dosežkih, praviloma ohranja priključek k prvi tretjini držav oz. se približuje cilju utrditi se v prvi tretjini držav EU in OECD po dosežkih pri vseh treh vrstah pismenosti: Pri naravoslovju smo cilj že dosegli. Slovenija med državami EU zaseda peto mesto, če bi bila članica držav OECD, pa bi se z osmim mestom prav tako uvrstila v prvo tretjino. Pri matematiki smo z devetim mestom na samem robu prve tretjine držav EU in s trinajstim mestom zunaj tretjine držav OECD. Pri bralni pismenosti pa z dvanajstim (EU) oz. šestnajstim (OECD) mestom pomembno zaostajamo za »zastavljenim« ciljem. Podatki o bralni pismenosti, na področju katere se Slovenija primerja z drugimi državami že od leta 1991, kažejo na prvi pogled paradoksalno, vendar hkrati vzpodbudno na naš stalen napredek. »Leta 1991 je bil dosežek slovenskih tretješolcev in tretješolk na področju bralne pismenosti statistično pomembno nižji od mednarodnega povprečja /.../ sodelujočih držav (SLO: 458 točk; mednarodno povprečje: 487 točk; zaostanek 29 točk). Leta 2001 je bila bralna pismenost tretješolcev in tretješolk sicer še vedno pod mednarodnim povprečjem (SLO: 493 točk; mednarodno povprečje: 500 točk; zaostanek 7 točk) ... Zaostanek ni bil več statistično pomemben, ali z drugimi besedami: slovenski tretje-šolci so naredili pomemben napredek na področju bralne pismenosti.« (Http:// www2.arnes.si/~uljpeins/czue/index.htm.)6 Tudi v raziskavi PIRLS 2006 smo med državami, ki so najbolj napredovale. »Rusija, Hongkong, Singapur, Slovenija, Slovaška, Italija, Nemčija in Madžarska so pomembno napredovale.« (PIRLS, 2006: 43.) Slovenija je napredovala za 20 točk in za 22 točk presegla tokratno mednarodno povprečje (ibid.: 37). Zdi se, da je prav upoštevajoč dejstvo, da »se je v Sloveniji bralna pismenost otrok te starosti pomembno zvišala« (Doupona Horvat, 2007), in v kontekstu leta 2005 izpeljane devalvacije rezultatov TIMSS 2003 nastalo široko odobravanje slovenskih dosežkov v mednarodnih raziskavah, ki so bili objavljeni v letu 2007. Mediji so tako ugotavljali, da se glede dobrih dosežkov strinjajo sindikati, vladajoča koalicija, strokovnjaki in opozicija (prim. Ivelja, 2007). Avtor in avtorica prispevka želiva na primeru tovrstnega zasuka v interpretaciji sicer podobnih rezultatov, kot so bili rezultati TIMSS 2003, opozoriti na občutljivost ravnanja z rezultati mednarodnih raziskav. Pričakovani in zelo podobni rezultati kot tisti, ki so bili leta 2005 obravnavani kot dokaz neuspešnosti šolstva v Sloveniji, so bili leta 2007 sprejeti kot znak kakovosti šolskega sistema. 6 Dosežek slovenskih otrok je primerljiv z dosežki švedskih, je pa nižji od dosežkov nekaterih drugih držav (od Grčije, Italije, Islandije, ZDA, Nove Zelandije). Iz percentilne distribucije rezultatov je razvidno, da je polovica naših tretješolcev in tretješolk dosegla na testu bralne pismenosti rezultat med 432 in 557 točkami. Najboljših 25 odstotkov otrok je doseglo rezultat nad 557 točkami, 25 odstotkov otrok z najnižjimi dosežki pa rezultat pod 432 točkami. Tako neutemeljeno in nekritično zaničevanje dosežkov izobraževanja kot prehitro in ne dovolj kritično navdušenje nad njimi nama je tuje. V času, ko tudi avtorji mednarodne raziskave PIRLS 2006 boljše dosežke v Sloveniji opisujejo kot pričakovane prav zaradi šolskih reform, ki so potekale v času 2001-2006 (PIRLS: 43), želiva opozoriti na nujnost razprave o »manj svetlih« straneh dosežkov naših učencev in učenk. Zdi se, da je za opozorila o slabostih primeren čas prav sedaj, ko smo z doseženimi rezultati med tistimi štirimi državami, katerih učenci in učenke so najbolj napredovali (ibid.: 43). Če bi to priložnost izpustili, bi ravnali podobno kot uničujoča kritika slovenskega šolstva leta 2005. V nadaljevanju bova predlagala nekaj točk, ki zahtevajo dodatne analize in raziskave - ne misliva, da so edine. Eno bolj občutljivih, ki se nanaša na dosežke v raziskavi PIRLS 2006, bova na osnovi empirične analize podrobneje predstavila v nadaljevanju teksta. Kje zmoremo in moramo doseči več in kaj nas lahko skrbi? a) Dosežki na področju naravoslovne pismenosti so dobri in jih moramo ohraniti; potrebno pa je izboljšati dosežke na področjih bralne in matematične pismenosti. Sistematična prizadevanja za uvrstitev v prvo tretjino držav EU in OECD je potrebno utrditi ter s finančnimi vlaganji in visokimi pričakovanji zagotavljati, da mesta, ki so pomembno nad povprečjem OECD in EU, dosegamo stalno. Pri tem je pomembno pustiti ob strani težnje, da bi se povzpeli bodisi med prve tri države ali pa celo na prvo mesto lestvic. Če bo Slovenija kdaj na kateremkoli področju merjenja dosežkov dosegla najvišja mesta, se bo to zgodilo kot stranski proizvod trajno visoke kakovosti. b) Podrobno je treba na vseh področjih primerjanja znanja preučiti dosežke fantov in deklet ter zasnovati mehanizme, ki bodo tudi fantom omogočili doseganje najvišjih rezultatov. V nekaterih evropskih državah se že lotevajo izdelave tovrstnih strategij (npr. Connolly, 2005). c) Prav tako je treba narediti ustrezne analize o razlikah v dosežkih med šolami. Pri tem je potrebno najprej odpraviti napako, ki jo vsebuje poročilo PISA 2006 in ki pušča ob strani sicer opaženo dejstvo, »da je mogoče nekatere razlike med šolami /.../ pripisati strukturnim značilnostim šol in šolskih sistemov« (PISA, 2006 a: 173).7 Vpogled v morebitne pomembne razlike med dosežki šol je posebej pomemben pred oz. ob mogočem odločanju o spremembi politike določanja šolskih okolišev in tudi za razvoj kakovosti pouka na posameznih šolah. č) Rezultati raziskav, npr. sekundarne analize podatkov, zbranih v raziskavi TIMSS 1995, ki so vključevale tudi Slovenijo (Martin, Mullis, Gregory, Ho-yle in Shen, 2000), raziskava o šolski uspešnosti učencev in učenk v 9. razre- 7 Pomen strukturnih značilnosti šol in šolskih sistemov tendenciozno obravnava tudi Schleicher (2007: 354). Njegovo opozorilo na pomembnost prezgodnje delitve v različne vrste šol, ki poteka v Nemčiji pri 10-ih letih, je upravičeno. Njegov spregled pretiranih razlik o vplivu šol na dosežke otrok, ki izhaja iz dejstva, da nekateri sistemi prav pri 15-ih letih že razdelijo mladostnike v različne programe, drugi pa to storijo leto kasneje, kaže na šibko metodološko zastavitev tega dela raziskave PISA. du osnovne šole (znanje je bilo ocenjevano z nacionalnimi preizkusi znanja in učiteljevo oceno) (Marjanovič Umek et al., 2006), prva preverjanja dosežkov PISA 2006 (Poljanšek, 2008) kažejo na šibkosti šolskega sistema pri zmanjševanju učinka socialnega izvora učenk in učencev. Zato je nujno treba natančno preučiti razloge za takšno stanje in konceptualizirati mehanizme za učinkovitejši spoprijem z reprodukcijo socialne neenakosti v šoli. d) Z namenom strokovno korektne obravnave vloge zasebnih šol v sistemu edukacije bi bilo priporočljivo podrobneje obravnavati rezultate, ki jih dosegajo javne in zasebne šole. Pri tem je potrebno upoštevati tako elemente učinkovitosti kot elemente pravičnosti. Začetno preučevanje napotuje na vsaj tri ugotovitve, ki zahtevajo dodatne študije: - zasebne šole dosegajo v povprečju boljše rezultate kot javne; - zasebne šole v povprečju všolajo socialno selekcionirano populacijo in javnim šolam prepustijo večji del socialno šibkejših in - kar dve tretjini povprečne prednosti zasebnih šol izgine že, če upoštevamo socialno strukturo šolajočih. Empirična študija: primerjava dosežkov bralne pismenosti med učenkami in učenci, vključenimi v osem- in devetletko Ena pomembnejših analiz, ki jo je po objavi rezultatov PIRLS 2006 potrebno opraviti, je zagotovo primerjava med dosežki bralne pismenosti generacije otrok, ki je bila vključena v osemletno osnovno šolo, in dosežki generacije otrok, ki je bila vključena v devetletno osnovno šolo. Otroci, ki so obiskovali devetletno osnovno šolo, so imeli za seboj eno leto pouka več kot njihovi vrstniki v osemletni osnovni šoli. Zdi se, da smo zato upravičeno pričakovali, da bodo njihovi dosežki višji. Nenazadnje je tudi v poglavju v Enciklopediji PIRLS 2006, v katerem so opisane reforme posameznih šolskih sistemov, ki so potekale v obdobjih med obema merjenjema bralne pismenosti, zapisano, da je eden od razlogov za uvajanje devetletne osnovne šole v Sloveniji prav izboljšanje pismenosti otrok (Doupona Horvat, 2008: 12). Ob ugotavljanju razlik med dosežki učenk in učencev osem- in devetletne osnovne šole naju je zanimal tudi dosežek obeh skupin glede na spol otrok, vključenost v vrtec in izobrazbo staršev. Metoda Osnovne podatke sva vzela iz skupne baze podatkov mednarodne raziskave bralne pismenosti PIRLS 2006. V naši raziskavi je sodelovalo 142 šol, od tega 64 šol, ki so izvajale program osemletke, in 78 šol, ki so izvajale program devet-letke (3 šole so izvajale program osem- in devetletke, zato so bile iz naših analiz izključene). Povprečna starost slovenskih otrok, vključenih v mednarodno raziskavo, je bila 9,9 let, število let šolanja pa 3 ali 4. Povprečni dosežek slovenskih otrok (ne glede na to, ali so bili vključeni v osem- ali devetletko) je bil 522 točk (Se = 2,1) pri branju-skupaj, 523 (Se (M) = 2,4) pri informacijskem delu in 519 (Se = 2,0) pri literarnem delu. Kot smo že zapisali, je 522 točk pomembno višji dosežek, kot je bil povprečni dosežek PIRLS 2006, ki je bil 500 točk. Slovenske deklice so enako kot v večini držav (izjemi sta le Luksemburg in Španija, kjer razlike niso statistično pomembne) dosegle pomembno višje rezultate kot dečki (deklice 532 točk, dečki 512 točk), pri čemer so primerjalno z letom 2001 deklice in dečki približno enako napredovali. Bralni dosežki otrok so bili pozitivno povezani tudi z izobrazbo staršev. Otroci staršev z najmanj univerzitetno izobrazbo so dosegli pomembno višje rezultate (563 točk) kot njihovi vrstniki, katerih starši imajo končano več kot srednjo šolo, vendar ne univerzitetnega študija (533 točk); slednji so dosegli pomembno višje rezultate kot njihovi vrstniki, katerih starši imajo končano srednjo šolo (510 točk), le-ti pa višje rezultate kot otroci, katerih starši imajo končano osnovno šolo (467 točk). Razlika med dosežki otrok, katerih starši imajo končano najmanj univerzo, in otrok, katerih starši imajo končano osnovno šolo, je 96 točk (mednarodno povprečje je 78 točk). Bralni dosežki otrok so bili pozitivno povezani tudi z vključenostjo otrok v vrtec, čeravno so razlike med posameznimi skupinami manjše kot glede na izobrazbo staršev. Otroci, ki so vrtec obiskovali 3 leta ali več, so dosegli 528 točk, tisti, ki so bili v vrtec vključeni od 2. do 3. leta, so dosegli 524 točk, tisti, ki so bili v vrtec vključeni 1 do 2 leti, 520 točk, otroci, ki so obiskovali vrtec do enega leta, 498 točk, kar je nekoliko nižje kot tisti, ki v vrtec sploh niso bili vključeni in so dosegli 513 točk. Najprej smo naredili primerjavo dosežkov otrok v osem- in devetletki, nato smo glede na osnovne demografske spremenljivke, ki so sicer pomembno pojasnjevale razlike v dosežkih otrok na celotnem vzorcu, primerjali skupini otrok iz osem- in devetletke ter naredili še primerjave dosežkov otrok glede na navedene spremenljivke znotraj osem- in devetletne osnovne šole in med osem- in devetletno osnovno šolo. Rezultati: primerjava dosežkov otrok v osem- in devetletki Kot je razvidno iz tabele 1, je bilo v primerjavo vključenih 2414 učencev oz. učenk, ki so bile vključene v osemletko (to je 46,1 %), ter 2828 učenk oz. učencev, ki so bili vključeni v devetletko (to je 53,9 %). Rezultati hi kvadrat testa kažejo, da sta deleža otrok iz osem- in devetletke statistično pomembno različna (p = 0,00). Tabela 1: Razlike med dosežki otrok v osem- in devetletki. 8-letka 9-letka Pomembnost N M Se(M) N M Se0,05 Informacijski del 2414 521 2,7 2828 524 3,6 p >0,05 Literarni del 2414 518 2,4 2828 520 3,2 p >0,05 N: število otrok; M: povprečni dosežek (zaradi večje preglednosti so vrednosti v okrepljenem tisku); Se(M): standardna napaka aritmetične sredine (mera reprezentativnosti vzorca). Če vrednost p presega 0,05 (v tabeli označeno kot: p > 0,05), pomeni, da razlike v dosežkih ne dosegajo 95 % ravni tveganja, kar pomeni, da je več kot 5 % verjetnosti, da so razlike naključne in zato ne moremo govoriti o njihovi statistični pomembnosti. Otroci iz devetletke so sicer dosegli za od 2 do 3 točke višje rezultate kot otroci iz osemletke, vendar razlike med obema skupinama niso pomembne na nobeni od mer bralne pismenosti. Ti rezultati zahtevajo dodatno pozornost, saj kažejo, da z enim letom šole več nismo dosegli učinka, ki bi prispeval k pomembno višjim dosežkom otrok iz devetletne osnovne šole. Ker smo v nadaljnjih empiričnih primerjavah izključili nekatere dejavnike, povezane z vzorcema, smo razloge za majhne razlike med dosežki otrok iz osem-in devetletne osnovne šole iskali tudi na vsebinski ravni. Ocenjujemo, da je na dobljene rezultate lahko vplivalo: a) Dejstvo, da so bili vzporedno z vsebinsko prenovo in pripravo novih učnih načrtov za devetletno osnovno šolo posodobljeni tudi učni načrti za osemletno osnovno šolo. Še posebej to velja za slovenščino, saj je projekt posodabljanja pouka slovenščine potekal že pred pripravo novih učnih načrtov za devetletno osnovno šolo in so bili njegovi učinki z veliko verjetnostjo prepoznani tudi pri pouku slovenščine v osemletki. b) Ne glede na to, da so slovenski učenci in učenke v obdobju od leta 2001 do 2006 pomembno napredovali v bralni pismenosti, smo, kot kaže, pri iskanju prave mere zahtevnosti med programom prvega razreda osemletne osnovne šole in programom priprave na šolo (le-ta je bil bolj »po meri« glede na starost otrok v prvem razredu devetletke) pristali bližje programu priprave na šolo. Ker je napredek učenk in učencev ob dodatnem letu pouka premajhen, je treba zahtevnost standardov znanja v učnih načrtih prvega triletja podrobneje analizirati, tudi primerjalno s standardi znanja v drugih državah, še posebej v tistih, v katerih so učenci in učenke uspešne tudi v mednarodnih primerjalnih raziskavah. Morebitne spremembe in dopolnitve v smeri večje zahtevnosti in v smeri ustvarjanja možnosti za upoštevanje različnih ravni pismenosti otrok ob vstopu v šolo bi ne prispevale zgolj k doseganju višjih rezultatov, temveč bi ver- jetno tudi zmanjšale siceršnjo zahtevnost višjih razredov osnovne šole. Čeravno je prav prvo triletje občutljivo obdobje za opismenjevanje, se zdi, da poskušamo v višjih razredih nadomestiti »zamujeno«, kar povzroča večjo obremenjenost učenk in učencev, učiteljev in učiteljic ter staršev. Zapisane predloge dajeva v razmislek tudi zato, ker analiza, ki sledi, kaže, da razlogi za majhno razliko med dosežki otrok, ki so bili do merjenja bralne pismenosti v šoli tri oz. štiri leta - ob siceršnji enaki starosti -, niso v pomembnih razlikah med vzorcema glede spola otrok, vključenosti v vrtec in izobrazbe njihovih staršev. Tabela 2: Primerjava deležev otrok v osem- in devetletki glede na spol, vključenost v vrtec in izobrazbo staršev. Pomembnost 8-letka 9-letka razlik (hi kvadrat test) Spol Deklice Dečki (N= 2414) 50,1% 49,9% (N= 2827) 46.6% 53,4% p = 0,01 Vključenost v vrtec Da Ne (N=2292) 88.3% 11,7% (N=2667) 86.6% 13,4% p = 0,08 Izobrazba staršev (N=2266) (N=2620) Najmanj končana UNI 24,3% 25,5% Končana več kot SŠ, vendar ne 15,7% 14,4% UNI Končana SŠ 55,2% 53,8% p =0,11 Končana OŠ 4.4% 5,6% Manj kot končana OŠ 0.4% 0,7% Razlike so statistično pomembne, če vrednost p ne presega 0,05. Deleža deklic in dečkov v skupini otrok iz osem- in devetletke sta pomembno različna. V osemletki je višji delež deklic, v devetletki pa višji delež dečkov. Zamik vzorca v devetletki v prid sicer manj uspešnih dečkov ni tolikšen, da bi lahko pomembno zmanjšal možnosti otrok iz devetletne osnovne šole, da bi dosegli višje rezultate. Deleža otrok, ki so oz. niso bili vključeni v vrtec, sta v skupini otrok iz osem-in devetletke primerljiva (čeprav so razlike blizu pomembnosti). Nadaljnji izračuni kažejo, da se skupini otrok iz osem- in devetletke nekoliko razlikujeta glede na dolžino vključenosti v vrtec. Glede na dolžino vključenosti v vrtec so bili otroci razdeljeni na pet skupin, in sicer na 1. skupino: vključeni v vrtec tri leta ali več; 2. skupino: vključeni v vrtec od dve do tri leta; 3. skupino: vključeni v vrtec od enega do dveh let; 4. skupino: vključeni v vrtec do enega leta, in 5. skupino: niso bili vključeni v vrtec. Izračuni (hi kvadrat testi) so pokazali, da so deleži otrok, vključenih v osem- in devetletko, statistično pomembno različni pri 1., 3. in 5. skupini. Delež otrok 1. skupine je v osemletki 67,5, v devetletki pa 59,7 % (p = 0,00); delež učencev 3. skupine je v osemletki 8,8 %, v devetletki pa 11,2 % (p = 0,01); delež otrok 5. skupine v osemletki je 4,4 %, v devetletki pa 7,5 % (p = 0,00). Tudi ti rezultati ne kažejo, da bi lahko imeli zaradi vključenosti oz. nevključenosti v vrtec prednost otroci iz osem- ali devetletke. Kot kažejo rezultati v tabeli 2, sta deleža otrok v osemletni in devetletni osnovni šoli, katerih starši imajo različno stopnjo izobrazbe, primerljiva oz. nista pomembno različna. V nadaljevanju smo izračunali še razlike med dosežki učencev glede na zgoraj navedene spremenljivke, in sicer primerjalno med skupino otrok, ki so bili vključeni v osemletno, in skupino otrok, ki so bili vključeni v devetletno osnovno šolo. Tabela 3: Razlike med dosežki učencev glede na spol znotraj osem- in devetletke ter med osem- in devetletko. 8-letka 9-letka Pomembnost razlik med 8-in 9-letko N M Se(M) N M Se0.05 Dečki 1204 512 3,1 1510 513 4,1 p >0,05 Pomembnost razlik znotraj 8-oz. 9-letke P < 0,01 p < 0,01 Informacijski del Deklice 1210 530 3,1 1317 535 3,5 p >0,05 Dečki 1204 512 4,2 1510 515 4,3 p >0,05 Pomembnost razlik znotraj 8-oz. 9-letke P < 0,01 p < 0,01 Literarni del Deklice 1210 527 2,7 1317 531 3.6 p >0,05 Dečki 1204 510 3,4 1510 511 3,8 p >0,05 Pomembnost razlik znotraj 8-oz. 9-letke p < 0,01 p < 0,01 Za izračun pomembnosti razlik med dosežki je bil uporabljen t-test. Če vrednost p presega 0,05 (v tabeli označeno kot: p > 0,05), pomeni, da razlike v dosežkih ne dosegajo 95 % ravni tveganja, kar pomeni, da je več kot 5 % verjetnosti, da so razlike naključne in zato ne moremo govoriti o njihovi statistični pomembnosti. Če je vrednost p manjša od 0,01 (v tabeli označeno kot: p < 0,01), pa so razlike statistično pomembne na 1 % nivoju tveganja. Glej tudi opombe pod tabelo 1. Rezultati v tabeli 3 kažejo, da deklice v osem- in devetletki dosegajo pomembno višje dosežke kot dečki, in sicer so v osemletki deklice boljše za 17 točk, v devetletki pa za 20 točk. Tudi na ravni celotnega vzorca (ni prikazano v tabeli) dosegajo deklice pomembno višje dosežke kot dečki (p < 0,01), in sicer tako pri skupnem kot pri obeh delnih dosežkih. Primerjave med dosežki deklic, ki so bile vključene v osemletko, in tistimi, ki so bile vključene v devetletko, niso pomembne (deklice v devetletki so boljše za 4 točke), enako tudi ne razlike med dosežki dečkov (dečki v devetletki so dosegli 1 točko več kot njihovi vrstniki v osemletki). Tabela 4: Razlike med dosežkih učencev glede na vključenost v vrtec znotraj osem- in devetletke ter med osem- in devetletko. 8-letka 9-letka Pomembnost razlik med 8-in 9-letko N M Se(M) N M Se0,05 Ne 269 510 6.1 358 514 6,0 p >0,05 Pomembnost razlik znotraj 8-oz. 9-letke p < 0,05 p >0,05 (blizu 0,05) Informacijski del Da 2023 524 2,7 2309 528 3,6 p >0,05 Ne 269 512 6.5 358 519 7.7 p >0.05 Pomembnost razlik znotraj 8-oz. 9-letke p >0,05 (blizu 0,05) p >0,05 Literarni del Da 2023 521 2,4 2309 523 3,1 p >0,05 Ne 269 508 5.9 358 513 7.0 p >0,05 Pomembnost razlik znotraj 8-oz. 9-letke p < 0.05 p >0,05 Za izračun pomembnosti razlik med dosežki je bil uporabljen t-test. Če vrednost p presega 0,05 (v tabeli označeno kot: p > 0,05), pomeni, da razlike v dosežkih ne dosegajo 95 % ravni tveganja, kar pomeni, da je več kot 5 % verjetnosti, da so razlike naključne in zato ne moremo govoriti o njihovi statistični pomembnosti. Če je vrednost p manjša od 0,05 (v tabeli označeno kot: p < 0,05), so razlike statistično pomembne na 5 % nivoju tveganja. Glej tudi opombe pod tabelo 1. Kot lahko vidimo iz rezultatov, prikazanih v tabeli 4, so otroci, ki so bili vključeni v osemletko in so obiskovali vrtec, dosegli pri skupnem in enem del- nem rezultatu pomembno višje dosežke kot njihovi vrstniki, ki v vrtec niso bili vključeni. Vključenost oz. nevključenost v vrtec je imela nekoliko nižji učinek na dosežke otrok v devetletni šoli: otroci, ki so bili vključeni v vrtec, so sicer dosegli za 11 točk višji rezultat kot njihovi vrstniki, ki niso bili v vrtcu, vendar razlika ni pomembna. Vključenost v vrtec je imela na dosežke otrok iz osemletke nekoliko večji učinek kot na njihove vrstnike v devetletki, vendar je bil trend enak: otroci, ki so bili vključeni v vrtec (različno število let), so dosegli višje rezultate kot otroci, ki v vrtec niso bili vključeni. Tudi na ravni celotnega vzorca (ni prikazano v tabeli) so otroci, ki so bili vključeni v vrtec, dosegli pomembno višje dosežke kot otroci, ki v vrtec niso bili vključeni, in sicer pri skupnem rezultatu na ravni tveganja 1 % (p <0,01) in pri literarnem delu na ravni tveganja 5 % (p <0,05). Pri informacijskem delu pa so bile razlike blizu pomembnosti. Zaradi pomembnega učinka vključenosti v vrtec smo posebej preverili, ali je imela tudi dolžina vključenosti v vrtec pomemben učinek na dosežke otrok v osemletni oz. devetletni šoli. Tabela 5: Razlike v dosežkih učencev glede na dolžino vključenosti v vrtec med osem- in devetletko. 8-letka 9-letka Pomembnost razlik med 8-in 9-letko N M SefW N M Se,m. Branje - skupaj 3 leta ali več 1359 527 2,8 1373 530 3.4 p >0,05 2 do 3 leta 310 519 5,3 391 527 5,6 p >0,05 2 leti 176 518 5,7 258 526 6,1 p >0,05 1 do 2 leti 79 519 8,1 106 511 7,5 p >0,05 1 leto ali manj 88 505 8,6 171 495 6,1 p >0,05 Informacijski del 3 leta ali več 1359 528 3,2 1373 532 3,5 p >0,05 2 do 3 leta 310 520 5,6 391 530 6,0 p >0,05 2 leti 176 515 6,0 258 526 6,4 p >0,05 1 do 2 leti 79 517 8,4 106 515 6,8 p >0,05 1 leto ali manj 88 508 7,8 171 498 6,1 p >0,05 Literarni del 3 leta ali več 1359 524 3,0 1373 527 3,1 p >0,05 2 do 3 leta 310 517 5,6 391 526 5,5 p >0,05 2 leti 176 519 6,4 258 525 6,9 p >0,05 1 do 2 leti 79 516 10,3 106 507 7,2 p >0,05 1 leto ali manj 88 500 7,2 171 494 6,3 p >0,05 Za izračun pomembnosti razlik med dosežki je bil uporabljen t-test. Če vrednost p presega 0,05 (v tabeli označeno kot: p > 0,05), pomeni, da razlike v dosežkih ne dosegajo 95 % ravni tveganja, kar pomeni, da je več kot 5 % verjetnosti, da so razlike naključne in zato ne moremo govoriti o njihovi statistični pomembnosti. Glej tudi opombe pod tabelo 1. Rezultati kažejo, da so razlike med dosežki otrok v osemletki glede na to, ali so bili v vrtcu 3 leta oz. več ali pa zgolj 1 leto ali manj, nekoliko manjše kot razlike med dosežki otrok v devetletki. Ker pa razlike med dosežki otrok, vključenih v osemletno, in tistimi, vključenimi v devetletno šolo, glede na dolžino obiskovanja vrtca niso statistično pomembne, lahko zaključimo, da je za bralno pismenost pomembno, da so otroci vključeni v vrtec več let. Ta zaključek lahko podpremo tudi z rezultati drugih raziskav (npr. Marjanovič Umek in Feko-nja, 2008), ki kažejo, da ima kakovosten vrtec, v katerega je otrok vključen več let, pomemben učinek na otrokov govorni razvoj (le-ta pa je pomemben napo-vednik zgodnje in kasnejše pismenosti), in to še posebej za otroke, katerih starši imajo nizko izobrazbo. Tabela 6: Razlike med dosežki učencev, vključenih v osem- oz. devetletko, glede na najvišjo izobrazbo staršev (mame ali očeta). 8-letka 9-letka Pomembnost razlik med 8-in 9-letko N M Se(M, N M Se^ Branje - skupaj Najmanj končana UNI. 551 558 3,3 668 567 3,4 p >0,05 Več kot SŠ, a ne UNI 355 535 5,1 378 532 5,5 p >0,05 Končana SŠ 1251 510 2,3 1409 510 3,0 p >0,05 KončanaOŠ. 99 469 8,4 146 466 7,5 p >0,05 Končana manj kot OŠ. 10 - - 19 • - p >0,05 Informacijski del Najmanj končana UNI. Več kot SŠ , a ne UNI Končana SŠ. Končana OŠ. Končana manj kot OŠ. 551 559 3,4 668 567 3,9 p >0,05 355 536 6,0 378 535 5,6 p >0,05 1251 511 2,2 1409 514 3,1 p >0,05 99 470 8,8 146 470 10.4 p >0,05 10 - - 19 - - p >0,05 Literarni del Najmanj končana UNI 551 555 2,9 668 562 4,2 p >0,05 Več kot SŠ, a ne UNI 355 530 5,8 378 530 5,4 p >0,05 Končana SŠ 1251 508 2,3 1409 509 2,6 p >0,05 Končana OŠ 99 468 8,4 146 463 8,2 p >0,05 Končana manj kot OŠ. 10 - - 19 • - p >0,05 Za izračun pomembnosti razlik med dosežki je bil uporabljen t-test. Če vrednost p presega 0,05 (v tabeli označeno kot: p > 0,05), pomeni, da razlike v dosežkih ne dosegajo 95 % ravni tveganja, kar pomeni, da je več kot 5 % verjetnosti, da so razlike na- ključne in zato ne moremo govoriti o njihovi statistični pomembnosti. Zaradi premajhnega vzorca primerjava med dosežki učencev, katerih starš ima manj kot OŠ, niso izračunane (v tabeli označeno kot -). Glej tudi opombe pod tabelo 1. Rezultati v tabeli 6 kažejo, da razlike med dosežki otrok, vključenih v osem-oz. devetletko, glede na izobrazbo njihovih staršev niso pomembne. Ne glede na to pa primerjave, narejene po posameznih stopnjah izobrazbe staršev, kažejo, da je razlika med dosežki otrok iz osemletke in tistimi iz devetletke največja v skupini staršev, ki imajo končano najmanj univerzitetno izobrazbo (razlika med otroki osem- in devetletke je 9 točk v prid devetletkarjev). Podatek, da je imela devetletna osnovna šola največji učinek na skupino otrok, katerih starši imajo najmanj univerzitetno izobrazbo, bi morda lahko povezali z večjo angažiranostjo teh staršev, ki se bolje znajdejo tudi ob manj strukturiranih učnih načrtih in verjetno tudi sami otroke, ki so že opismenjeni ali blizu tega, potiskajo navzgor. Dodatni izračuni tudi pokažejo, da so znotraj osemletne in devetletne osnovne šole (in tudi na celotnem vzorcu) vse parne primerjave med dosežki otrok različno izobraženih staršev statistično pomembne na 1 % nivoju tveganja (p < 0,01), in sicer tako pri skupnem dosežku (branje skupaj) kot pri obeh delnih dosežkih (literarni in informacijski del). Največje razlike so med dosežki otrok, katerih starši imajo vsaj univerzitetno izobrazbo, in otrok, katerih starši so zaključili samo osnovno šolo (pri skupnem rezultatu je razlika v osemletni osnovni šoli 89 točk, v devetletni osnovni šoli 101 točk, pri skupnem vzorcu pa 96 točk). Dobljeni rezultat ne potrjuje pričakovanj, ki so bila sicer naravnana na zaključek osnovne šole, da naj bi devetletna osnovna šola zmanjšala učinek, ki ga ima izobrazba staršev na bralno pismenost otrok. Sklep V času, ko v slovenskem prostoru beležimo relativno zadovoljive rezultate, ki so jih učenci in učenke ter dijaki in dijakinje dosegli na mednarodno primerljivih ocenjevanjih znanja v IEA raziskavah in raziskavi PISA, in ko tudi že lahko spremljamo trende znanja, je potrebno veliko napora vložiti v natančno in kritično preučevanje šibkih in močnih točk edukacijskega sistema v Sloveniji. Nekatere že opravljene analize kažejo, da je potrebno skrbeti za zmanjšanje nepremišljenih in hitrih posegov v šolski sistem, ki v ozadju nimajo konceptualnih in empiričnih premislekov, ter da je potrebno takoj poiskati ukrepe za ustvarjanje in izboljšanje možnosti, da bi lahko otroci iz socialno prikrajšanjih okolij dosegli boljše rezultate; pripraviti moramo tudi konkretne rešitve, ki bi zvišale in bolj prepoznavno diferencirale standarde znanja na področju bralne pismenosti v prvih letih šolanja ter s tem zmanjšale pritisk na zaključna leta osnovne šole. Med drugim je potrebno omogočiti, da se več let pred vstopom v šolo vključi v vrtec čim več otrok, pri čemer bi morala biti posebna skrb namenjena otrokom, ki prihajajo iz socialno šibkega okolja, in ne nazadnje bi morali več vložiti tudi v izobraževalne priložnosti staršev z majhno količino kulturnega kapitala. Literatura Connolly, P. (2005). Boys and Schooling in the Early Year. London, New York: RoutledgeFalmer. Doupona Horvat, M. (2007). Mednarodna raziskava bralne pismenosti PIRLS 2006. Http://ceps.pef.uni-lj.si/1semin3.html (11. 12. 2007). Doupona Horvat, M. (2008). Nacionalni rezultati PIRLS 2006 (CD). Ljubljana: Pedagoški inštitut. Gaber, S. (2006). Nordijski zov. V: Zakaj Finci letijo dlje? Nova Gorica: EDUCA. Gaber, S. (2007). Spoprijem za hegemonijo ali vaje iz praktične teorije? Sodobna pedagogika 2, 62-80. http://www.iea.nl/mission_statement.html (11. 12. 2007). http://www2.arnes.si/~uljpeins/czue/index.htm - poročilo PIRLS 2001 (11. 12. 2007). Ivelja, R. (2007). PISA 2006: dobri rezultati so lahko boljši. Dnevnik 8. 12. 2007. Marjanovič Umek, L., in Fekonja, U. (2008). Sodoben vrtec: možnosti za razvoj in učenje. Ljubljana: Znanstvenoraziskovalni inštitut Filozofske fakultete. Marjanovič Umek, L., Sočan, G., in Bajc, K. (2006). Šolska ocena: koliko jo lahko pojasnimo z individualnimi značilnostmi mladostnika in koliko z dejavniki družinskega okolja. Psihološka obzorja 15 (4), 25-52. Martin, M. O., Muliss, I. V. S., Gregory, K. D., Hoyle, C., in Shen, C. (2000). Effective Schools in Science and Mathematics. IEA's Third Intrenational Mathematics and Scienece Study. Boston: The International Study Center, Boston College. Milner, J. C. (1992). Dekompozicija naravnih pogledov na šolo. V: Vzgoja med gospostvom in analizo. Ljubljana: Krt. PIRLS (2006). International Report - IEA's Progress in International Reading Literacy Study in Primary Schools in 40 Countries (I. V. S. Mullis, M. O. Martin, A. M. Kennedy, P. Foy). Chestunt Hill, MA: TIMSS & PIRLS Intrenational Study Center, Boston College. PISA (2006 a). Science Competenciesfor Tomorrow's World, Volume 1: Analysis, Paris: OECD. PISA (2006 b). Data/Données, Volume 2. Paris: OECD. Poljanšek, M. (2008). Sola in družbena neenakost - PISA 2006 (neobjavljeno gradivo). Rychen, D. S., in Hersh Salganik, L. (2003). Key Competenciesfor a Successful LIfe and a Well-Functioning Society. Gottingen: Hogrefe&Huber Publishers. Schleicher, A. (2007). Can competecies assessed by PISA be considered the fundamental school knowledge 15-years-olds shoiuld possess? Journal of Educational Change 8, 349-357. Straus, M. (2005). Izvedbeni in doseženi kurikulum za matematiko v višjih razredih osnovne šole med 1995 in 2003. V: Mednarodne primerjalne raziskave v Sloveniji: TIMSS, Solsko polje XVI/1, jesen 2005. Zver, M. (2005). Predstavitev rezultatov raziskave TIMSS na Odboru za kulturo, šolstvo in šport Državnega zbora. Ljubljana: magnetogram seje.