VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA LESTVICAH DOSEŽKOV IZ MATEMATIKE, BRANJA IN NARAVOSLOVJA RAZISKAVE PISA 2006 Gašper Cankar Državni izpitni center, Ljubljana Uvod Programa mednarodne primerjave dosežkov učencev PISA (Programme for International Student Assessment) ni treba posebej predstavljati. V letu 2006 je bila PISA izvedena tretjič; tokrat v obsegu 57 držav in prek 400.000 učencev (OECD, 2007a; Štraus, Repež in Štigl, 2007). Prvič je v raziskavi so- delovala tudi Slovenija in tako skušala v primerjavi svojih rezultatov s pre- ostalimi državami ugotoviti, ali so slovenski učenci in učenke pripravljeni na izzive prihodnosti. PISA vsake tri leta zbira podatke o bralni, matema- tični in naravoslovni pismenosti 15-letnikov v formalnem izobraževanju neodvisno od stopnje ali vrste izobraževanja. V vsakem ciklu raziskave je večji poudarek namenjen eni od treh pismenosti (npr. leta 2006 naravo- slovni, leta 2009 bralni) drugi dve pa sta izmerjeni v manjšem obsegu, kar še vedno zadošča za spremljavo in ugotavljanje trendov. Več kot leto po izvedeni raziskavi so običajno na voljo tudi prve ugo- tovitve in primerjave, ki sprožijo zanimanje raziskovalcev in širše javnosti bodisi v nacionalnih poročilih bodisi v skupnem mednarodnem poročilu (OECD, 2007b; OECD, 2007c). Ker so podatki po končani raziskavi na voljo vsem raziskovalcem, ki jih želijo, in ker želi OECD kar najbolj veljavno pri- merjavo dosežkov, je veliko truda v raziskavi vloženega v skrb za primerlji- vost končnih podatkov. Od sestave nalog, testnih zvezkov in spremljajočih vprašalnikov do prevodov gradiva, vzorčenja učencev, nadzorovanja izved- be, kodiranja in vnosa rezultatov, obteževanja in umerjanja podatkov ter či- ščenja končne baze – v vseh postopkih je zajeta tudi skrb za izpeljavo, ki bo omogočala veljavne in zanesljive primerjave med rezultati različnih držav. ŠOLSKO POLJE LETNIK XX (2009) ŠTEVILKA 1/2 str. 41-53 42 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 V nadaljevanju se bomo osredotočili na delež variance dosežkov sloven- skih učencev med šolami in znotraj šol na lestvici dosežkov iz naravoslovja PISA 2006. Gre za kazalec, ki mu OECD v analizah rezultatov posveča veliko pozor- nost, saj naj bi bil pomemben kazalec uspešnosti šolske politike posamezne države pri zagotavljanju visoke kakovosti in enakih možnosti šolskega sistema. Cilj uspešne šolske politike je na eni strani zagotavljanje visoke ravni do- sežkov vseh učencev ob omejevanju vpliva socialno-ekonomskega konteksta na dosežke na drugi strani, saj slednje lahko pomeni nezmožnost šolskega sistema omogočiti vsem učencem razvoj vseh njihovih kognitivnih potenci- alov (OECD, 2007a). V vsaki državi je razpon dosežkov udeleženih učencev v raziskavi velik, vprašanje pa je, v kolikšni meri so te razlike povezane s šolo, ki jo obiskuje posamezen učenec (Slika 1). Kadar je dosežek učenca v večji meri odvisen od tega, na kateri šoli je, potem (ob predpostavki, da šole ob vpisu dobijo primerljive skupine učencev) obstajajo med šolami razlike, ki učencem s sicer enakimi zmožnostmi onemogočajo enak razvoj vseh svojih potencialov. To je znamenje neenakih standardov znanja po šolah in ogleda- lo neenakosti šolskega sistema. Pogosto so velike razlike med šolami pove- zane tudi z razlikami v socialno-ekonomskem statusu učencev posamezne šole, kar poleg neenakih šolskih standardov znanja po posameznih šolah kaže še na družbeno razslojenost, kjer so določene šole na voljo večinoma le učencem iz družin z višjim socialno-ekonomskim statusom. Slika 1: Shematska primerjava države z večjimi razlikami med šolami (država A) in države z manjšimi razlikami med šolami (država B). Za vpogled v (ne)enakost izobraževalnih pogojev se v raziskavi PISA izračuna kazalec enakih možnosti v šolskih sistemih, izračunan kot delež variance do- sežkov učencev, ki ga lahko pojasnimo z razlikami med šolami, in preostali de- 43 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... lež, ki se predstavlja kot varianca znotraj šol. Države z izrazito nizkim deležem variance med šolami veljajo za tiste, ki s svojim šolskim sistemom omogočajo enakomeren razvoj vsem svojim učencem oziroma jim nudijo enake možno- sti za razvoj svojih potencialov. Za boljšo primerjavo med državami so posa- mezni deleži po državah izraženi kot odstotek glede na povprečno varianco dosežkov učencev v državah OECD. Na ta način je mogoče tudi primerjati, v katerih državah je varianca dosežkov učencev večja in v katerih manjša. Zmanjševanje razlik v dosežkih med šolami v posamezni državi tako kaže na večjo enakost možnosti za izobraževanje, vendar ne zadostuje povsem. Slika 2 nazorno kaže, da zmanjševanje razlik med šolami sicer nakazuje večjo enakost v šolskem sistemu, vendar je obenem pomemben tudi siceršnji povprečni dosežek učencev posamezne države. Poenosta- vljeno povedano, če je pouk na vseh šolah (enako) slab (primer države B na Sliki 2), potem med šolami sicer ni večjih razlik, vendar to ni šolski sis- tem, ki bi spodbujal kakovost in odličnost. Cilj so torej čim manjše razlike v dosežkih šol ob hkratnem visokem skupnem dosežku države – učenci dosegajo visoke dosežke, in to ne glede na dejstvo, katero šolo obiskujejo (država C na Sliki 2). Konkreten primer države v raziskavi PISA 2006 je Finska, ki ima najvišji dosežek na lestvici naravoslovnih dosežkov izmed vseh držav v raziskavi (dosežek 563 točk, povprečje držav OECD je 500 točk), obenem pa ima najnižji delež variance dosežkov, ki predstavlja raz- like med šolami (5,8 %, 1 povprečje držav OECD je 33 %). Majhna raznoli- kost dosežkov šol ob hkratnem visokem dosežku vseh učencev v državi bi tako lahko postavili za »zlati« standard kakovostnega šolskega sistema. Slika 2: Primerjava držav z različnim povprečnim dosežkom in homoge- nosti dosežkov šol 44 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Opis slovenskega vzorca Podobno kot v vseh državah, vključenih v raziskavo PISA 2006, so bili tudi v Sloveniji v raziskavo vključeni učenci, ki so bili rojeni v koledarskem letu 1990 in so bili pri starosti 15 let še vedno vključeni v redno formalno izobraževanje. Ker pa so pri starosti 15 let slovenski učenci večinoma že v srednjih šolah, je bil slovenski vzorec načrtovan tako, da so bile izbrane skupine učencev reprezentativni vzorci za vse učence v Sloveniji, ki obi- skujejo izobraževalne programe splošne gimnazije, strokovne gimnazije, srednji tehniški in strokovni program, srednji poklicni program in nižji poklicni program. Omenjen postopek vzorčenja omogoča primerjave med različnimi izobraževalnimi programi in sklepanje na populacijske vrednosti posameznih statistik. Obenem zaradi ločenega vzorčenja šol v posameznih izobraževalnih programih prihaja do večje raznolikosti šol, kakor če vzorčenje ne bi bilo stratificirano po izobraževalnem programu. Izračun variance dosežkov med šolami in znotraj šol PISA 2006 Executive summary (OECD, 2007a) navaja skupno varianco med šolami in znotraj šol za posamezne države ter deleže obeh varianc, ki jih po- jasnjuje indeks socialno-ekonomskega statusa učencev in šol, sestavljen iz posameznih spremenljivk v raziskavi PISA 2006. Izražena v deležu povpreč- ne variance dosežkov učencev iz držav OECD znaša skupna varianca med šolami za Slovenijo 64,8 %, skupna varianca znotraj šol pa 42,8 % (Slika 3). Za mednarodno primerjavo je tak način izražanja deležev najprimernejši, saj upošteva tudi večjo ali manjšo izhodiščno varianco dosežkov učencev v posamezni državi. Če je npr. vsota obeh deležev manjša kot 100, potem je varianca dosežkov učencev v konkretni državi manjša od povprečne vari- ance dosežkov učencev držav OECD. Če primerjamo le delež variance do- sežkov med šolami in znotraj šol v posamezni državi, pa je laže, če je vsota obeh deležev 100. Če preračunamo oba deleža variance dosežkov sloven- skih učencev, dobimo pri naravoslovju 60,2 % in 39,8 %. Ne glede na način preračunavanja pa je Slovenija s takim rezultatom tretja država po vrsti od skupno 57 držav po velikosti razlik dosežkov med šolami. 45 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... Slika 3: Države z največjim deležem variance med šolami in tiste z največ- jim deležem variance znotraj šol (Vir: OECD, 2007a) Iz mednarodne baze podatkov PISA 2006 smo izbrali želene podatke za Slovenijo ter za analize uporabili računalniško okolje in programski jezik R (R Development Core Team, 2007). Funkcija za modeliranje podatkov (lmer) izvira iz knjižnice lme4 avtorja Douglasa Batesa. Podrobnejša na- vodila za gradnjo ustreznih modelov za analizo hierarhično urejenih po- datkov v okolju R najdemo v priročnikih ustreznih avtorjev (Pinheiro in Bates, 2004; Venables in Ripley, 2002). V vseh primerih so bili uporabljeni osnovni modeli (angl. unrestricted model), pri čemer so bili za izračun de- ležev variance dosežkov v raziskavi PISA uporabljeni večnivojski linearni modeli za multivariatne podatke (Raudenbusch in Bryk, 2003), pri analizi dosežkov nacionalnega preverjanja znanja pa osnovni večnivojski linearni modeli, vsakokrat z ustreznim obteževanjem učencev. Uporabljena je bila metoda največjega verjetja (angl. full maximum likelihood), saj je bila ena- ka metoda uporabljena tudi pri računanju ustreznih parametrov v medna- rodnem poročilu (PISA 2006: Science competencies for Tomorrow's Wor- 46 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 ld, Vol. 1, 2007). Osnovni izračuni deležev v okolju R so bili preverjeni z rezultati, dobljenimi s komercialnim programskim orodjem HLM 6.02. Pri poskusu replikacije skupne variance med šolami in znotraj šol smo dobili rezultate (Preglednica 1), ki sovpadajo s tistimi v mednarodnem poročilu. Razmerje deležev variance dosežkov med šolami in znotraj šol je pri naravoslovju sicer nekoliko drugačno kakor v mednarodnem poro- čilu, in ker tehnično poročilo za raziskavo PISA 2006 še ni objavljeno, ni bilo mogoče preveriti, kje v analizi je prišlo do razlik. Vsekakor pa razlike niso tako velike, da bi popolnoma spremenila ugotovitve analiz. Preglednica 1: Izračun variance v dosežkih učencev na lestvici skupnih dosežkov pri naravoslovju, bralni in matematični pismenosti v razi- skavi PISA 2006 na ravni šol Odvisna spremenljivka Št. učencev Št. šol Delež variance med šolami Delež variance znotraj šol Dosežek pri naravoslovju 6.595 361 66,74 % 33,26 % Dosežek pri branju 6.595 361 73,42 % 26,58 % Dosežek pri matematiki 6.595 361 65,57 % 34,43 % Poleg rezultatov za naravoslovne dosežke smo izračunali tudi razmerja varianc za bralno in matematično pismenost, čeprav slednja v mednaro- dnem poročilu niso navedena. Predvsem pri bralni pismenosti so rezultati zelo ekstremni, saj naj bi skoraj tri četrtine variance dosežkov pojasnjevale razlike med šolami, kar je pokazatelj zelo velikih neenakosti med šolami. Če bi o slovenskem šolskem sistemu sklepali le na podlagi teh podatkov, bi ocenili, da gre za izrazito neenak šolski sistem, ki ponuja učencem zelo neenake možnosti za njihov razvoj, saj so razlike v dosežkih med šolami zelo velike v primerjavi z razlikami v dosežkih znotraj šol. Ker je bil v načrt vzorčenja vključen tudi izobraževalni program kot samostojen stratum, so bile posamezne šole, ki izvajajo več izobraževalnih programov, štete večkrat kot samostojne enote znotraj posameznega izo- braževalnega programa. Posledično se je s tem umetno povečala velikost variance razlik med šolami. V naslednjem koraku smo v model vključili tudi vrsto izobraževalne- ga programa in pogledali, kolikšen delež variance dosežkov učencev pri naravoslovju, branju in matematiki pojasnijo razlike med izobraževalnimi programi, šolami in znotraj njih (Preglednica 2). To ni korekcija, ki bi izni- 47 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... čila učinek stratificiranega vzorčenja, ampak nam le omogoča primerjave šol znotraj (oziroma prečno prek) izobraževalnih programov. V zadnjih dveh stolpcih smo deleža variance med šolami in znotraj šol izrazili rela- tivno brez tistega dela variance, ki je zajet v razlikah med izobraževalnimi programi. Tako lahko ocenimo delež variance, ki predstavlja razlike med šolami znotraj izobraževalnega programa. Preglednica 2: Izračun variance v dosežkih učencev na lestvici skupnih dosežkov pri naravoslovju, bralni in matematični pismenosti v razi- skavi PISA 2006 na ravni izobraževalnih programov in šol Odvisna spre- menljivka Št. učencev Št. šol Delež variance med izobr. progra- mi Delež variance med šolami Delež variance znotraj šol Delež variance med šolami* Delež variance znotraj šol* Dosežek pri naravoslovju 6.595 361 60,26 % 10,75 % 28,99 % 27,06 % 72,94 % Dosežek pri branju 6.595 361 67,76 % 11,53 % 20,71 % 35,76 % 64,24 % Dosežek pri matematiki 6.595 361 56,80 % 12,04 % 31,16 % 27,86 % 72,14 % *Deleža sta preračunana, da skupaj predstavljata 100 %. Delež variance, ki ga predstavlja delitev na izobraževalne programe, je ve- lik, saj pojasni več kot pol celotne spremenljivosti v dosežkih pri matema- tični ali naravoslovni pismenosti in kar dve tretjini spremenljivosti v do- sežkih pri bralni pismenosti. Večji del variance dosežkov učencev je tako odvisen od tega, v katerem izobraževalnem programu so učenci, kar lahko na primeru dosežkov naravoslovne pismenosti vidimo tudi na Sliki 4. 48 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Slika 4: Dosežki učencev pri naravoslovni pismenosti, ločeno za posame- zne izobraževalne programe Levo so prikazani kvantili, desno pa porazdelitve dosežkov. Črta na sredi kvadrata oziro- ma krog na desni sliki predstavljata mediano dosežkov posameznega izobraževalnega programa. Oznake pomenijo: SPL_G – splošne gimnazije, STR_G – strokovne gimnazije, STSP – srednji tehniški in strokovni program, SPP – srednji poklicni program in NPP – nižji poklicni program. (Vir: analiza raziskave PISA 2006 [neobjavljena], PEI, 2008.) Če pogledamo varianco med šolami in znotraj šol v posameznih izobraževal- nih programih v Preglednici 2, lahko vidimo, da je varianca dosežkov med šo- lami relativno veliko manjša glede na varianco znotraj šol. Prej izrazito visoki deleži variance, ki pripadajo razlikam med šolami, so sedaj veliko manjši. Ker ima vsaka država specifičen šolski sistem, ki je v podrobnostih povsem ne- primerljiv z drugimi, ne moremo na podoben način primerjati tudi deležev varianc dosežkov drugih držav in videti, za koliko se spremenijo. Je velik delež variance dosežkov, ki je povezan z izobraževalnimi progra- mi, posledica izbire poklicne poti učencev ali odraz neenakosti šol? Iz podat- kov 15-letnikov, ki so v času testiranja PISA večinoma v prvih letnikih srednjih šol in imajo za sabo nekaj več kot pol šolskega leta, ne moremo sklepati o ne- enakosti srednjih šol v Sloveniji. Njihove razlike v znanju bi težko pripisali raz- likam med pogoji, ki jih nudijo srednje šole, saj so v njih preživeli šele sedem do osem mesecev. Tipična interpretacija kazalca o neenakih možnostih za izobraževanje v raziskavi PISA temelji na predpostavki, da so učenci v šolah, na katerih opravljajo raziskavo in ki so uporabljene pri vzorčenju, že dalj časa 49 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... in je njihov dosežek deloma pogojen tudi z možnostmi, ki jih za njihov razvoj nudi konkretna šola. V primeru slovenskih srednjih šol, kjer se raziskava PISA tipično izvaja, ni tako. Kaj pa neenakost osnovnih šol, v katerih so bili učenci prej? Ali omenjene razlike izhajajo že iz obdobja pred vpisom v srednje šole? V poskusu iskanja odgovora na zgornje vprašanje lahko posežemo po dru- gi vrsti podatkov, ki so prisotni v slovenskem prostoru – dosežkih učencev pri nacionalnem preverjanju znanja (NPZ). V 9. razredu učenci v vseh osnovnih šolah opravljajo nacionalno preverjanje znanja iz treh predmetov: slovenščine, matematike in tretjega predmeta. Preverjanje je za učence devetega razreda obvezno in tako zajame praktično celotno populacijo devetošolcev, s čimer je zagotovljena reprezentativnost dobljenih rezultatov. Taka primerjava je še posebej zanimiva in aktualna zaradi časovne bližine nacionalnega preverjanja znanja in raziskave PISA, saj med eno in drugo mine manj kot leto dni. V Preglednici 3 lahko vidimo deleže variance dosežkov pri posameznih predmetih, ki pripadajo razlikam med šolami in znotraj šol. V analizo so bili poleg slovenščine in matematike vključeni naravoslovni predmeti, ki so bili v letih 2006 in 2007 pri nacionalnem preverjanju znanja izvedeni kot tretji pred- meti. Rezultati dveh let so vključeni za grobo oceno nihanja deležev med leti. Preglednica 3: Izračun deležev variance v dosežkih učencev pri izbranih predmetih nacionalnega preverjanja znanja na ravni šol Predmet Izpitni rok NPZ Število učencev Število šol Delež variance med šolami Delež varian- ce znotraj šol Slovenščina Redni rok 2006 20.689 477 15,90 84,10 Slovenščina Redni rok 2007 19.056 478 15,54 84,46 Matematika Redni rok 2006 20.832 479 13,21 86,79 Matematika Redni rok 2007 19.311 480 13,11 86,89 Biologija Redni rok 2006 20.833 480 10,69 89,31 Fizika Redni rok 2007 4.548 114 13,65 86,35 Kemija Redni rok 2007 4.937 121 20,12 79,88 Vidimo lahko, da so na koncu osnovne šole dosežki učencev znotraj šole tipično bolj pestri kakor razlike med šolami. Delež variance dosežkov učen- 50 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 cev znotraj šol je bistveno višji od deleža, ki pripada razlikam med šolami. Rezultati, dobljeni na podlagi dosežkov NPZ in vzorcu osnovnih šol opa- zno odstopajo od rezultatov, dobljenih v raziskavi PISA 2006, ki vključuje večinoma učence prvih letnikov srednjih šol. Kazalnik raziskave PISA 2006 kaže, da več kot 60 % variance dosežkov učencev pravzaprav izvira iz razlik med srednjimi šolami, medtem ko analize podatkov nacionalnega preverja- nja znanja kažejo, da razlike med osnovnimi šolami predstavljajo le 10–20 % variance dosežkov učencev. Vsekakor lahko glede na rezultate analize do- sežkov nacionalnega preverjanja znanja zaključimo, da so razlike pri dosež- kih za vključene predmete konec devetega razreda med osnovnimi šolami v relativnem smislu majhne v primerjavi z razlikami med dosežki učencev znotraj šol. Še vedno so sicer večje od razlik med šolami v državah, ki so se v raziskavi PISA 2006 na omenjenem kazalcu deleža variance dosežkov zno- traj šol najbolje odrezale (npr. Finska 5,8 %; Islandija 8,9 %), vendar so bi- stveno manjše od kazalnika, ki ga za Slovenijo navaja PISA 2006 (60,2 %). 2 Odstopanje med analizo dosežkov NPZ in prvotnih rezultatov raziskave PISA 2006 nas spodbuja k iskanju možnih razlag za tako veliko razliko. Če v zadnjem razredu osnovne šole najdemo relativno majhne razlike med šolami in tako zaključimo, da je šolski sistem na ravni osnovne šole v Sloveniji do- kaj izenačen v omogočanju enakih možnosti za razvoj posameznikovih po- tencialov, kako potem razlagamo popolnoma drugačno sliko pri leto starejši generaciji učencev v raziskavi PISA? Ker so učenci ob izvedbi raziskave PISA v srednji šoli šele 7–8 mesecev, je veliko bolj verjetno, da je njihova izbira po- klicne poti večji vzrok razlik med šolami kakor znanje, ki so ga učenci dosegli v prvem letniku srednje šole do izvedbe raziskave PISA 2006. Razlike med šolami tako ne odražajo neenakih možnosti za izobraževanje učencev do tre- nutka raziskave PISA, ampak so odraz odločitev o posameznikovi akademski in poklicni življenjski poti, do katerih pride konec osnovne šole (Slika 5). 51 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... Slika 5: Shematičen prikaz, pri katerem se učenci iz (po dosežkih) veliko bolj homogenih osnovnih šol vpišejo na srednje šole, med katerimi so po dosežkih učencev veliko večje razlike Zaključek V primeru Slovenije delež variance dosežkov med šolami in znotraj šol, nave- den v mednarodnem poročilu PISA 2006 (OECD, 2007a), ne odraža stopnje izenačenih možnosti za izobraževanje in ne omogoča veljavne primerjave z drugimi državami. Rezultat je namreč posledica specifičnosti šolskega siste- ma, kjer se učenci konec osnovne šole odločajo o svoji nadaljnji izobraževal- ni in poklicni usmeritvi in se tako slabo leto pred raziskavo PISA razvrstijo na ustrezne srednje šole. Iz razlik med rezultati na ravni osnovnih šol pri nacio- nalnem preverjanju znanja in rezultati na ravni srednjih šol v raziskavi PISA 2006 (Slika 6) je razvidno, da so razlike med šolami posledica dejstva, da se na posamezne srednje šole vpišejo populacije učencev, ki so po svojih dosežkih veliko bolj homogene kakor v osnovnih šolah in so zato razlike med šolami večje. Razlike med šolami je še povečalo dejstvo, da je bila pri vzorčenju šol v raziskavi PISA 2006 zagotovljena reprezentativnost posameznih izobraževal- nih programov. Posledično se stratificiranje vzorca po izobraževalnih progra- mih odraža kot večja variabilnost med šolami v primerjavi z vzorčenjem brez dodanega pogoja o reprezentativnosti izobraževalnih programov. 52 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Slika 6: Primerjava med deleži varianc v raziskavi PISA 2006 in NPZ 2006 in 2007 Opozoriti velja, da so te razlike v vzorčenju rezultat zavestnih odločitev v posameznih državah, ki želijo s podatki omogočiti najrazličnejše primer- jave – v slovenskem primeru gre za primerjave med različnimi izobraže- valnimi programi, ki so v bazi zbranih podatkov opredeljeni kot ločeni stratumi. Omenjene razlike ne vplivajo na reprezentativnost končnega vzorca za vse slovenske učence skupaj, zaradi česar so skupni podatki za Slovenijo popolnoma primerljivi s podatki drugih držav, vplivajo pa ome- njene spremembe prav na razmerja varianc, povezana z razlikami med šolami. Kakovost vzorčenja ni vprašljiva, saj so postopki izvedbe raziska- ve PISA strogi in rigidni in v primeru opaženih odstopanj rezultatov za posamezno državo, v kateri je do odstopanj prišlo, mednarodni center dosežkov posamezne države ne uvrsti v tabele primerjav. Tako npr. v pri- merjavah iz raziskave PISA 2003 v večini primerov manjkajo podatki za Veliko Britanijo, čeprav je v raziskavi sodelovala (OECD, 2004). O neenakih možnostih za izobraževanje v osnovnih šolah na podlagi analize dosežkov nacionalnega preverjanja znanja ne moremo sklepati, kvečjemu nasprotno, vrednosti so manjše od povprečja držav OECD v raziskavi PISA 2006. Odgovorov o neenakih možnostih za izobraževanje v srednjih šolah iz navedenih podatkov ne moremo dobiti, saj bi jih kazalo iskati ob zaključku šolanja v srednjih šolah, pri čemer bi morali izkazane dosežke korigirati vsaj za znanje, ki so ga učenci izkazovali ob vpisu na posamezno šolo in računati t. i. dodano vrednost znanja. Kazalnik enakih možnosti za izobraževanje, ki se izračuna v raziskavi PISA in kateremu je v mednarodnemu poročilu posvečeno celotno poglavje, v pri- meru Slovenije ne daje veljavnih rezultatov, saj tipična interpretacija kazalnika 53 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA ... ne zdrži zaradi rezultatov, ki jih lahko dobimo na celotni populaciji učencev pri nacionalnem preverjanju znanja. Do neke mere bi bilo mogoče v raziskavi PISA izračunati ustreznejši kazalnik, če bi za vsakega učenca poznali osnovno šolo, na kateri je zaključil osnovnošolsko izobraževanje, in bi uporabili pri računanju kazalnika podatek o teh (osnovnih) šolah. Bi pa seveda tak premik sprožil vpra- šanje primerljivosti ustreznih deležev varianc za preostale države, saj so prehodi iz ene stopnje izobraževanja v naslednjo med državami zelo različni, kar one- mogoča primerjave in otežuje izpeljavo enotnega veljavnega kazalnika. Opombe [1] V mednarodnem poročilu PISA 2006 so navedene vrednosti izražene kot odstotek povprečne variance dosežkov učencev v državah OECD. V tej raziskavi so vrednosti preračunane na 100 % (delež variance znotraj šol + delež variance med šolami = 100, saj nas zanima slika znotraj države in ne mednarodna primerjava). [2] V mednarodnem poročilu PISA 2006 so navedene vrednosti izražene kot odstotek povprečne variance dosežkov učencev v državah OECD. V tej raziskavi so vrednosti preračunane na 100 % (delež variance znotraj šol + delež variance med šolami = 100) Literatura OECD, (2004). PISA 2003: Learning for Tomorrow's World, Paris: OECD. OECD, (2007a). PISA 2006: Science competencies for Tomorrow's World Executive summary, Paris: OECD. OECD, (2007b). PISA 2006: Science competencies for Tomorrow's World, Vol. 1: Analysis, Paris: OECD. OECD, (2007c). PISA 2006: Science competencies for Tomorrow's World, Vol. 2: Data, Paris: OECD. Pinheiro, J.C. in Bates, D.M. (2004). Mixed-Effects Models in S and S-PLUS. New York: Springer. R Development Core Team (2007). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0, URL http://www.R-project.org. Raudenbusch, S.W. in Bryk, A.S. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods [druga izdaja]. London: Sage. Štraus, M, Repež, M. in Štigl, S. (2007). Nacionalno poročilo PISA 2006: Naravoslovni, bralni in matematični dosežki slovenskih učencev. Ljubljana: Pedagoški inštitut. Venables, W. N. in Ripley, B.D. (2002). Modern Applied Statistics with S [četrta izdaja]. New York: Springer.