Psiholo.ka obzorja / Horizons of Psychology, 9, 1, 69-78 (2000)* © Dru.tvo psihologov Slovenije 2000, ISSN 1318-187* Znanstveni empirieno-raziskovalni prispevek* Ustreznost vrednotenja znanja pri maturitetnem izpitu izfmatematike#f ANJA POLJAN.EK ¶ Univerza v Ljubljani, Oddelek za psihologijo, Ljubljana* Povzetek: Dijaki lahko maturitetni izpit iz matematike opravljajo na dveh ravneh zahtevnostiç osnovni in vi.ji. Opravljajo ustni in pisni del, pri eemer pisni del na osnovni ravni zajema sam 1 izpitno polo 1, na vi.ji ravni pa .e polo 2. Ocenjevalci se.tejejo toeke, zbrane na posamezni . delih izpita. Na razlienih zahtevnostnih ravneh vsote toek razlieno obte.ijo in sestavijo oceno ¸ za opravljanje izpita na vi.ji zahtevnostni ravni pa dijaki nato prejmejo dodatne toeke. Vprispevku smo na primeru izpita v spomladanskem roku leta 1998 ovrednotili tak naeiU vrednotenja znanja. Preverili smo ustreznost klasienega vrednotenja in obte.evanja posamezni . delov izpita ter veljavnost postopka tvorjenja izpitnih toek. Ugotovili smo, da je klasien 1 vrednotenje znanja na posameznem delu izpita dovolj ustrezno, kar pa ne velja za nadaljnjI pretvarjanje dose.kov na posameznih delih izpita v izpitne toeke o Kljuene besede: matura, merjenje znanja, ravni zahtevnosti, klasieno vrednotenje, teorij a odgovora na postavko, Slovenij a Evaluation of grading in Matura examination in mathematicsf ANJA POLJAN.E . University of Ljubljana, Department of Psychology, Ljubljana, Slovenia* Abstract: Students can choose between two options of Matura examination in mathematicsç basic and higher level. At both levels written and oral exams are taken. The basic-level writteU exam consists only of Paper 1, whereas the higher-level exam consists of Paper 1 and Paper 2 o For each exam, the answers are scored. Using different linear combinations of scores for thI two levels, grades are assigned. Some extra points are later added to higher-level grades o Using data from the 1998 spring examination, we looked into such an assessment and evaluN ated the validity of classical scoring, weighted sums combining, and the score-to-grade transN formation. Although classical scoring seems to have a satisfactory validity, the last two proN cedures need to be improved o Key words: Matura, measurement, difficulty levels, classical test scoring, item-response theory ¸ Sloveni a CC=222y Naslov/address: mag. Anja Poljan.ek, Univerza v Ljubljani, Oddelek za psihologijo, A.kereeva 2, 1000* Ljubljana, Slovenija, e-mail: anja.poljansek@ff.uni-lj.si* # Prispevek je bil predstavljen na 3. Kongresu psihologov Slovenije oktobra 1999 v Portoro.u v simpoziju* .Metodolo.ka vpra.anja slovenske mature.. .tudija je bila izvedena v okviru raziskovalnega projekta* 403-20/97 S17 Ministrstva za .olstvo in .port z naslovom .Evalvacija mature in analiza uspe.nosti* .tudentov na univerzah..* 70fA. Poljan.ek* Uvodf Matura je izpit po zakljueku srednje .ole, kjer so izpitna vpra.anja, merila ocenjevanj a in postopek ocenjevanja v veeji meri zunanji. Maturitetni izpit iz matematike moraj 1 opravljati vsi dijaki, vendar se lahko v skladu s svojimi interesi in sposobnostmi odloeijo ¸ ali bodo izpit opravljali na osnovni ali na vi.ji ravni zahtevnosti (Bahovec, 1996) o Zahtevnostni ravni se razlikujeta predvsem po kolieini znanja (vsebinskem obsegß snovi) in po kakovosti znanja oziroma taksonomskih ciljih (Loreneie, 1995) o Maturitetni izpitni katalog (Bahovec, 1996) doloea, da maturitetni izpit iX matematike obsega pisno in ustno preverjanje znanja. Ocenjevalci toekujejo odgovorI pri posameznih nalogah po vnaprej pripravljeni predlogi. Za vsak del izpita toekI se.tejejo in jih pretvorijo v odstotne toeke. Pri ustnem izpitu odgovarjajo dijaki na trô vpra.anja. Na osnovni zahtevnostni ravni so ta vpra.anja kratka, na vi.ji zahtevnostnô ravni pa sta eno ali dve vpra.anji zahtevnej.i. Dijak lahko na ustnem izpitu zberI najvee 20 odstotnih toek. Preostalih 80 odstotnih toek tvori dose.ek na pisnem delß izpita. Na osnovni zahtevnostni ravni je pisni izpit sestavljen iz ene same izpitne polI (t.i. pole 1), ki vsebuje kraj.e nestrukturirane naloge. Kandidati morajo jasno in korektn 1 predstaviti pot do rezultata z vmesnimi raeuni in sklepi. Primer naloge na poli 1 jI naslednji: .Ee od .tevila b od.tejemo dvakratnik .tevila a, dobimo 2; ee zmanj.am 1 petkratnik .tevila a za (b + 1), pa 6. Izraeunajte .tevili a in b. (Ur.ie, 1997, str. 459) o Pri pisnem izpitu na vi.ji zahtevnostni ravni dijaki poleg pole 1 re.ujejo .e polo 2, kô obsega dalj.e naloge, sestavljene iz kraj.ih povezanih ali nepovezanih delov. Prime . naloge na poli 2 je naslednjiç Trikotnik ABC doloeajo ogli.ea A (5, -3, 1), B (-2, 1, 5) in C (9, 5, 0) o (aÖ Nataneno izraeunajte obseg trikotnika ABC in kot ABC o (bÖ Premica poteka skozi toeko A in je pravokotna na ravnino, v kateri le.i trikotni÷ ABC. Zapi.ite enaebo premice o (cÖ Zapi.ite enaebo ravnine, ki jo doloeajo toeke A, B, C. (Ur.ie, 1997, str. 462Ö Odstotne toeke, zbrane na ustnem in pisnem delu izpita, ocenjevalci se.tejejo v konenI odstotne toeke. Republi.ka maturitetna komisija opredeli merila za pretvarjanje koneni . odstotnih toek v oceno na lestvici od nezadostno (1) do odlieno (5). Pri doloeanjß splo.nega uspeha na maturi se oceni dijakov, ki izpit opravljajo na vi.ji ravni zahtevnosti ¸ kasneje pri.teje dodatno .tevilo toek, in sicer ocenama zadostno (2) in dobro (3) en 1 toeko, oceni prav dobro (4) dve toeki in oceni odlieno (5) tri toeke (Bahovec, 1996) o Dijaki, ki izpit opravljajo na osnovni ravni zahtevnosti, ga tako opravijo z 1, 2, 3, 4 ali â izpitnimi toekami, dijaki, ki izpit opravljajo na vi.ji ravni zahtevnosti, pa z 1, 3, 4, 6 ali . izpitnimi toekami o Vrednotenje znanja matematike na maturi*71f Dosedanje analize maturitetnih izpitov (Kali.nik in Zobec, 1995; Kali.nik iU Drole, 1998; Kali.nik, Drole in Urank, 1998) so se veeinoma ukvarjale s preverjanje . njihove zanesljivosti, objektivnosti, kriterijske veljavnosti, te.avnosti in diskriminativnosti o Zanimivo pa je, da pri izpitih, ki potekajo na razlienih ravneh zahtevnosti, .e nis 1 posku.ale preveriti ustreznosti vrednotenja posameznih nalog, obte.evanja izpitni . delov in pri.tevanja dodatnih toek oceni na vi.ji ravni zahtevnosti o rednotenje znanja na maturi sledi klasieni testni teoriji, saj so konene odstotnI toeke enostaven se.tevek obte.enih toek, dose.enih na posameznih nalogah na razlieni . delih izpita. Alternativo klasienemu vrednotenju dose.kov na testu predstavlj a vrednotenje po teoriji odgovora na postavko (Thissen, 1991; Nunnally in Bernstein ¸ 1994). Tako vrednotenje znanja ne uporablja preproste linearne kombinacije odgovoro . pri razlienih nalogah, pae pa upo.teva vzorec dose.kov na razlienih nalogah. Teorij a odgovora na postavko poudarja, da lahko pri osebah, ki dose.ejo enako vsoto toek ¸ opredelimo razliene ravni latentne sposobnosti oz. znanja (Nunnally in Bernstein, 1994) o Ta teorija upo.teva mo.nost, da lestvica toek pri posamezni nalogi ni nujno intervalna o Zagotavlja bolj.o oceno te.avnosti in diskriminativnosti nalog, kot jo ponujajo klasienI mere (Nunnally in Bernstein, 1994). Vrednotenje znanja dijakov bi bilo lahko ustreznej.e ¸ ee bi namesto klasienega vrednotenja uporabili Samejimin (1969) model za stopnjevanI odgovore, ki izhaja iz teorije odgovora na postavko o Mo.nost opravljanja izpita na razlienih ravneh zahtevnosti prinese s sebo . vpra.anje, kako na skupni merski lestvici veljavno oceniti znanje razliene kakovosti. Vpra.amo se lahko tudi, ali obstojeei model tvorjenja izpitnih ocen omogoea veljavn 1 opredelitev kolieine in kakovosti znanja dijakov. V okviru tega nas je predvsem zanimalo ¸ (i) ali imajo npr. dijaki, ki za izpit na osnovni zahtevnostni ravni prejmejo tri izpitnI toeke, enako znanje matematike kot dijaki z enakim .tevilom izpitnih toek, dose.eni . na izpitu vi.je zahtevnostne ravni, in (ii) ali je na vi.ji zahtevnostni ravni vi.jim ocena . upravieeno pri.tevati vee dodatnih toek kot ni.jim ocenam. V prieujoei raziskavi smo na primeru maturitetnega izpita iz matematike . spomladanskem roku leta 1998 pregledali, (i) kako so se na klasieen naein ovrednotenô dose.ki ujemali z dose.ki, opredeljenimi po teoriji odgovora na postavko, in (ii) kolik 1 znanja so morali dijaki pokazati pri opravljanju izpita na obeh ravneh zahtevnosti, d a so dosegli doloeeno oceno oziroma .tevilo izpitnih toek o Metodaf Dr.avni izpitni center nam je posredoval podatke o uspe.nosti 8559 dijakov n a spomladanskem roku leta 1998. Ker se .tevilo nalog in njihovo toekovanje letno nekolik 1 spreminja, bomo navedli pomembnej.e posebnosti maturitetnega izpita iz matematikI in baze podatkov v tem rokuç 7E A. Poljan.ek (iÖ Baza podatkov je zajemala .tevilo zbranih toek pri nalogah na poli 1, poli 2 in prô ustnem izpitu ter oceno izpita o (iiÖ Na ustnem izpitu so dijaki lahko zbrali najvee 12 toek. Toeke so ocenjevalcô pomno.ili s 5/3 in jih s tem pretvorili na lestvico odstotnih toek. Ee so dijaki n a ustnem izpitu zbrali vse toeke, so dobili 20 odstotnih toek o (iiiÖ Pola 1 je vsebovala 14 nalog, ki so bile toekovane s 5, 6 ali 7 toekami. Dijakô so lahko na tej poli zbrali 80 toek. Pola 2 je vsebovala pet strukturiranih nalog ¸ dijaki pa so izbrali .tiri in pri vsaki dosegli najvee 20 toek, torej skupno najve: 80 toek. Na osnovni zahtevnostni ravni je vsaka toeka na poli 1 ustrezala enô odstotni toeki. Na vi.ji zahtevnostni ravni so ocenjevalci toeke na polah 1 in . pretvorili na lestvico odstotnih toek tako, da so jih pomno.ili z 1/2. Dijaki s 1 lahko na vsaki poli zbrali 40 odstotnih toek o (ivÖ Na vi.ji ravni je izpit opravljalo 7727 (90,3 %), na osnovni pa 832 (9,7 % Ö dijakov. Dijake, ki so izpit opravljali na osnovni ravni zahtevnosti, bomo . nadaljevanju imenovali dijaki OR, tiste na vi.ji ravni zahtevnosti pa dijaki* VR o (vÖ Po merilih Republi.ke maturitetne komisije (Grgurevie, 1998) so bile toeke ¸ zbrane na pisnem in ustnem izpitu, se.tete v konene odstotne toeke iU pretvorjene v ustrezno oceno, kot je prikazano v tabeli 1. Ocenam dijakov VR je bilo nato pri.teto ustrezno .tevilo dodatnih toek. Vsoto ocene in dodatni . toek, izpisano v maturitetnem sprieevalu, bomo imenovali izpitne toeke o Znanje dijakov (latentno sposobnost ali q) smo opredelili s programo . MULTILOG 6.30 (Thissen, 1991). Najprej smo zdru.ili podatke o dose.kih vse . 8559 dijakov na posameznih nalogah pole 1. Po Samejiminem (1969) modelu z a stopnjevane odgovore smo ocenili parametre posameznih nalog pole 1 (diskriminativnoss in meje kategorij), na njihovi osnovi pa znanje vsakega dijaka (imenovali ga bomo q1) o Pri dijakih VR smo nato po enakem postopku znanje ocenili .e na podlagi dose.ko . na poli 2 (to oceno znanja bomo imenovali q) o . Tabela 1. Spodnje meje ocen (v konenih odstotnih toekah).* Zahtevnostna raven Ocena osnovna višja zadostno (2) 37 36 dobro (3) 51 51 prav dobro (4) 65 65 RGOL.QR  80 80 Vrednotenje znanja matematike na maturi*7d Rezultati in razprava V tabeli 2 je prikazano .tevilo dijakov s posameznimi izpitnimi toekami. Dijaki VR s 1 v splo.nem izpit opravili dobro, saj je kar 76,5 % dijakov VR doseglo 6 ali 8 izpitni . toek. Na osnovni ravni zahtevnosti je najvi.ji oceni, t.j. prav dobro (4) ali odlieno (5) ¸ dosegel ni.ji odstotek dijakov, le 32,7 %. Dvema tretjinama dijakov, ki so se odloeili z a opravljanje izpita na vi.ji zahtevnostni ravni, je uspelo pridobiti vi.jo oceno, kot bi j 1 sicer lahko dobili z opravljanjem izpita na osnovni zahtevnostni ravni. Odloeitev z a opravljanje izpita na vi.ji zahtevnostni ravni jim je torej koristila o Preverjanje ustreznosti klasienega vrednotenja izpitaf Po teoriji odgovora na postavko ocenjena raven znanja (q1) je visoko korelirala X vsoto toek na poli 1, r = ,984, t (8557) = 510,9, p = ,000. Na podlagi tega bi lahko rekli ¸ da je bilo pri poli 1 vrednotenje re.itev po klasieni psihometrieni teoriji, torej R se.tevanjem toek, dose.enih pri posameznih nalogah, dovolj ustrezno. Pri testih znanja ¸ ki so enotni za vse dijake, se pogosto poka.e, da q visoko korelira z obieajnim se.tevko . dose.enih toek, oboje pa tudi pribli.no enako visoko korelira z zunanjimi kriteriji, in d a je zato uporaba klasienega vrednotenja zadovoljiva (Nunnally in Bernstein, 1994) o Korelacija vsote toek na poli 2 in ocenjene q je bila nekoliko ni.ja, r = ,837, t (830) = 2 44,1, p = ,000. Majhna razhajanja med klasienim vrednotenjem znanja in vrednotenje . po teoriji odgovora na postavko nakazujejo, da bi morali biti pri vrednotenju pole . morda bolj pozorni na vzorec izbranih nalog in vzorec .tevila dose.enih toek prô posameznih delih nalog o Preverjanje ustreznosti tvorjenja izpitnih toekf Za skupine dijakov OR in VR z doloeenim .tevilom izpitnih toek smo poiskali povpreenI dose.ke v enotah konenih odstotnih toek, povpreene dose.ke na poli 1, poli 2 ter n a ustnem izpitu in povpreene vrednosti ocenjenega znanja (q1). Ta povpreeja so prikazan a v zadnjih petih stolpcih tabele 2 o Skupno so dijaki VR v povpreeju na poli 1 zbrali 63,47 toeke (SD = 10,07), n a poli 2 pa 45,36 toeke (SD = 14,73). Na podlagi primerjave stolpcev MP1 in MP2 . tabeli 2 pri dijakih VR lahko reeemo, da je imela pola 2, ki je vsebovala strukturiranI naloge, vi.jo te.avnost od pole 1. Dose.ka na obeh polah sta bila statistieno pomembn 1 soodvisna, r = ,607, t (8557) = 70,7, p = ,000. Pri dijakih VR lahko 37 % variabilnostô dose.kov na poli 2 pojasnimo z dose.kom na poli 1, kar ka.e, da so bili dose.ki n a obeh polah do neke mere pogojeni s skupnim faktorjem, morda temeljnim matematieni . znanjem. Ostali dve tretjini variabilnosti dose.kov sta bili posledici delovanja specifieni . faktorjev, zato bi morda lahko rekli, da poli nista merili povsem istega znanja. Pola 2 nô bila le podalj.ek pole 1, ampak je merila drugo vrsto ali kakovost znanja kot pola 1. V nadaljevanju se bomo osredotoeili na posamezne izpitne toeke. Iz primerja . 74fA. Poljan.ek Tabela 2. Deskriptivne statistike za posamezne dele izpita na osnovni in vi.ji zahtevnostni* ravni v spomladanskem roku leta 1998.* Ocena Izpitne N M% MP1 MP2 MU Mq1 WR.NG Osnovna raven (dijaki OR) nezadostno (1) 1 907 23,52 14,77 — 8,76 -1,32 zadostno (2) 2 1997 42,58 29,52 — 13,06 -0,92 dobro (3) 3 2299 57,63 42,66 — 14,97 -0,33 prav dobro (4) 4 1890 71,24 54,40 — 16,84 0,26 RGOL.QR  N 5 634 84,88 66,37 — 18,50 0,99 Višja raven (dijaki VR) nezadostno (1) 1 2 9,00 6,25 2,75 0,00 -1,23 zadostno (2) 3 36 43,40 41,53 19,25 13,01 -0,27 dobro (3) 4 157 59,50 54,72 30,77 16,75 0,36 prav dobro (4) 6 378 71,51 63,44 43,31 18,13 0,86 RGOL.QR  N 8 259 85,97 72,27 61,14 19,27 1,55 Op.: Stolpec Izpitne toeke vsebuje se.tevke ocen in dodatnih toek, ki so jih dijaki prejeli za opravljanje izpita* na vi.ji ravni zahtevnosti. M% predstavlja povpreeje konenih odstotnih toek, MP1 povpreeje toek na poli 1 (od* mo.nih 80 toek), MP2 povpreeje toek na poli 2 (od mo.nih 80 toek), MU pa povpreeje toek na ustnem izpitu* (od mo.nih 20 odstotnih toek) pri dijakih z doloeeno oceno oziroma .tevilom izpitnih toek. Mq1 predstavlja* povpreeje latentne dimenzije znanja, ocenjene po postopkih teorije odgovora na postavko na podlagi toek* pri nalogah pole 1.* delnih dose.kov dijakov OR in VR z enakimi izpitnimi toekami bomo posku.alô ovrednotiti veljavnost ocenjevanja znanja. Da bo nazorneje razvidno, koliko znanja s 1 dijaki pokazali na maturitetnem izpitu, si bomo pomagali s sliko 1 o Osredotoeimo se najprej na dijake VR in OR, ki so na maturitetnem izpitu iX matematike dosegli tri izpitne toeke. Dijaki VR so sprva prejeli oceno zadostno (2), te . pa je bila pri.teta dodatna toeka za opravljanje izpita na vi.ji zahtevnostni ravni. Stolpc a 3 in V3 na sliki 1 prikazujeta, koliko toek so dijaki OR in VR s tremi izpitnimi toekamô zbrali na razlienih delih izpita. V povpreeju se dose.ki dijakov VR na poli 1 nis 1 statistieno pomembno razlikovali od dose.kov dijakov OR (Wilcoxonov W = 39672, z* = -0,593, p = ,55). Tudi povpreeje ocenjenih q1 se med skupinama ni pomembn 1 razlikovalo, t (35,4) = 0,67, p = ,51. Na ustnem izpitu so dijaki VR dosegali nekolik 1 ni.je rezultate od dijakov OR, t (2333) = 3,56, p = ,00 (glej tudi tabelo 2). Ker so bilô dijaki VR v dose.kih na poli 1 izenaeeni s sovrstniki OR, lahko razlika v dose.kih n a ustnem izpitu ka.e, da sta bila ustna izpita na obeh ravneh zahtevnosti razlieno te.avna o Dijaki VR so na poli 2 v povpreeju dosegli skoraj eetrtino vseh mo.nih toek o Povzemamo, da so dijaki VR, ki so za izpit prejeli tri izpitne toeke, na poli 1 pokazali enako kolieino znanja kot dijaki OR z enakim .tevilom izpitnih toek. Nekolik 1 slab.e so se odrezali na ustnem izpitu, vendar so po drugi strani zbrali eetrtino toek n a poli 2. Ker je bilo obte.evanje delov izpita pri razlienih zahtevnostnih ravneh razlieno ¸ se je prispevek pole 1 k oceni na vi.ji zahtevnostni ravni skreil na polovico (spomnim 1 se, da je pola 1 na osnovni ravni zahtevnosti predstavljala 80 % ocene, na vi.ji ravnô zahtevnosti pa le njenih 40 %). Na poli 2 so dijaki VR dosegli manj toek kot na poli 1 ¸ zato so se njihove konene odstotne toeke v primerjavi s toekami dijakov OR zni.ale ( . Vrednotenje znanja matematike na maturi*75f tabeli 2 primerjaj konene odstotne toeke pri dijakih s tremi izpitnimi toekami na obe . ravneh). Dijaki VR so tako prejeli oceno zadostno (2). S pri.tevanjem dodatne toekI k tej oceni se je ravno uravnote.ila relativna izguba konenih odstotnih toek, ki jI nastala zaradi manj.e obte.itve dose.ka na poli 1. Z drugimi besedami, dijaki VR, kô so prejeli tri izpitne toeke, niso bili nagrajeni za opravljanje izpita na vi.ji ravni zahtevnosti o Njihova ocena ni upo.tevala toek, ki so jih dodatno zbrali na poli 2 o Naslednji korak je primerjava dijakov OR in VR, ki so prejeli .tiri izpitne toeke o Njihovi dose.ki so predstavljeni na sliki 1 v stolpcih 4 in V4. Podobno kot pri dijakih R tremi izpitnimi toekami tudi pri primerjavi dose.kov dijakov OR in VR s .tirimi izpitnimô toekami zasledimo, da se dose.ki na poli 1 niso statistieno pomembno razlikovali ¸ Wilcoxonov W = 1930456,5, z = -,69, p = ,49, prav tako ne dose.ki na ustnem izpitu, t* (2045) = 0,36, p = ,72. Povpreena ocenjena q1 je bila tokrat v skupini VR nekolik 1 vi.ja od tiste v skupini OR (glej tabelo 2), t (173,4) = 2,79, p = ,01, kar lahko nakazuje ¸ da je pri klasienem vrednotenju znanja na poli 1 pri dijakih z dose.kom okrog 55 toe ÷ pri.lo do majhne izgube informacije. Ob izenaeenosti dose.kov obeh skupin na poli 1 in ustnem izpitu so dijaki VR v povpreeju zbrali .e 38 % mo.nih toek na poli 2. D 1 upada njihovih konenih odstotnih toek je pri.lo na raeun .nizkega. dose.ka na poli 2 ¸ posledica pa je bila ocena dobro (3). S pri.tevanjem dodatne toeke so dijaki VQ maturitetni izpit zakljueili s .tirimi izpitnimi toekami, toliko pa bi jih z izkazanim znanje . Slika 1. Povpreeno .tevilo toek, ki so jih dijaki z razlienim .tevilom izpitnih toek zbrali na* razlienih delih izpita. Prvih pet stolpcev predstavlja dose.ke dijakov, ki so izpit opravljali* na osnovni ravni zahtevnosti, drugih pet stolpcev pa dose.ke dijakov, ki so izpit* opravljali na vi.ji ravni zahtevnosti (v oznakah stolpcev erki V sledi .tevilo njihovih* izpitnih toek). Na poli 1 so dijaki lahko zbrali najvee 80 toek, prav tako na poli 2, na* ustnem izpitu pa najvee 20 toek.* 76fA. Poljan.ek* na poli 1 in ustnem izpitu dobili, tudi ee bi izpit opravljali na osnovni ravni. Dodatn a toeka je torej samo uravnote.ila obte.evanje delov izpita in ni upo.tevala znanja n a poli 2. V nadaljevanju bomo primerjali .e izkazano znanje dijakov iz obeh skupin, ki s 1 izpit zakljueili z enako oceno. Ee se na sliki 1 osredotoeimo na stolpca 4 in V6, lahk 1 primerjamo dose.ke dijakov, ki so izpit na osnovni in vi.ji zahtevnostni ravni opravili X oceno prav dobro (4). Dijaki VR so dosegali vee toek na poli 1 (Wilcoxonov W § 699405, z = -23,31, p = ,00) in na ustnem izpitu (Wilcoxonov W = 528111,5, z = -8,74 ¸ p = ,00), poleg tega pa so na poli 2 dosegli 54 % mo.nih toek. Izpit so zakljueili R .estimi izpitnimi toekami, ker so k oceni prav dobro (4) prejeli .e dve dodatni toeki. 1 pregledom stolpcev 5 in V8 na sliki 1 pa lahko podobno primerjamo .e dijake obe . skupin z oceno odlieno (5). Dijaki VR so v izkazanem znanju presegali dijake OR, sa . so dosegali vi.je rezultate na poli 1 (Wilcoxonov W = 169131, z = -15,28, p = ,00) in n a ustnem izpitu (Wilcoxonov W = 136961,5, z = -6,67, p = ,00), poleg tega so zbrali .e trô eetrtine toek na poli 2. Dijaki obeh ravni z ocenama prav dobro (4) oziroma odlien 1 (5) so bili (zaradi razlienega obte.evanja delov izpita) v konenih odstotnih toeka . izenaeeni, sicer pa so dijaki VR v izkazanem znanju precej presegali dijake OR. Z a opravljanje izpita na vi.ji ravni zahtevnosti so upravieeno prejeli dve ali tri dodatnI toeke. Dodatne toeke pa tokrat niso le uravnote.ile relativne izgube konenih odstotni . toek zaradi obte.evanja delov izpita, ampak so dijake VR tudi nagradile. Tak skle . potrdi primerjava dose.kov dijakov OR s petimi izpitnimi toekami in dijakov VR R .estimi izpitnimi toekami (stolpcev 5 in V6 na sliki 1). Slednji so se nekoliko slab. I odrezali na poli 1 (Wilcoxonov W = 159498,5, z = -7,12, p = ,00) in ustnem izpitß (Wilcoxonov W = 181191, z = -2,43, p = ,02), pa vendar so navsezadnje iz matematikI maturirali z vee izpitnimi toekami. Reeemo lahko, da je v tem primeru dodatna toeka ¸ ki so jo dijaki VR prejeli za opravljanje izpita na vi.ji zahtevnostni ravni, upo.teval a dose.ek na poli 2 o Zakljueekf Ugotovili smo, da postopek vrednotenja znanja znotraj posameznega dela izpita (t.j o se.tevanje toek, dose.enih pri posameznih nalogah) najverjetneje ne predstavlja gro.njI veljavnosti ocenjevanja znanja. Veejo gro.njo predstavlja nadaljevanje postopk a ocenjevanja, in sicer tvorjenje ocene in izpitnih toek. Prvo zajema razlieno obte.evanjI posameznih delov izpita na razlienih ravneh opravljanja izpita, drugo pa pri.tevanjI dodatnih toek oceni na vi.ji zahtevnostni ravni o .tiri izpitne toeke, ki so jih prejeli dijaki VR, niso bile enakovredne .tirim izpitni . toekam pri dijakih OR in podobno je veljalo tudi v primeru treh izpitnih toek. Dijaki VQ so si .e samo za dose.ke na poli 1 in ustnem izpitu zaslu.ili oceno dobro (3) ozirom a prav dobro (4). Pri.tevanje ene same dodatne toeke oceni ni bilo zadostno, saj so sI Vrednotenje znanja matematike na maturi*77f s tem le uravnote.ili ueinki obte.evanja posameznih delov izpita. Uspe.nost n a zahtevnej.em delu izpita, poli 2, v oceni ni bila upo.tevana. Lahko bi celo rekli, da jI bila pola 2 v tem primeru obravnavana kot enostaven podalj.ek pole 1 in ne kot test ¸ ki je bil v izpit na vi.ji ravni uveden s posebnim namenom. Drugaee je veljalo prô dijakih VR, ki so bili na izpitu uspe.nej.i in so dosegli oceno prav dobro (4) ali odlien 1 (5). Pri njih je bil dose.ek na poli 2 primerno vkljueen v koneno .tevilo izpitnih toek o Pola 2 ni bila obravnavana zgolj kot podalj.anje pole 1, pae pa kot test, ki merô kakovostnej.e znanje o Predvidevamo lahko, da dijaki OR na poli 2 ne bi bili tako uspe.ni kot dijaki VR. Dijaki so se namree na doloeeno zahtevnostno raven izpita prijavljali p 1 predmaturitetnem preizkusu, ko so lahko ovrednotili svoje sposobnosti in pripravljenoss na maturo. Ee od dijakov OR, ki so bili na poli 1 izenaeeni z dijaki VR, ne bi moglô prieakovati, da bodo tudi na poli 2 pokazali enako znanje kot dijaki VR, bi bilo dijakom VR, ki so izpit zakljueili s tremi ali .tirimi izpitnimi toekami, povsem upravieeno pri.tetô .e kak.no dodatno toeko o Na vi.ji zahtevnostni ravni je dvomljiva tudi ustreznost dodajanja razlieneg a .tevila toek ocenam. Predvsem pri dijakih z dose.ki na mejah razredov lahko . I majhna sprememba v dose.ku na posameznem delu izpita pomeni precej.nje zni.anjI .tevila izpitnih toek. Ee bi nek dijak VR, denimo, dosegel 18 odstotnih toek na ustne . izpitu, 60 toek na poli 1 in 34 toek na poli 2, bi dosegel 65 konenih odstotnih toek ¸ oceno prav dobro (4) in .est izpitnih toek. Ee bi na poli 2 zbral le dve toeki manj, t.j o 32, bi zbral 64 konenih odstotnih toek, dosegel oceno dobro (3) in .tiri izpitne toeke o Njegovo .tevilo izpitnih toek bi se torej zni.alo kar za dve o Pri pripravi modela vrednotenja znanja na maturitetnem izpitu pri predmetih, kô jih dijaki lahko opravljajo na razlienih zahtevnostnih ravneh, bi bilo morda bolje razmislitô o loeenih ocenjevalnih lestvicah. Izpite bi lahko vrednotili z ocenami od nezadostn 1 (1) do odlieno (5), v sprieevalu pa bi bila poleg ocene zapisana raven opravljanja izpit a (podoben model uporablja Mednarodna matura). Ustreznej.i od modela, uporabljeneg a v letu 1998, se na prvi pogled zdi tudi model brez obte.evanja posameznih delov izpita ¸ kjer bi se.tevek toek, dose.enih na posameznih delih izpita, neposredno pretvorili . izpitne toeke. Pri tem bi toeke pole 1 in ustnega izpita omogoeale doseganje najve: petih izpitnih toek, z dose.kom na poli 2 pa bi se .tevilo izpitnih toek lahko vzpenjalo d 1 osem o Literaturaf Bahovec, I. (ur.). (1996). Maturitetni izpitni katalog 1998 [Matura 1998 catalogue] o Ljubljana: Dr.avni izpitni center o Grgurevie, J. (ur.). (1998). Maturitetno letno poroeilo - Matura 1998 [Matura 1998 annua× report]. Ljubljana: Dr.avni izpitni center o Kali.nik, M., in Drole, R. (1998). Problemi ocenjevanja pri maturi [Grading issues in Matura] o 78A. Poljan.ek* V M. Kali.nik (ur.), Drugi strokovni posvet o maturi (str. 15-22). Ljubljana: Dr.avnô izpitni center o Kali.nik, M., Drole, D. in Urank, M. (1998). Edukometriena analiza ocenjevanja [Educometri ¬ analysis of grading]. V F. Bre.ar (ur.), Notranje vrednotenje mature (str. 35-41) o Ljubljana: Dr.avni izpitni center o Kali.nik, M., in Zobec, U. (1995). Vrednotenje maturitetnih testov [Evaluation of Matura]. VM. Ur.ie (ur.), Prvi strokovni posvet o maturi (str. 21-24). Ljubljana: Republi.kô izpitni center o Loreneie, I. (1995). Ravni zahtevnosti [Levels of difficulty]. V M. Ur.ie (ur.), Prvi strokovni* posvet o maturi (str. 33-35). Ljubljana: Republi.ki izpitni center o Nunnally, J. C., in Bernstein, I. H. (1994). Psychometric Theory (3. izd.). New York: McGrawN Hill o Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores.* Monografija Psychometrika No. 17, 34 (4 pt 2) o Thissen, D. (1991). MULTILOGTM User.s Guide. Chicago, IL: Scientific Software o Ur.ie, M. (ur.). (1997). Zbirka maturitetnih nalog 1995 in 1996 z re.itvami (obvezni* predmeti) [Compendium of the Matura 1995 and 1996 examination questions anB answers: compulsory subjects]. Ljubljana: Dr.avni izpitni center o