NNAPZ

CIONALNO PREVERJANJE ZNANJA

PRIROČNIK ZA UPORABO ORODJA

ZA UGOTAVLJANJE KAKOVOSTI

IZKAZANEGA ZNANJA (OrKa Ric)





PRIROČNIK ZA UPORABO ORODJA

ZA UGOTAVLJANJE KAKOVOSTI

IZKAZANEGA ZNANJA (OrKa Ric) –

Nacionalno preverjanje znanja

Državni izpitni center





Gašper Cankar

Erika Semen

Marina Knežević

Ljubljana, 2020

Matjaž Urank





PRIROČNIK ZA UPORABO ORODJA ZA UGOTAVLJANJE KAKOVOSTI IZKAZANEGA ZNANJA: Nacionalno preverjanje znanja (OrKa Ric verzija 3.1.1)





Avtorji:

dr. Gašper Cankar

Erika Semen

Marina Knežević

mag. Matjaž Urank

Pregled besedila:

Saša Masterl, Ana Radović

Jezikovni pregled:

mag. Bernarda Krafogel

Ilustracija:

Tomaž Verbič Šalamon

Izdal in založil:

Državni izpitni center

zanj dr. Darko Zupanc

Urednica založbe:

Joži Trkov

Računalniško oblikovanje:

Jana Lavtar



https://www.ric.si/preverjanje_znanja/orka/



3. objava

© Državni izpitni center 2020

Vse pravice pridržane. Noben del te knjige ne sme biti reproduciran, shranjen ali prepisan v katerikoli obliki oziroma na katerikoli način, bodisi elektronsko, mehansko, s fotokopiranjem, ali kako drugače, brez predhodnega dovoljenja lastnikov avtorskih pravic.

Program OrKa Ric je nastal v okviru operacije, ki jo sofinancirata Republika Slovenija in Evropska Unija iz Evropskega socialnega sklada. Operacija »Vzpostavitev, dopolnitev in pilotni preizkus modela ugotavljanja in zagotavljanja kakovosti na področju vzgoje in izobraževanja« se izvaja v okviru »Operativnega programa za izvajanje Evropske kohezijske politike v obdobju 2014–2020«, prednostne osi 10: »Znanje, spretnosti in vseživljenjsko učenje«, prednostne naložbe 10.1: »Krepitev enake dostopnosti vseživljenjskega učenja za vse starostne skupine v formalnem, neformalnem in priložnostnem okolju, izpopolnjevanje znanj, spretnosti in kompetenc delovne sile ter spodbujanje prožnih možnosti učenja, vključno prek poklicnega usmerjanja in validiranja pridobljenih kompetenc«, specifičnega cilja 3: »Spodbujanje prožnih oblik učenja ter podpora kakovostni karierni orientaciji za šolajočo se mladino na vseh ravneh izobraževalnega sistema«. Program OrKa Ric deloma izvira iz »Orodja za analizo izkazanega znanja ob zaključku srednje šole« (Urank, M., Zupanc, D., Cankar, G., Orodje za analizo izkazanega znanja ob zaključku srednje šole, verzija 2.3.1. Ljubljana: Državni izpitni center, 2012).



Kataložni zapis o publikaciji (CIP)

pripravili v Narodni in univerzitetni knjižnici v Ljubljani

COBISS.SI-ID=304086272

ISBN 978-961-6899-55-0 (pdf)



KAZALO

1

UVOD . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... ... 1

2

PROGRAM . ... ... .... .... ... .... .... ... ... .... .... ... .... ... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... .. 2

2.1 Namestitev programa . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... 2

2.2 Samodejne nadgradnje programa . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... ... 3

2.3 Vstop v program . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 4

3

MENIJSKA VRSTICA . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... 5

3.1 Analize . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... 5

3.2 Pogled. ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... . 6

3.3 Pomoč . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... . 6

3.4 Administracija . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... 7

3.5 Račun . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... 10

4

UPORABA PROGRAMA . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... 12

4.1 Priprava analiz . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... . 12

4.2 Orodna vrstica . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... . 15

4.3 Prikaz podatkov. ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... 16

5

OSNOVNE ANALIZE . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... 18

5.1 OSNOVNI PODATKI . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... . 18

Namen . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... . 18

Koraki izvedbe . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... . 18

Razlaga tabele z osnovnimi podatki . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... . 19

Usmeritve pri interpretaciji . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... 20

Praktični primer . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 21

5.2 PORAZDELITEV DOSEŽKOV . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... 22

Namen . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... . 22

Koraki izvedbe . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... . 22

Razlaga grafične predstavitve . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... 22

Razlaga predstavitve v tabeli . ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... 24

Usmeritve pri interpretaciji . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... 24

Praktični primer . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... 25

5.3 PRIMERJAVA DOSEŽKOV . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... 26

Namen . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... . 26

Koraki izvedbe . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... . 26

Razlaga analize . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... 27

Usmeritve pri interpretaciji . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... 27

Praktični primer . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 29

5.4 PODATKI PO LETIH. ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... ... 30

Namen . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... . 30

Koraki izvedbe . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... . 30

Razlaga analize . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... 30

Usmeritve pri interpretaciji . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... 31

Praktični primer . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... 32



6

ANALIZE PO NALOGAH . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... .. 34

Namen . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . . 34

Koraki izvedbe . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... . 34

Razlaga tabele v zavihku »Analize« . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... 34

Razlaga zavihka »Graf« . ... ... .... .... ... .... ... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... 37

Razlaga zavihka »Naloga« . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... ... 38

Usmeritve pri interpretaciji . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... 39

Praktični primer . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... 41

7

ANALIZA DODANE VREDNOSTI . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... . 44

Namen . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... ... 44

Koraki izvedbe . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... . 44

Razlaga analize dodane vrednosti . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... . 45

Razlaga zavihka »Graf« . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... 46

Usmeritve pri interpretaciji . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... 48

Praktični primer . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... 49

8

ANALIZE PO MERI . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... ... . ... ... ... .... .... 50

Namen . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... . 50

Koraki izvedbe . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... . 50

Razlaga analize . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... 51

Usmeritve pri interpretaciji . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... 52

Praktični primer . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 53

9

USTVARJANJE SKUPINE . ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... .. 54

10 DOLOČITEV BARVNIH OBMOČIJ . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... 57

11 VELIKOST UČINKA . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... ... 59

12 DODANA VREDNOST . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... . 60

13 REFERENCE . ... ... .... .... ... .... .... ... ... .... .... ... .... ... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... . 64





1 UVOD

Priročnik, ki je pred vami, skuša pomagati uporabnikom računalniškega programa OrKa Ric (Orodje za ugotavljanje kakovosti izkazanega znanja, ki ga je izdelal Ric – Državni izpitni center) tako pri tehničnih kot pri vsebinskih vprašanjih glede pravilne in smiselne rabe programa. Namenjen je učiteljem, ravnateljem in šolskim administratorjem znotraj posamezne osnovne šole in temu primerno skuša biti poljuden, kratek in nazoren ter z vsem tem – uporaben.

Ric je podobno programsko orodje za srednje šole razvil že leta 2007 in ga prenovil leta 2014. Kmalu je bilo mogoče tudi v osnovnih šolah zaznati željo po orodju, ki bi omogočalo veliko lažjo pripravo podrobnejših analiz in bi tudi po vsebinski plati olajšalo delo s podatki o izkazanem znanju znotraj posamezne osnovne šole in v vsej Sloveniji. Ideja je sčasoma pridobila podporo, prepotrebne vire, in se končno začela uresničevati v okviru operacije, financirane iz Evropskega socialnega sklada, »Vzpostavitev, dopolnitev in pilotni preizkus modela ugotavljanja in zagotavljanja kakovosti na področju vzgoje in izobraževanja«.

Program je zasnovan tako, da omogoča učiteljem in ravnateljem iz dosežkov nacionalnega preverjanja znanja (NPZ) kot dodatne informacije o znanju učencev in iz šolskih ocen ob koncu leta za svojo osnovno šolo pridobiti vsebinsko relevantne podatke, ki jih lahko s pridom izkoristijo pri analizah in izboljšanju šolske prakse. Pri tem sledi dosedanjim smernicam Rica za analizo dosežkov NPZ in jih v mnogih pogledih opredeljuje podrobneje in bolj uporabno.

V veliki meri so na možnosti v programu vplivale izkušnje Rica pri delu s šolami, saj so težave in vprašanja šol ob analizah dosežkov NPZ in ob pripravah ugotovitev ter načrtov za izboljšave pokazali, kaj bi bilo najbolj uporabno in zaželeno, da program zna in zmore. Vseh želja v danih okvirih seveda ni bilo mogoče uresničiti, se bo pa Ric trudil, da bo nadaljnji razvoj programa upošteval potrebe šol in sistema tudi v prihodnje.

Program OrKa Ric se umešča v širše polje ugotavljanja in zagotavljanja kakovosti v slovenskem šolskem prostoru. Z

omogočanjem lažje in učinkovitejše obdelave podatkov velikemu številu uporabnikov na vseh šolah na eni strani zvišuje uporabnost dosežkov NPZ, na drugi pa šolam v njihovih procesih kakovosti nudi objektivne in natančne podatke, ki jim lahko služijo pri načrtovanju izboljšav v učnem procesu. S svojo zasnovo sledi tudi standardom in kazalnikom kakovosti za šole v nacionalnem okviru ugotavljanja in zagotavljanja kakovosti vzgoje in izobraževanja, saj šolam ponuja zanesljive podatke za uporabo v procesih samoevalvacije.

Po doslej izvedenih preverjanjih in testiranjih program deluje stabilno in pravilno, seveda pa ne moremo izključiti možnosti, da vsebuje tudi kakšnega hrošča. Veseli bomo, če nam sporočite zaznane nepravilnosti, pa tudi predloge za izboljšave, saj želimo, da bi bil program uporaben za kar največje število ravnateljev in učiteljev v šolah in bo tako pripomogel k izboljšanju šolske prakse in izkazanemu znanju slovenskih učencev.

Dr. Gašper Cankar





1





2 PROGRAM

Program OrKa je pripomoček za ugotavljanje in zagotavljanje kakovosti dela na šoli. Uporabnikom ponuja preprost vpogled v dosežke učencev pri NPZ na šoli in v Sloveniji. Omogoča tudi primerjave dosežkov: učencev na šoli z vrstniki v Sloveniji, med oddelki ali učnimi skupinami znotraj šole, po letih ipd. V šoli lahko za svoje učence pripravite analize po nalogah, pogledate posamezno nalogo z rešitvijo in digitalizirane odgovore učencev. Tako ugotavljate močna in šibka področja v znanju učencev. V programu je na voljo tudi analiza dodane vrednosti, ki meri napredek v znanju učencev od 6. do 9. razreda.

2.1 Namestitev programa

Namestitvena datoteka je na spletnih straneh eRica, na naslovu: https://eric.ric.si/.

Dostop do strani z osnovnimi informacijami o programu in z namestitveno datoteko je za ravnatelja ali z njegove strani pooblaščene osebe prek področja »Nacionalno preverjanje znanja«. Po prijavi na spletno stran s šifro svoje šole in svojim geslom izberite menijsko točko »Program OrKa« .





Učitelji si lahko namestitveno datoteko prenesejo prek neposredne povezave: https://eric.ric.si/programi/orka_namestitev.exe.





2





Namestitveno datoteko orka_namestitev.exe prenesite v poljubno mapo na vašem računalniku. Po prenosu datoteko zaženite z dvoklikom in sledite navodilom za namestitev, kjer izberete mapo, v katero se bo namestil program. Priporočamo, da pri tem obdržite privzeto nastavitev. Po namestitvi je ena bližnjica do programa na namizju, druga pa v meniju »Zagon« (oz. »Start«)1. Bližnjica se imenuje »OrKa«. Ob namestitvi se na računalnik shrani tudi priročnik za uporabo programa (v obliki pdf).

Ta je dostopen tudi v programu OrKa, če na spustnem sezamu menijske točke »Pomoč« izberete »Vsebina« in javni spletni strani: https://www.ric.si/preverjanje_znanja/orka/.

2.2 Samodejne nadgradnje programa

Za primere popravkov in izboljšav program omogoča samodejno nadgradnjo. To možnost vam ponudi, kadar program pri vstopu zazna, da na spletu obstaja nova različica:

− če so spremembe v programu tako velike, da ni več mogoče uporabljati vaše trenutne različice v povezavi z obstoječim sistemom podatkovnih baz na Ricu, program od vas zahteva obvezno nadgradnjo. Dokler je ne sprejmete, programa ne morete uporabljati;

− če so spremembe oziroma izboljšave programa manjše, lahko nadgradnjo zavrnete in še naprej uporabljate obstoječo različico.

Če izberete nadgradnjo programa, se najprej zapre program OrKa, takoj za tem pa se sproži program za namestitev najnovejše različice. Med namestitvijo program izpisuje potek prenosa datoteke iz spletnega strežnika na Ricu. Po prenosu celotne datoteke vam progam sporoči, da je bil prenos nove različice uspešen. Program Orka se po namestitvi zažene samodejno.





1 V meniju »Zagon« (oz. »Start«) lahko tudi odstranite program OrKa.



3





2.3 Vstop v program

Uporabniki morajo imeti pred vstopom omogočen dostop do programa OrKa. Ric omogoča dostop šolskemu administratorju, ta pa drugim uporabnikom na šoli (ravnatelju in učiteljem). Uporabniki bodo o dostopu obveščeni z elektronskim sporočilom na njihov e-naslov.

Pri vstopu v program morate biti povezani v internet.

Po zagonu programa se prikaže okno, ki omogoča povezavo do podatkovnih baz Rica. Najprej izberete področje zunanjega preverjanja. Izbirate lahko med:

− nacionalnim preverjanjem znanja (N – NPZ),

− splošno maturo (M – splošna matura) in

− poklicno maturo (P – poklicna matura).

Področji za splošno in poklicno maturo trenutno še nista na voljo.





Vpišite uporabniško ime (vaš e-naslov) in geslo, ki sta enaka za vsa področja zunanjega preverjanja. Po kliku na gumb »Potrdi« se program poveže s strežnikom Rica in preveri, če imate pravico za dostop do podatkovne baze za izbrano področje, uporabniško ime in geslo. Če se pri vnosu zmotite, vam program sporoči napako in ponudi ponovni poskus. Program pri povezavi tudi preveri, ali obstaja novejša različica. Če vaša različica ni najnovejša, vam ponudi možnost samodejne nadgradnje. Ko opravite vse zgoraj omenjene korake, vstopite v program OrKa.

Pred prvim vstopom v program se odpre okno s pogoji uporabe, ki jih morate prebrati in na koncu označiti svoje soglasje (obkljukate kvadratka, ki se nahajata na koncu besedila). Za uporabo programa morate soglašati tako s hrambo vašega e-naslova kot tudi s pogoji, ki jih za uporabo programa določa Ric. Pogoje uporabe si lahko kadarkoli kasneje preberete znotraj programa Orka (v zavihku »Račun«) in tudi umaknete svoje soglasje.

Če ste geslo pozabili, si novega pridobite s klikom na Pozabljeno geslo.





4





3 MENIJSKA VRSTICA

V menijski vrstici so zavihki: »Analize«, »Pogled«, »Pomoč«, »Administracija«, »Račun« in »Izhod«. Nekatere menijske funkcije lahko uporabljajo samo šolski administratorji, večina pa je dostopna tudi učiteljem in drugim uporabnikom programa.





Zavihki v menijski vrstici:

− »Analize«: pokaže analize v programu;

− »Pogled«: določa, kako so okna razporejena na zaslonu;

− »Pomoč«: opisuje vsebino programa in pove, v okviru česa je ta nastal;

− »Administracija«: omogoča urejanje dostopa uporabnikom programa (dostopno samo za šolske administratorje);

− »Račun«: pokaže podatke o uporabniku in omogoča spreminjanje gesla za vstop v program;

− »Izhod«: zapre program.

Več o teh zavihkih je napisano v poglavjih, ki sledijo.

3.1 Analize

Program ponuja te analize:

»Osnovne analize« združujejo štiri najpreprostejše preglede dosežkov učencev pri NPZ.

1. Osnovni podatki omogočajo primerjavo povprečnih dosežkov šole in Slovenije.

2. Porazdelitev dosežkov ponuja grafični in tabelarični prikaz dosežkov NPZ v odstotnih točkah za posamezni predmet.

3. Primerjava dosežkov odgovarja na vprašanje, katerih učencev (glede na njihove izkazane dosežke) je bilo v šoli več/enako/manj v primerjavi z vsemi učenci v Sloveniji.

4. Podatki po letih omogočajo primerjavo povprečnih odstotnih točk pri predmetu med leti in na ta način spremljanje trendov dosežkov.

»Analize po nalogah« omogočajo podroben vpogled v naloge in postavke, ki sestavljajo preizkuse NPZ.

»Analize dodane vrednosti« merijo napredek v znanju učencev od 6. do 9. razreda na posamezni šoli v primerjavi z vsemi učenci s primerljivimi dosežki v Sloveniji.

»Analize po meri« omogočajo pripravo in prikaz več nizov podatkov hkrati in s tem večjo fleksibilnost pri pripravi analiz.





5





3.2 Pogled

V tem zavihku upravljate z odprtimi okni v programu.

»Privzeti pogled« omogoča, da se vsa okna vrnejo v prvotno obliko, »Odprta okna« pa prikazujejo seznam vseh odprtih oken v programu.



3.3 Pomoč

V zavihku »Pomoč« so uporabniku na voljo informacije o programu Orka.

V menijskem razdelku »Vsebina« si uporabnik lahko pogleda Priročnik za uporabo programa ter Opise dosežkov, ki so objavljeni na spletni strani Rica.





S klikom na izbiro »O programu« je opisan projekt, znotraj katerega smo na Ricu razvili program Orka.





6





3.4 Administracija

Z administracijo se uporabnikom določa dostop do programa OrKa. Ric omogoča dostop šolskemu administratorju2, ki edini na šoli ureja podatke v meniju »Administracija«.

Navodila za ravnatelja

Šolski administrator je strokovni sodelavec šole, ki ravnatelju in učiteljem na šoli ureja dostop do programa OrKa in do spletne aplikacije e-banka nalog. Imenuje ga ravnatelj šole, ki njegov e-naslov vpiše v obrazec »Podatki o izvajalcu NPZ z izpisanimi podatki«. Obrazec je na spletni strani eRic, v oknu »Spletne aplikacije«: Obrazec »Podatki o izvajalcu NPZ z izpisanimi podatki« (eRic/SPLETNE APLIKACIJE) Ravnatelj vpiše e-naslov šolskega administratorja v obrazec pod naslov »Šolski administrator za program OrKa in e-banko nalog«.





Potrdi ga s klikom na gumb »Shrani in natisni za svoj arhiv«. Ob potrditvi Ric omogoči šolskemu administratorju dostop do programa OrKa in e-banke nalog, ki ob tem prejme samodejno generirano sporočilo.





2Šolski administrator za e-banko nalog je tudi administrator za program OrKa.



7





Navodila za šolskega administratorja

Po prijavi v program kliknite na zavihek Administracija v menijski vrstici.





Odpre se zavihek »Preglej uporabnike«. V levem delu okna je seznam3 z uporabniški imeni, v desnem pa so prikazani predmeti NPZ. Vsem uporabnikom (tudi sebi) omogočite dostop do analiz v programu OrKa tako, da v levem oknu najprej označite uporabnika, nato v desnem oknu s kljukico označite enega ali več predmetov NPZ, do katerih naj uporabnik dostopa. Svojo izbiro potrdite s klikom na »Potrdi«. Uporabnik bo ob tem prejel samodejno generirano sporočilo z obvestilom o dostopu do programa OrKa; v stolpcu »Orka aktivirana« se pojavi kljukica.





Priporočamo, da učitelju omogočite dostop

do predmeta, ki ga poučuje.



Če uporabnika ni na seznamu v zavihku »Preglej uporabnike«, odprite zavihek »Dodaj uporabnika«. V polje

»Uporabniško ime« vpišite e-naslov uporabnika in ga potrdite s klikom na »Dodaj uporabnika«. Uporabnik bo ob kliku na »Dodaj uporabnika« prejel samodejno generirano sporočilo z obvestilom o dostopu do programa.





3 Ob uvedbi programa OrKa smo uporabniška imena vseh uporabnikov e-banke nalog na šoli prenesli v program OrKa.



8





Nato odprite zavihek »Preglej uporabnike«. V levem oknu označite uporabnika, ki ste ga dodali na seznam, in nato v desnem oknu s kljukico označite enega ali več predmetov. S klikom na »Potrdi« uporabniku omogočite dostop do izbranih predmetov.

Uporabnika dodajate na seznam v zavihku »Dodaj uporabnika«,

predmete pa mu določate v zavihku »Preglej uporabnike«.



Uporabnika lahko s seznama v zavihku »Preglej uporabnike« tudi izbrišete. Kliknite na okence za izbris uporabnika (rdeča vodoravna črtica). Odpre se okno, v katerem lahko izbirate med dvema možnostma: uporabniku lahko izbrišete dostop do OrKe in e-banke nalog za nacionalno preverjanje znanja ali pa mu izbrišete uporabniški račun (za uporabnika so izbrisani vsi podatki).





Če uporabnik krši pogoje uporabe programa Orka, mu lahko šolski administrator onemogoči uporabo programa tako, da ga deaktivira.

Razlaga orodne vrstice

Zavihek »PREGLEJ UPORABNIKE« (levo okno)

Gumbi za premikanje po uporabnikih:



prvi zapis, prejšnji zapis, naslednji zapis, zadnji zapis.



Izbriše uporabnika.



Deaktivira uporabnika (tj. uporabniku onemogoči uporabo programa).

Zavihek »PREGLEJ UPORABNIKE« (desno okno)



Označi s kljukico vse predmete na seznamu.



Odstrani kljukice pri označenih predmetih na seznamu.



Omogoči uporabniku dostop do označenih predmetov.





9





3.5 Račun

»Račun« omogoča pregled pogojev uporabe programa, pokaže podatke o uporabniku in omogoča spreminjanje gesla za vstop v program.



Pogoji uporabe programa

V menijskem razdelku »Pogoji uporabe programa« lahko uporabnik pregleda pogoje, pod katerimi Ric dovoljuje uporabo programa. Na dnu okna sta tudi dve kljukici. S prvo uporabnik skladno z GDPR soglaša, da Ric hrani podatek o njegovem e-naslovu in ga uporablja za upravljanje z uporabniškim računom. Z drugo uporabnik sprejema pogoje uporabe. Če uporabnik odstrani soglasje za hrambo e-naslova (odstranita se obe kljukici) in shrani spremembo, se mu ukine njegov uporabniški račun za program Orka in e-banko nalog. Če uporabnik ne sprejema pogojev uporabe programa (odstrani drugo kljukico) in shrani spremembo, programa Orka več ne more uporabljati.

Podatki o uporabniku

Podatki pokažejo uporabniško ime, vlogo uporabnika (učitelj ali šolski administrator), šifro šole, kjer uporabnik poučuje, področje zunanjega preverjanja (N – NPZ, M – splošna matura, P – poklicna matura), in predmete, do katerih uporabnik lahko dostopa.





10





Sprememba gesla

Priporočilo je, da uporabniško geslo spremenite po prvi prijavi v program. V polje »Staro geslo« vpišite obstoječe geslo, v polje »Novo geslo« pa geslo po svoji izbiri. Novo geslo naj vsebuje vsaj 10 znakov (vsaj eno malo in eno veliko črko ter vsaj eno številko). S klikom na

lahko geslo skrijete oz. ga pokažete.





11





4 UPORABA PROGRAMA

V tem poglavju spoznate, kako se analize pripravijo in kako so prikazani podatki.

4.1 Priprava analiz

Izbira analize

Analizo lahko izberete na dva načina:

1. S klikom na izbrano analizo v zavihku »Analize« v menijski vrstici (dostop prek menijske vrstice).





2. Z neposrednim klikom na ikono, ki prikazuje posamezno analizo (hitri dostop).



Odpre se okno s šifro šole in iskalnimi pogoji.



Ko se okno odpre, je šifra šole vidna. Skrijete jo tako, da odkljukate okence »Skrij šifro šole«.

Uporabnikom, ki do programa ne dostopajo prek šole, se šifra šole ne pokaže, izvajajo pa lahko samo analize za učence v Sloveniji.



12





Iskalni pogoji

Z iskalnimi pogoji določite podatke, ki jih želite prikazati v analizah. V nadaljevanju so opisani pogoji, ki se pojavljajo najpogosteje: razred, rok in predmet. Ostali, bolj specifični, so pojasnjeni pri posameznih analizah.

Iskalne pogoje določite hkrati za Slovenijo in za šolo; za slednjo lahko izbirate tudi med različnimi skupinami učencev.

Razred

Izbirate lahko med 6. ali 9. razredom. Ta pogoj je obvezen pri vseh analizah in ga je treba določiti najprej, saj so nanj vezani drugi iskalni pogoji (npr. predmet NPZ).

Rok

Označuje leto in razred opravljanja NPZ. S klikom na gumb

se odpre okno »Izberi rok«. Na seznamu označite

rok in svojo izbiro potrdite s klikom na »Potrdi«.





Pri šifri roka sta prvi dve števki oznaki za leto opravljanja NPZ, tretja števka pa označuje razred, v katerem se je ta izvajal (1 = 9. razred, 6 = 6. razred). Primer: rok 171 predstavlja NPZ 2017 v 9. razredu, primer rok 166 pa NPZ 2016 v 6. razredu.

Če je seznam dolg, lahko rok poiščete tako, da v polje »Vnesi iskalne pojme«

vnesete ključno besedo s seznama.





13





Predmet

Označuje predmet, do katerega vam je dodeljen dostop. S klikom na gumb se odpre okno »Izberi predmet«.

Na seznamu označite predmet, nato kliknite gumb »Potrdi«. Izbira predmeta se pojavlja samo pri določenih analizah.





Izbira učencev

Z iskalnim pogojem »Izberi učence« lahko izberete skupino učencev na šoli.





Privzeta nastavitev je »Vsi učenci«, kar pomeni, vsi učenci vaše šole.





Izbira »Po dodatnih pogojih« omogoča prikaze po spolu in oddelku.





»Skupina« predstavlja skupino učencev, ki ste jo za izbrani rok ustvarili predhodno (glej poglavje »9 Ustvarjanje skupine«).





14





4.2 Orodna vrstica

Gumbi, ki se pojavljajo pri večini analiz:

ISKALNI POGOJI



Odpre spustni seznam.



Odpre novo okno s seznamom vseh možnih izbir.



Izbriše izbrani pogoj.



Izvede analizo in prikaže podatke.

TABELA





Shrani v Excel.



Kopira izbrane vrstice.

GRAF



Kopiranje



Urejanje



Tiskanje



Shranjevanje slike



Opozorilo, da se do dodatnih nastavitev pride z desnim klikom na graf.





15





4.3 Prikaz podatkov

Ko določite vse iskalne pogoje, kliknite na »Prikaži podatke«. Podatki se prikažejo v tabeli in/ali na grafu.



Graf

Vsak graf je opremljen z naslovom in oznakama osi x ter y. Nekateri grafi imajo tudi podnaslov in legendo.

Na samem grafu obstaja več možnosti za prikazovanje in urejanje podatkov. Opisane so tiste, ki se pojavljajo najpogosteje. Ostale so opisane pri analizah, pri katerih se pojavljajo.

① Ikone nad levim delom grafa so: kopiranje, urejanje, tiskanje in shranjevanje slike. Za kopiranje grafa v drug program kliknite gumb »Kopiraj«, nato odprite poljubni program in ga prilepite. S klikom na gumb »Uredi« se odpre okno, v katerem lahko urejate graf. Če želite graf natisniti, kliknite gumb »Natisni«. Odpre se okno s predogledom, kjer imate možnost urejanja grafa pred tiskanjem. Graf shranite s klikom na gumb »Shrani«.

② S spustnega seznama izberite podatke, ki jih želite prikazati na grafu.

③ S spustnega seznama izberite vrsto grafičnega prikaza (opcija je možna samo pri nekaterih grafih).

④ Z desnim klikom na graf odprite seznam možnosti za dodatno urejanje grafa.





16





Tabela

① V levem zgornjem kotu tabele je podatek o številu vrstic v tabeli. Poleg sta gumba za izvoz podatkov v Excel in za kopiranje.

Če želite tabelo kopirati, najprej kliknite na eno vrstico v tabeli.

Nato na tipkovnici pritisnite Ctrl+a (Ctrl držite in istočasno pritisnite tipko a), potem Ctrl+c, odprite poljubni dokument in vanj prilepite vsebino.



②P rikaz podatkov v tabeli lahko prilagodite. Podatke lahko uredite padajoče ali naraščajoče s klikom na ime stolpca, po katerem želite razvrstiti podatke. Puščica navzdol ali navzgor pokaže, kako so podatki urejeni (padajoče, naraščajoče).

Ko se s kazalcem miške postavite na ime stolpca, se v zgornjem desnem vogalu pojavi znak

. S klikom

③

nanj se pokaže seznam vseh vrednosti, ki so trenutno prikazane v tem stolpcu. Podatke filtrirate tako, da označite kvadratek pred vrednostmi. Opcija »Po meri« ponuja možnost ustvarjanja lastnega filtra z dvema kriterijema hkrati.



Opcija »Vsi« vrne prikaz v prvotno stanje. Vse ustvarjene filtre, ki vplivajo na prikaz tabele, lahko vidite v levem spodnjem kotu tabele. Izklopite jih s klikom na križec.

④P od imeni stolpcev znotraj tabele je polje »Iskanje«, ki omogoča hitro filtriranje. V izbrano polje vpišite želeno vrednost in v tabeli se prikažejo samo vrstice s tem podatkom.

⑤ V nekaterih tabelah niso prikazani vsi stolpci. Prikažete jih tako, da kliknete na zvezdici pred prvim stolpcem.

Odpre se seznam z vsemi stolpci. Označite tiste, ki jih želite prikazati v tabeli.

Če ima tabela dve zvezdici, lahko z zgornjo izklopite več stolpcev, s spodnjo pa posamezne stolpce.





17





5 OSNOVNE ANALIZE

Osnovne analize ponujajo šolam različne primerjave med dosežki učencev na šoli in dosežki vseh učencev v državi. Obenem dajejo vpogled v doseganje ciljev in standardov, ki so določeni z učnimi načrti in so šolam v pomoč pri ugotavljanju močnih in šibkih področij v znanju učencev.

5.1 OSNOVNI PODATKI

Namen

Z analizo »Osnovni podatki« izvemo, pri katerih predmetih se je v določenem letu preverjalo znanje učencev z NPZ v 6. oziroma v 9. razredu. Dobimo tudi odgovor, koliko je bilo prijavljenih in udeleženih učencev, ter povprečni dosežek in standardni odklon (oboje v odstotnih točkah).

Osnovni podatki omogočajo primerjavo povprečnih dosežkov šole in Slovenije.

Koraki izvedbe

1. Kliknite gumb »Osnovne analize«.

2. Odpre se zavihek »Osnovni podatki«.

3. V iskalnih pogojih določite »Razred« in »Rok«. Če želite dobiti osnovne podatke za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«.

4. Kliknite gumb »Prikaži podatke«.

Odpre se tabela »Osnovni podatki«.





18





Razlaga tabele z osnovnimi podatki

Tabela prikazuje, iz katerih treh predmetov se je v določenem roku na šoli preverjalo znanje pri NPZ. S povprečjem v odstotkih je predstavljen povprečni dosežek učencev na preizkusu, ki je izražen v odstotnih točkah glede na največje možno število točk (100 %). Standardni odklon kaže razpršenost odstotnih točk okrog povprečnega dosežka. Razlika med številom prijavljenih in udeleženih pove, koliko učencev se pri predmetu ni udeležilo preverjanja.

Podatke lahko pripravite za vse učence v Sloveniji, za vse učence na šoli in za skupino učencev na šoli.





Stolpci v tabeli:

− »Rok« označuje leto in razred opravljanja NPZ.

− Predmet pri NPZ opredeljujeta stolpca »Oznaka predmeta« in »Ime predmeta«.

− »Št. prijavljenih« je število učencev, ki so bili prijavljeni k NPZ.

− »Št. udeleženih« je število učencev, ki so opravljali NPZ.

− »Povprečje (%)« je povprečni dosežek v odstotnih točkah za preizkus.

− »Std. odklon (%)« kaže razpršenost odstotnih točk okrog povprečnega dosežka v odstotnih točkah; višja vrednost standardnega odklona predstavlja večjo razpršenost okrog povprečja.

Šifro šole skrijete tako, da odkljukate

Če želite prikazati podatke samo za predmete NPZ

okence »Skrij šifro šole«.

na vaši šoli, odstranite kljukico pri »Vsi predmeti«.





19





Usmeritve pri interpretaciji

Osnovne podatke potrebujemo, ko bi radi hitro izvedeli, kolikšen je bil dosežek učencev pri določenem predmetu na šoli in v Sloveniji.

Razmislite, ali ste pričakovali boljši ali slabši dosežek svojih učencev, ki ga prikazuje statistika povprečni dosežek. V

pomoč pri razmisleku so vam lahko primerjave povprečnih dosežkov. Če je povprečni dosežek na šoli višji od državnega, so vaši učenci v povprečju pokazali več znanja pri NPZ kakor učenci v Sloveniji. In nasprotno, če je ta nižji, so učenci vaše šole v primerjavi z vsemi učenci v Sloveniji v povprečju pri NPZ pokazali manj znanja.

Ne primerjajte dosežkov NPZ med predmeti, ker so ti vsebinsko zelo raznoliki!



Višji standardni odklon na šoli kakor v Sloveniji nakazuje, da so učenci na šoli po znanju bolj raznoliki.

Bodite pozorni na število učencev na šoli (oz. število v skupini).

Če je število majhno (< 20), so lahko statistike nezanesljive, saj je možnost napake zaradi vpliva naključja velika. Okvirno naj velja, da so rezultati analize pri manj kot 20-ih učencih le orientacijskega pomena. Če je število učencev še nižje (10 ali manj), pa rezultati sploh niso uporabni, saj so hitro lahko zavajajoči.



Število neudeleženih pri NPZ se lahko po šolah in predmetih razlikuje. V šoli si odgovorite na vprašanje, kateri so razlogi za odsotnost učencev (bolezen, neopravičen izostanek, druge dejavnosti, npr. tekmovanja itd.).





20





Praktični primer

Z NPZ se je na šoli v 9. razredu preverjalo znanje učencev iz matematike, slovenščine in angleščine. Razlika med številom prijavljenih pri vseh treh predmetih (78) in številom udeleženih pove, da se NPZ iz angleščine ni udeležilo 14 učencev, iz matematike 6 in iz slovenščine 9 učencev. Povprečni dosežek šole je pri slovenščini primerljiv z državnim, pri angleščini je opazno nižji, pri matematiki pa opazno višji (pri obeh je velikost učinka večja od 0,3; glej poglavje »11 Velikost učinka«). Višja standardna odklona pri angleščini in slovenščini, na šoli kot v Sloveniji, nakazujeta, da so učenci pri teh dveh predmetih po znanju bolj raznoliki na šoli kakor v Sloveniji.





21





5.2 PORAZDELITEV DOSEŽKOV

Namen

Porazdelitev dosežkov omogoča razporeditev dosežkov NPZ v odstotnih točkah za posamezni predmet od najnižjega do najvišjega. V grafičnih predstavitvah so označena obarvana območja, ki predstavljajo znanje, ki ga v teh območjih izkazujejo učenci v Sloveniji.

Koraki izvedbe

1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«.

2. Izberite zavihek »Porazdelitev dosežkov«.

3. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Če želite dobiti porazdelitev dosežkov za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«.

4. Kliknite gumb »Prikaži podatke«.

Odpre se zavihek »Graf« s porazdelitvijo dosežkov učencev v Sloveniji.

Kliknite na zavihek »Tabela«. Prikažejo se podatki za izris grafa.

Razlaga grafične predstavitve

Grafična predstavitev prikazuje dosežke učencev v odstotnih točkah pri NPZ, razvrščenih od najnižjega do najvišjega (tj. od 0 % do 100 %). Za vsak dosežek je z višino stolpca prikazano število učencev z enakim dosežkom pri preizkusu. Število je zapisano tudi v pravokotniku nad stolpcem. Navpični črti na grafu označujeta povprečni dosežek učencev v Sloveniji in povprečni dosežek učencev na šoli.





22





Porazdelitev dosežkov prikažemo v tabeli in na grafu; v obeh za učence v Sloveniji in za učence na šoli .



V grafični predstavitvi za Slovenijo so z barvami označena štiri območja: zeleno, rumeno, rdeče in modro. V

vsakem območju je okoli 10 % učencev: v zelenem so po dosežkih učenci okoli meje spodnje četrtine, v rumenem so učenci iz sredine, rdeče območje označuje učence okoli meje zgornje četrtine, v modrem pa je 10 %

najuspešnejših. Učenci v zelenem območju so dosegli nižje število odstotnih točk kakor učenci v rumenem območju, učenci v modrem območju pa so dosegli višje število odstotnih točk v primerjavi z učenci v rdečem območju (glej poglavje »10 Določitev barvnih območij«).

Opise območij (oz. znanja, ki ga ti predstavljajo) za posamezni predmet pripravijo predmetne komisije in so opisani v publikaciji »Opisi dosežkov«.

Obarvana območja v grafični predstavitvi za šolo obsegajo enake intervale odstotnih točk kakor za Slovenijo.

Učenci šole v teh območjih lahko izkazujejo druga znanja kakor njihovi vrstniki v Sloveniji, zato opisov na državni ravni ne moremo posplošiti na šolsko raven.

Bodite pozorni na to, da opisi veljajo samo za obarvana območja v grafični predstavitvi za Slovenijo!





23





Razlaga predstavitve v tabeli

S klikom na zavihek »Tabela« se dosežki pokažejo v tabeli. Tabela prikazuje število učencev z določenim številom odstotnih točk v preizkusu.

Stolpec »Odstotne točke« predstavlja dosežke NPZ v odstotnih točkah, ki so razporejeni po velikosti od najnižjega do najvišjega. Stolpca o številu učencev povesta, koliko učencev je pri NPZ doseglo določeno število odstotnih točk; eden je za učence na šoli, drugi pa za učence v Sloveniji.





Stolpci v tabeli:

− »Odstotne točke« so dosežki NPZ, ki so razporejeni po velikosti od najnižjega do najvišjega (tj. od 0 % do 100 %);

− »Št. učencev na šoli« pove, koliko učencev na šoli je pri NPZ doseglo določeno število odstotnih točk. Če pri grafu v iskalnih pogojih izberete »Skupina«, ta stolpec predstavlja »Št. učencev v skupini«;

− »Št. učencev v Sloveniji« pove, koliko učencev v državi je pri NPZ doseglo določeno število odstotnih točk.

Usmeritve pri interpretaciji

Porazdelitev prikazuje razporejenost dosežkov učencev na preizkusu od najnižjega do najvišjega. Uporabimo jo takrat, ko želimo za predmet izvedeti, koliko učencev je doseglo določeno število odstotnih točk.

Vprašajte se, ali je število učencev na šoli (oz. v skupini) z določenim številom odstotnih točk višje ali nižje od pričakovanega.

Na grafu porazdelitve dosežkov za Slovenijo (spustni seznam »Slovenija«) vidimo, kje se nahajajo obarvana območja. Gre za izbrana področja porazdelitve, za katere državne predmetne komisije pripravijo opise znanja (vir: Opisi dosežkov). Opisi dosežkov izpostavljajo močna in šibka področja v znanju določene skupine učencev na državni ravni. Opisi učitelju tudi omogočajo preprost vpogled v vsebine, ki jim je treba pri poučevanju nameniti globljo pozornost.

Opisi so pripravljeni kot splošno vodilo pri ugotavljanju vsebine znanja učencev.

Za ugotavljanje močnih in šibkih področij v znanju učencev na šoli (oz. skupini) mora učitelj opraviti analizo dosežkov učencev po nalogah.





24





Praktični primer

Porazdelitev na šoli je nekoliko pomaknjena v desno. Najvišji dosežek (98 %) je dosegel en učenec in najnižjega (6

%) ravno tako en učenec. Vseh učencev na šoli je 37. Od teh je 1 v zelenem, 4 v rumenem, 8 v rdečem in 10 v modrem območju. Glede na razpršenost dosežkov pri NPZ so si učenci šole po znanju zelo raznoliki.





Z grafa porazdelitve dosežkov za Slovenijo je razvidno, da se državno povprečje nahaja v rumenem območju dosežkov. Iz opisa dosežkov (vir: Opisi dosežkov učencev 9. razreda pri NPZ) lahko sklepamo, da pri matematiki tipični učenec v Sloveniji s 65 % verjetnostjo »zapiše potenco negativnega decimalnega števila, množi ulomek z negativnim decimalnim številom. Reši geometrijski problem v povezavi s ploščinami danih likov. Zapiše verjetnost dogodka. Reši enačbo z ulomkom. Preveri rešitev dane enačbe. Poenostavi algebrski izraz s kvadratom dvočlenika 25





in zmnožkom vsote ter razlike enakih členov. Z uporabo podatkov s slike izračuna prostornino in površino pravilne enakorobe štiristrane piramide.«

Povprečje šole je nekoliko višje od državnega, kar pomeni, da v povprečju učenci na šoli znanje, značilno za rumeno območje, najverjetneje izkazujejo z nekaj večjo verjetnostjo kot 65 %. Razvidno je tudi, da povprečje šole ne dosega rdečega območja, torej da v povprečju učenci šole z nižjo verjetnostjo kot 65 % izkazujejo znanje, ki je značilno za rdeče območje: »Učenci zapišejo številski izraz po besedilu. Zapišejo razmerje dveh količin.

Ekvivalentno preoblikujejo linearno enačbo z ulomkom. V danem zaporedju decimalnih števil prepoznajo pravilo in zapišejo manjkajoči člen. Rešijo geometrijski problem s preoblikovanjem dveh pravokotnih trikotnikov v ploščinsko enake like ter izračunajo obseg in ploščino. V strategiji reševanja preprostega besedilnega problema iz vsakdanjega življenja uporabijo odstotni račun. Uporabijo obrazec za izračun površine piramide.«

5.3 PRIMERJAVA DOSEŽKOV

Namen

Primerjava dosežkov odgovarja na vprašanje, katerih učencev (glede na njihove izkazane dosežke) je bilo na šoli več/enako/manj v primerjavi z vsemi učenci v Sloveniji.

Koraki izvedbe

1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«.

2. Izberite zavihek »Primerjava dosežkov«.

3. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Če želite dobiti primerjave dosežkov za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«.

4. Kliknite gumb »Prikaži podatke«.

Odpre se zavihek »Graf« s primerjavo dosežkov učencev na šoli in v Sloveniji.

Kliknite na zavihek »Tabela«. Pokažejo se podatki za izris grafa.





26





Razlaga analize

Celoten razpon dosežkov (100 odstotnih točk) pri posameznem predmetu se razdeli na določeno število enakih intervalov (privzeto imajo intervali na začetku po 10 odstotnih točk). Nato program izračuna delež učencev na šoli in v Sloveniji, ki imajo dosežek v posameznem intervalu. Možni sta dve varianti prikaza podatkov: primerjava šole in Slovenije, kjer v posameznem intervalu primerjamo stolpca z deleži za šolo in Slovenijo, in razlika med šolo in Slovenijo, kjer stolpci prikazujejo, za koliko odstotkov je delež učencev na šoli v posameznem intervalu večji, manjši ali enak od deleža učencev v Sloveniji v istem intervalu. Pri slednjem prikazu oznake vrednosti prikazujejo poleg razlike v odstotkih tudi število učencev na šoli (Š) in v Sloveniji (D) v posameznem intervalu.





Usmeritve pri interpretaciji

Če analiza »Osnovni podatki« omogoča primerjavo povprečnih dosežkov šole in Slovenije, analiza »Primerjava dosežkov« omogoča podrobnejšo primerjavo po intervalih dosežkov. Učenci na šoli namreč niso nujno porazdeljeni enako kot v Sloveniji; na nekaterih delih porazdelitve jih je lahko več, drugje manj. Primerjava hitro pokaže, na katerih delih porazdelitve je učencev na šoli (relativno) več kot v Sloveniji in kje jih je (relativno) manj.

Večji delež učencev v intervalih z višjim številom odstotnih točk na šoli pomeni, da je na šoli večji delež učencev z višjim dosežkom pri NPZ kot v Sloveniji. Seveda je ob interpretaciji podatkov treba upoštevati kontekst, ki zajema tako značilnosti učencev, zajetih v analizo, kot tudi značilnosti šolske prakse na tej šoli v preteklem obdobju. Le z upoštevanjem vseh dejavnikov je mogoče soditi o vzrokih za opažene dosežke in ugotavljati, v kolikšni meri se v dosežkih odraža sistematično delo na šoli in v kolikšni meri individualne značilnosti učencev izbranega leta.





27



Pri interpretaciji moramo biti pozorni na število učencev na šoli, ki so vključeni v analizo, – če je učencev malo, lahko posamezni učenec predstavlja več odstotkov in razlike glede na deleže učencev v državi se lahko spreminjajo skokovito. Pri manjšem številu učencev je bolj smiselno izbrati manjše število intervalov (npr. velikost intervala 20), dobljene dosežke pa upoštevati zgolj informativno.

Pri manjšem številu učencev izberite večjo širino intervala,

saj bo tako v posameznem intervalu več učencev.





28





Praktični primer

V šoli so pri analizi primerjav po dosežkih dobili ta graf.





Z grafa na sliki lahko v šoli razberete, da je bilo pri matematiki v intervalih dosežkov od 21–40 in od 41–60

odstotnih točk precej manj učencev kot v Sloveniji, posledično pa je bilo več učencev na šoli v intervalih od 61–80

in od 81–100 odstotnih točk. Večji delež učencev v intervalih visokih in najvišjih dosežkov je vsekakor dober rezultat, saj je na šoli večji delež učencev z višjim dosežkom pri NPZ.

Podatki, prikazani v grafu, so na voljo v zavihku »Tabela«. Tam je navedeno tako število učencev kot odstotek v posameznem intervalu za šolo (oziroma skupino na šoli, če je izbrana) in za vso Slovenijo. Zadnji stolpec prikazuje razliko med odstotki na šoli in v Sloveniji.





29





5.4 PODATKI PO LETIH

Namen

Analiza »Podatki po letih« omogoča primerjavo povprečnih odstotnih točk pri predmetu med leti in na ta način spremljanje trendov dosežkov. Pove nam, kako se je gibal povprečni dosežek, in nas usmerja v razmišljanje o vzrokih za opažene spremembe med leti.

Koraki izvedbe

1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«.

2. Izberite zavihek »Podatki po letih«.

3. V iskalnih pogojih določite »Razred«, izberite vse roke, za katere bi radi spremljali dosežke, in »Predmet«.

4. Kliknite gumb »Prikaži podatke«.

Odpre se zavihek »Graf« s primerjavo povprečnih odstotnih točk po letih med šolo in Slovenijo.

Kliknite na zavihek »Tabela«. Pokažejo se podatki za izris grafa.

Razlaga analize

Analiza omogoča prikaz štirih različnih grafov: »Šola (povprečje)«, ki za izbrana leta prikazuje povprečno število odstotnih točk pri posameznem predmetu na šoli; »Slovenija (povprečje)«, ki za izbrana leta prikazuje istovrstne podatke na ravni vse države; »Šola in Slovenija (povprečje)«, kjer sta oba prejšnja prikaza združena na isti sliki, in

»Odklon«4, ki prikazuje standardizirane razlike med šolskim in slovenskim povprečjem odstotnih točk.





4 Odklon se izračuna tako, da se od šolskega povprečja odstotnih točk odšteje slovensko povprečje odstotnih točk tistega leta.

Razliko se deli s standardnim odklonom dosežkov za tisto leto v Sloveniji. Razlike za vsa vključena leta v analizi se pomnoži nazaj s konstanto, ki je prečni standardni odklon za vsa vključena leta (koren povprečne variance odstotnih točk).



30





S tem ko so razlike standardizirane, se izniči vpliv nihanj v razpršenosti porazdelitev med posameznimi leti, posledično so primerjave ustreznejše. Poleg grafov je v analizi na voljo tudi tabela, kjer lahko dobimo vse podatke, uporabljene v štirih grafih: število udeleženih učencev in povprečje (%) na šoli, število udeleženih učencev in povprečje (%) v Sloveniji in odklon.

Usmeritve pri interpretaciji

Pri interpretaciji se moramo zavedati, da preizkusi pri NPZ med leti niso neposredno primerljivi. Isto število doseženih odstotnih točk v različnih letih ne predstavlja nujno popolnoma enakega znanja, saj trenutni način sestave zunanjih preizkusov tega ne omogoča. Poleg tega moramo pri večletnih primerjavah upoštevati tudi spremembe v strukturi preizkusa ali v učnih načrtih, do katerih je lahko prišlo v posameznih letih.

Pri interpretaciji dosežkov iz različnih let se moramo vprašati o Okvirne smernice za interpretacijo

značilnostih posameznih generacij učencev, razlikah v izvedbi učnega velikosti učinka:

procesa v različnih letih in razlikah v strukturi preizkusov. Preplet vseh 0,2 – majhen učinek

treh vrst dejavnikov vpliva na opažene dosežke, zato moramo biti pri 0,5 – opazen (srednje velik) učinek

interpretaciji previdni. Da lahko iz podatkov izluščimo ugotovitve o 0,8 – velik učinek

večletnih trendih, je smiselno v analizo vključiti od 4 do 6 zaporednih rokov NPZ, pri ocenjevanju velikosti razlik pa si lahko pomagamo z izračunom velikosti učinka5.





5 Uporaba velikosti učinka za oceno velikosti razlik je opisana v poglavju »11 Velikost učinka«.



31





Če v primerjavi po letih izberete »Odklon«, lahko primerjate tudi isto generacijo pri različnih predmetih. Za vsak predmet (slovenščina, matematika, tretji predmet) izrišete primerjavo po letih (izberete ista leta). Odkloni za posamezno leto vam pokažejo, kako se je ista generacija učencev izkazala pri različnih predmetih. Če so razlike zelo velike (npr. ista skupina učencev je pri dveh predmetih izrazito nadpovprečna, pri tretjem pa podpovprečna), potem je to lahko izhodišče za razpravo o dejavnikih, ki vodijo do teh dosežkov.

Pri analizah za 6. razred upoštevajte, da pred letom 2013 (rok 136) opravljanje NPZ ni bilo obvezno. Udeležba je bila na državni ravni sicer visoka (80–85 %), kar pa ne velja nujno za posamezne šole.

Če imate na šoli druge večletne podatke, ki bi jih radi opazovali skupaj z dosežki NPZ, potem tabelo s podatki shranite v Excel, kjer lahko dodate svoje stolpce in podatke potem prikazujete skupaj.



Praktični primer

V šoli so za NPZ v 9. razredu, med leti 2012 in 2017, pri matematiki dobili graf, ki prikazuje odklon.





Rezultati kažejo, da so se dosežki pri NPZ iz matematike v 9. razredu med leti od 2012–2014 na šoli gibali okoli slovenskega povprečja – kakšno leto malo pod, drugič nad povprečjem. V zadnjih letih, od 2015 dalje, lahko vidimo stalne nadpovprečne rezultate.





32



Čeprav preizkusi med leti niso neposredno primerljivi, odkloni jasno kažejo, da je šola po dosežkih sedaj tipično nad slovenskim povprečjem, pred letom 2015 pa je bila s svojimi dosežki okoli državnega povprečja.

Statistični interpretaciji mora sedaj slediti vsebinska – kaj so razlogi za opaženi trend? Gre za nekaj zaporednih

»boljših« generacij učencev ali se je v zadnjih letih spremenil pouk? Se je zamenjal kak učitelj, je učbenik za matematiko drug, ali učitelji v nižjih razredih sedaj učijo drugače? Kontekst, v katerem deluje šola, je zunanjim opazovalcem običajno neznan in najbolje si lahko na ta vprašanja odgovorijo le v šoli sami.

Odgovor na vprašanje, ali so opažene razlike izrazite, srednje ali mogoče povsem zanemarljive, ni preprost.

Statistike običajno omogočajo izračun statistične pomembnosti razlik, kar pa ni nujno vedno primerljivo s praktičnim pomenom. Zelo okvirno je mogoče velikost razlik ocenjevati s pomočjo velikosti učinka (več o velikosti učinka je napisano v poglavju 11). Toda če opažene odklone v zgornji analizi delimo z državnimi standardnimi odkloni za ustrezna leta (v zavihku »Osnovni podatki«), dobimo velikosti učinka in lahko uporabimo okvirne smernice za interpretacijo. Zaključek je podoben – odkloni med leti 2012 in 2014 predstavljajo zanemarljive razlike, v zadnjih letih pa so te izrazitejše.

Pri razumevanju, ali so opažene razlike velike,

si lahko pomagamo z izračunom velikosti učinka.





33





6 ANALIZE PO NALOGAH

Namen

Analize po nalogah pokažejo podatke, s katerimi učitelj lahko dobi vpogled v vsebinske vidike znanja svojih učencev in primerjavo tega znanja z vsemi učenci v Sloveniji. Na ravni postavk dajejo tudi vpogled v konkretne (digitalizirane) odgovore posameznih učencev.

S stališča vsebinske analize je ta zavihek najmočnejše orodje v programu, saj omogoča ugotavljanje močnih in šibkih področij v znanju učencev.

Analize po nalogah omogočajo ugotavljanje močnih in šibkih področij v znanju učencev.



Koraki izvedbe

1. Kliknite gumb »Analize po nalogah«. Odpre se zavihek »Priprava podatkov«.

2. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Med učenci šole izberite eno od treh ponujenih možnosti:

− vse učence,

− učence po dodatnih pogojih (glede na spol oziroma oddelek),

− skupino učencev, ki ste jo za izbrani rok ustvarili predhodno.

3. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Analize«.

4. Kliknite na zavihek »Graf«. Pokaže se slika, ki prikazuje primerjavo indeksa težavnosti po nalogah in postavkah na državni in na šolski ravni.

5. Kliknite na zavihek »Naloga«. Pokaže se naloga, ki ste jo označili v zavihku »Analize«.

Razlaga tabele v zavihku »Analize«

Tabela prikazuje statistične in vsebinske podatke za naloge in postavke v preizkusu. Statistični podatki so izračunani za učence v Sloveniji (stolpci SLO) in za učence na šoli (stolpci Šola6). Vsebinski podatki opisujejo lastnosti nalog, ki jih za vsako nalogo v preizkusu določi predmetna komisija.



6 V stolpcih »Šola« so podatki za tiste učence šole, ki ste jih predhodno določili v iskalnih pogojih (zavihek »Priprava podatkov/Izberi učence«).



34





① Podatke v tabeli lahko prilagajate:

− Podatke za naloge, postavke ali oboje skupaj izberete s spustnega seznama »Prikaži: Naloge in postavke«.

− Tabelo shranite s klikom na »Shrani tabelo«.

− Odgovore učencev za posamezno postavko pogledate s klikom na »Ogled slike«.

− Vsebinske podatke skrijete tako, da odstranite kljukico v okencu »Vsebinski podatki«.

② Razlaga stolpcev:

− »Preizkus« označuje enega ali več testov (P1, P2 …). Običajno je na seznamu samo P1.

− V stolpcih »Naloga« in »Postavka« so zapisane oznake za naloge in postavke iz navodil za vrednotenje.

− Stolpci s statističnimi podatki za naloge in postavke dajejo informacijo o merskih značilnosti nalog in postavk:

• »Točke (možne)« je najvišje možno število točk;

• »Št. učencev« je število učencev, ki so reševali nalogo/postavko;

• »Točke (povp.)« je povprečno število absolutnih točk;

• »Std. odklon« kaže razpršenost okrog povprečnega števila absolutnih točk;

• »Indeks težavnosti« je težavnost naloge/postavke in označuje Std. odklon in indeks ločljivosti

relativni povprečni dosežek pri nalogi. Vrednost 1 kaže lahko nalogo sta na prikazu skrita. Prikažete ju

(rešili so jo vsi), vrednost 0 pa zahtevno nalogo (rešil je ni nihče); tako, da kliknete na zgornjo

• »Razlika« se izračuna tako, da se od indeksa težavnosti za šolo zvezdico pred prvim stolpcem in

odšteje indeks težavnosti za Slovenijo;

ju označite na seznamu.

• »Indeks ločljivosti« pove, kako dobro naloga ločuje uspešnejše učencev od manj uspešnih glede na njihov dosežek v preizkusu. Višji kot je indeks, bolje naloga razlikuje učence po uspešnosti.

− Stolpci »Vsebinski podatki« predstavljajo lastnosti nalog, ki se lahko po predmetih razlikujejo. Vsem skupna značilnost je barvno območje (stolpec »Območje težavnosti«), ki je določeno za vsako postavko v preizkusu in zavzema pet različnih vrednosti: zeleno, rumeno, rdeče, modro in nad modrim. Območja težavnosti povedo, iz katerega »najnižjega« obarvanega območja so učenci, ki v Sloveniji postavko rešujejo z uspešnostjo nad 65 %.





35





Razlaga gumba »Ogled slike«

»Ogled slike« omogoča vpogled v odgovore učencev šole pri posamezni postavki. Znanje učencev je tako predstavljeno s konkretnimi primeri, ki kvalitativno opisujejo močna in šibka področja v njihovem znanju.

Odgovore učencev si pogledate tako, da najprej s spustnega seznama izberete »Postavke« (①). Nato označite eno od postavk v tabeli in kliknite na »Ogled slike« (②). Odpre se okno »Prikaz postavke za učence«.





V oknu »Prikaz postavke za učence« je v levem delu tabela, v desnem pa slika postavke.





V tabeli so za posameznega učenca zapisane skupne točke (absolutne in v odstotkih), poleg katerih je obarvan krožec. Če je ta zelen, si učenčev odgovor lahko ogledate. Z rdečim krožcem pa so označeni odgovori, ki jih na Ricu optično ne beremo, zato slike postavk niso na voljo (npr. odgovori učencev s posebnimi potrebami).





36





Razlaga zavihka »Graf«

Na grafu so s stolpci predstavljeni indeksi težavnosti za naloge (oz. postavke). Za vsako postavko sta prikazana dva stolpca: eden je za učence na šoli, drug pa za učence v Sloveniji. Če je stolpec za šolo višji od stolpca za Slovenijo, so učenci šole, v primerjavi z vsemi učenci v državi, postavko reševali uspešneje. Na grafu lahko prikazujemo več statistik: indeks težavnosti, povprečne točke, standardni odklon in indeks ločljivosti. Statistiko izberemo s spustnega seznama »Graf«.





37





Razlaga zavihka »Naloga«

Okno prikazuje tisto nalogo z rešitvijo, ki je označena v zavihku »Analize«. V okencu »Predmet« sta zapisana ime predmeta in datum preverjanja z NPZ, v okencu »Preizkus/Naloga« pa zaporedna številka naloge v preizkusu.





Razlaga orodne vrstice:

Gumb za premikanje po nalogah: prvi zapis, prejšnji zapis, naslednji zapis, zadnji zapis.



Odpre nalogo v Wordu.



Odpre rešitev v Wordu.



Odpre prilogo v Wordu.



Označite, če želite na zaslonu prikazati rešitev.



Označite, če želite, da se rešitev na zaslonu prikaže desno od naloge.



Poveča sliko na zaslonu





38





Usmeritve pri interpretaciji

Zavihek »Analize« daje podroben vpogled v naloge in postavke preizkusa, saj so te opremljene z vrsto statističnih in vsebinskih podatkov (npr. vsebinsko področje, tip naloge, taksonomska stopnja, obarvano območje ipd.).

Omogočen je tudi njihov prikaz z rešitvijo in prilogami (zavihek »Naloga«) ter odgovori učencev šole (v slikah) na posamezno postavko (gumb »Ogled slike«)

Če želite izvedeti, katere postavke so učenci reševali najuspešneje in katere najmanj uspešno, jih v zavihku

»Analize« razvrstite po indeksu težavnosti za šolo; postavke z najvišjim indeksom je rešil največji delež učencev, postavke z najnižjim indeksom pa najmanjši delež. Pri posamezni postavki poglejte tudi odgovore učencev (op.

kliknite gumb »Ogled slike«); razmislite, ali so njihovi odgovori pri postavki v skladu z vašimi pričakovanji, npr. ali je bila pri pouku obravnavana učna snov, ki je zajeta v nalogi (sploh ne, površinsko, poglobljeno ipd.), ali so učenci vajeni reševati naloge takega tipa, ali se dosežki učencev pri NPZ po postavkah ujemajo z izkazanim znanjem istih učencev pri pouku, ipd.

Relativen vpogled v znanje učencev šole pridobite tako, da po postavkah primerjate njihove dosežke z dosežki vrstnikov v Sloveniji. Primerjavo omogočata indeksa težavnosti za šolo in za Slovenijo ter njuna razlika. Pozitivna razlika pomeni, da so učenci na šoli postavko reševali uspešneje kakor učenci v državi, če pa je ta negativna, so jo uspešneje reševali učenci v državi.

Odstopanja za vse postavke lahko pogledate tako, da jih s klikom na stolpec »Razlika« razvrstite od npr. največje pozitivne do največje negativne razlike (v prvi vrstici je postavka, pri kateri so bili učenci šole v povprečju najuspešnejši v primerjavi z njihovimi vrstniki v Sloveniji, v zadnji vrstici pa je postavka, pri kateri so bili učenci šole primerjalno najmanj uspešni).

S klikom na ime stolpca postavke razvrstite glede na vrednosti v tem stolpcu.

Tako lahko hitro poiščete postavke, ki so zanimive za analizo.





39



Podobno primerjavo omogoča graf z indeksom težavnosti po postavkah (zavihek »Graf«), le da vrstnega reda postavk tu ne morete spreminjati.

Na grafu ne morete spreminjati vrstnega reda postavk.



Posebno pozornost posvetite nalogam, ki so jih učenci šole reševali z opazno manjšo uspešnostjo kakor učenci v Sloveniji, in poskušajte poiskati razloge za razhajanja. Poglejte vsebinske podatke in odgovorite, v katero obarvano območje spadajo slabše reševane naloge, katero vsebinsko področje pokrivajo, katere zmožnosti, cilje in taksonomske stopnje preverjajo ter ali je na uspešnost reševanja vplival tip naloge.

Ugotovljene razlike v znanju interpretirajte v kontekstu šolske prakse, ki so je bili deležni učenci, vključeni v analizo.

Obstaja vrsta dejavnikov, ki bi lahko vplivali na izkazane dosežke učencev, npr.: morebitna (ne)realizacija učnega načrta, uporabljene oblike in metode poučevanja, načini preverjanja in ocenjevanja znanja ipd.

Svoje ugotovitve lahko primerjate tudi z opisi območij, ki so jih za vse učence pripravile predmetne komisije; ugotavljate lahko na primer, ali opisi za modro območje veljajo tudi za 10 odstotkov najuspešnejših učencev na šoli, in če ne, katero znanje so ti učenci izkazali pri NPZ.





40





Praktični primer

Učenci šole so najuspešneje reševali 2. in 3. nalogo (indeksa težavnosti sta 0,65 in 0,64), najmanj uspešno pa 5. in 9.

nalogo (indeksa težavnosti sta pri obeh 0,37).

Naloge so razvrščene

po indeksu težavnosti

za šolo od najvišjega

do najnižjega.





Po postavkah so učenci šole najuspešneje reševali postavko 6.a.1 (indeks težavnosti je 0,90), najmanj uspešno pa postavko 8.b.2 (indeks težavnosti je 0,15). Postavko 6.a.1 so uspešno reševali tudi učenci v Sloveniji, saj je ta v zelenem obarvanem območju, postavka 8.b.2 pa je tudi najuspešnejšim 10 % učencem v Sloveniji povzročala težave (barvno območje je nad modrim).

Postavke so razvrščene





po indeksu težavnosti

za šolo od najvišjega

do najnižjega.





41





Analiza »Osnovni podatki« pokaže, da je pri NPZ iz matematike v 9. razredu povprečni dosežek učencev na šoli (53,2 %) primerljiv s povprečnim dosežkom učencev v Sloveniji (53,1 %).





Od tod bi lahko sklepali, da so učenci na šoli pri NPZ izkazali podobno znanje kakor učenci v Sloveniji, vendar pa podrobnejši vpogled v analizo po nalogah in postavkah pokaže, da to ne drži.





Iz tabele je razvidno, da so učenci na šoli postavko 1.b.2 reševali uspešneje v primerjavi z učenci v Sloveniji (pozitivna razlika), postavko 3. c pa manj uspešno (negativna razlika). Postavka 1.b.2 je preverjala cilj iz UN: »Učenci izračunajo vrednost številskih izrazov.«. Na šoli jo je uspešno rešilo 60 % učencev, v Sloveniji pa 37 % (razlika je 0,23

oziroma 23 %). Postavka 3. c je preverjala cilj iz UN: »Učenci zapišejo razmerje dveh količin.«. Na šoli jo je uspešno rešilo 35 % učencev, v Sloveniji pa 52 % (razlika je -0,17 oziroma -17 %).



42



Postavka 1.b.2: Izračunaj. 1 ⋅ ( 1

− 0,5) =

5

Odgovor: -2,1 ali ekvivalentni zapis

Postavka 3. c:

Kolikšno je v tem razredu razmerje med številom učencev, ki se

ukvarjajo s šahom, in številom učencev, ki se ne ukvarjajo s šahom?



Odgovor: 6 : 18 ali ekvivalentni zapis (npr. 1 : 3)



Razlogi za slabše reševano postavko 3. c se lahko poiščejo med najpogostejšimi napakami, ki so jih pri reševanju delali učenci (odgovori učencev šole se pokažejo s klikom na »Ogled slike«). Po skupnem dosežku uspešnejši učenci so za člen v razmerju pogosto zapisovali število vseh učencev (24) namesto števila učencev, ki se ne ukvarjajo s šahom (18), zato je bil njihov odgovor (6 : 24 oz. 1 : 4) napačen. Učenci s srednjimi dosežki so pogosto zamenjali člena v razmerju (3 : 1). Do napak je prihajalo tudi pri krajšanju členov razmerja (6 : 18 = 3 : 6 ali 6 : 18 =

1 : 2). Manj uspešni učenci pa postavke 3. c pogosto sploh niso reševali.

Podobno kot v opisanem primeru lahko najpogostejše napake poiščete tudi pri drugih postavkah v preizkusu.

Ugotovitve uporabite pri zasnovi drugačnih pristopov k poučevanju, ki bodo izboljšali kakovost izkazanega znanja.





43





7 ANALIZA DODANE VREDNOSTI

Namen

Z analizo dodane vrednosti spremljamo napredek učencev od 6. do 9. razreda. Pri tem odgovarjamo na vprašanje, kako so učenci na šoli napredovali v znanju v primerjavi z vrstniki s primerljivimi dosežki v 6. razredu v Sloveniji.

Koraki izvedbe

1. Kliknite gumb »Analiza dodane vrednosti«. Odpre se zavihek »Priprava podatkov«.

2. V iskalnih pogojih mora biti pri pogoju »Razred« izbran 9. razred. Določite »Rok NPZ-9« (rok opravljanja NPZ

v 9. razredu), »Dosežek NPZ-9« (predmet NPZ v 9. razredu) in »Dosežek NPZ-6« (en ali več predmetov NPZ v 6. razredu). Med učenci šole izberite eno od ponujenih možnosti:

− vse učence,

− učence po dodatnih pogojih (glede na spol oziroma oddelek),

− skupino učencev, ki ste jo za izbrani rok ustvarili predhodno.

3. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Graf«.





44





Razlaga analize dodane vrednosti

Pri analizi dodane vrednosti se za vse učence v Sloveniji izračuna7 tipičen napredek med dosežki v 6. in v 9.

razredu (zelena črta na grafu), ki ga uporabimo pri napovedi dosežkov učencev v 9. razredu – to so napovedani dosežki učencev. Za posameznega učenca se nato izračuna razlika med njegovim dejanskim in napovedanim dosežkom v 9. razredu. Na grafu zelena črta prikazuje napovedane dosežke učencev, rumene pike pa so dosežki posameznih učencev izbrane šole. Razlika je na grafu označena kot modra daljica, ki rumeno piko povezuje z rožnato na črti napovedanih dosežkov.





Učenec B je na grafu označen z rumenim krožcem B na zeleni črti. Učenec je v 6. razredu dosegel 65 odstotnih točk, njegov napovedani dosežek v 9. razredu pa je 60 odstotnih točk. Ker odstotne točke med preizkusi niso primerljive, nikakor ne smemo trditi, da se je njegovo znanje znižalo za 5 odstotnih točk! Za učenca B lahko trdimo, da se njegov napovedani dosežek popolnoma ujema z dejanskim dosežkom. Vendar pa tega ne moremo trditi za učenca A in C. Ugotovimo lahko, da se njuna dejanska dosežka (rumena krožca) razlikujeta od napovedanih (rožnata krožca na zeleni črti). Razliko označuje modra daljica, ki povezuje rumeni (dejanski dosežek) in rožnati krožec na zeleni črti (napovedani dosežek).



7 Pri predmetih, ki imajo na nivoju države 500 učencev ali manj, se uporabi metoda z linearno regresijo (rdeča črta), sicer pa metoda median (zelena črta). Več o izračunu je napisano v poglavju Posebna poglavja – Dodana vrednost.



45





Razlaga zavihka »Graf«

Graf je opremljen z naslovom (»Analiza dodane vrednosti«), podnaslovom (rok opravljanja NPZ v 9. razredu), absciso (odstotne točke NPZ pri enem ali več predmetih v 6. razredu), ordinato (odstotne točke NPZ pri predmetu v 9. razredu) in legendo (metoda izračuna dodane vrednosti in izbrani učenci na šoli).

V prvi vrstici legende so zapisani pogoji, ki ustrezajo iskalnim kriterijem v zavihku »Priprava podatkov«. Naslednje tri vrstice prikazujejo: statistike za učence v Sloveniji in za izbrane učence na šoli ter parametre analize dodane vrednosti (za izbrane učence na šoli).

Spustni seznam nad grafom »Barve na grafu« omogoča, da se podatki na grafu obarvajo različno glede na spol ali oddelek.





Prikaz grafa se prilagaja glede na podatke.

S klikom v ustrezna okenca v legendi lahko na grafu

Z ikono

se prikaz vrne na privzete

posamezne skupine učencev skrijemo ali prikažemo,

vrednosti.

vendar to ne spremeni izračunov pod grafom.





46





Razlaga statistik za Slovenijo in za šolo (druga in tretja vrstica pod »Pogoji«):

»št. učencev« je število vseh, ki so opravljali NPZ iz izbranega predmeta v 9. razredu;

»delež povezanih« je delež tistih učencev, ki so opravljali NPZ iz izbranega predmeta v 9. razredu in so opravljali tudi NPZ iz enega ali več predmetov v 6. razredu (tj. povezani učenci);

»povp. dosežek NPZ-9« je povprečni dosežek v odstotnih točkah pri izbranem predmetu NPZ v 9. razredu za povezane učence;

»povp. dosežek NPZ-6« je povprečni dosežek v odstotnih točkah pri izbrani skupini predmetov NPZ v 6. razredu za povezane učence.

Parametri dodane vrednosti:

»DV (dodana vrednost)« je dodana vrednost šole, izračunana kot povprečje razlik med dejanskimi in napovedanimi dosežki učencev v 9. razredu na tej šoli. Izražena je v odstotnih točkah izbranega preizkusa. Npr.

šola z DV = 1 je imela pri NPZ v 9. razredu učence, ki so na izbranem preizkusu v povprečju dosegli eno odstotno točko več kakor primerljivi učenci v Sloveniji (primerljivi glede na izbrani dosežek pri NPZ v 6. razredu).

»std. odklon« je standardni odklon, ki kaže razpršenost razlik, iz katerih je izračunana dodana vrednost na šoli.

Visoka vrednost pomeni, da so učenci zelo različno odstopali od napovedanih vrednosti, nizka vrednost pomeni, da so njihova odstopanja bolj homogena.

»std. napaka« je mera, ki kaže natančnost izračuna dodane vrednosti. Glede na število učencev na šoli in glede na različnost njihovih odstopanj med dejanskimi in napovedanimi dosežki, je lahko ocenjena dodana vrednost šole bolj ali manj zanesljiva. Stabilnost ocenjene dodane vrednosti v odvisnosti od teh dveh dejavnikov izraža navedena standardna napaka, ki je, statistično gledano, izračunana kot standardna napaka aritmetične sredine (dodane vrednosti). Tudi interpretiramo jo podobno – če je izračunana dodana vrednost po velikosti vsaj dvakrat večja od ustrezne standardne napake, potem je statistično pomembno različna od 0 (pri stopnji tveganja 95 %).

Če je v Sloveniji opravljalo izbrani predmet v 9. razredu vsaj 500 učencev, ki so opravljali tudi enega ali več predmetov v 6. razredu, je na grafu prikazana črta po metodi mediane, sicer je prikazana črta linearne regresije.





47





Usmeritve pri interpretaciji

Dodana vrednost šole (DV) je izražena v odstotnih točkah izbranega preizkusa v 9. razredu. Dodana vrednost +2,0

pomeni, da so v povprečju učenci 9. razreda na šoli dosegli na preizkusu v 9. razredu za 2 odstotni točki več, kot bi to napovedali glede na njihove predhodne dosežke v 6. razredu in glede na tipični napredek vrstnikov z enakimi predhodnimi dosežki.

Zavedati se moramo, da se dosežki preizkusov iz 6. in 9. razreda ne izražajo na isti lestvici točk in da med sabo niso neposredno primerljivi. Enako število odstotnih točk v 6. in v 9. razredu tako ne predstavlja enakega znanja. Kar lahko primerjamo, je napredek posameznega učenca z vrstniki, ki so imeli enak dosežek kot on v 6. razredu. Tak napredek je seveda relativen in približno polovica učencev je tipično nad povprečjem, polovica pa pod njim.

Če je mera dodane vrednosti za šolo negativna, to ne pomeni, da so učenci na šoli nazadovali. Najverjetneje so namreč vsi učenci v treh letih med 6. in 9. razredom v znanju napredovali, vendar zaradi načina sestave preizkusov tega ne moremo ovrednotiti. Nam pa negativna vrednost pove, da so na šoli učenci v 9. razredu v povprečju dosegli manj kot njihovi vrstniki s podobnimi dosežki v 6. razredu.

Negativna dodana vrednost ne pomeni nazadovanja v znanju,

ampak manjši napredek od povprečnega v Sloveniji.

Običajno bo približno na polovici šol ta vrednost pozitivna in na polovici negativna.





48





Praktični primer

V šoli so z analizo dodane vrednosti pripravili graf.

Z grafom dodane vrednosti v šoli spremljajo napredek 39-ih učencev, kar predstavlja 91 % vseh, ki so tisto leto pri njih pisali NPZ iz matematike v 9. razredu. Primerjava podatkov za vse učence v Sloveniji in za učence te šole nam pokaže, da imajo učenci na šoli višji povprečni dosežek v 9. razredu (63,08 na šoli in 53,75 v Sloveniji) in da so imeli isti učenci na šoli v 6. razredu nižji povprečni dosežek (51,33 na šoli in 52,68 v Sloveniji). Že s slike same vidimo, da je večina pik, ki označuje posamezne učence, nad črto napovedanih dosežkov, kar kaže na to, da so napredovali več kot vrstniki s primerljivimi dosežki v Sloveniji. Enako kaže tudi izračunana dodana vrednost (9,50). V povprečju je torej 39 učencev te šole doseglo 9,5 odstotnih točk več, kot bi to pričakovali glede na njihove dosežke pri matematiki v 6. razredu oz. glede na tipični napredek njihovih vrstnikov z enakimi dosežki.

Standardni odklon razlik med doseženimi odstotnimi točkami v 9. razredu in napovedanimi vrednostmi nas opozarja, da so razlike v napredku pri učencih zelo velike – nekateri so napredovali več, drugi manj. Standardna napaka, ki je precej manjša od izračunane dodane vrednosti, kaže na to, da gre za dokaj zanesljivo oceno dodane vrednosti.





49





8 ANALIZE PO MERI

Namen

Analize po meri omogočajo pripravo analiz, ki so v največji možni meri prilagojene željam uporabnika. Omogočajo prikazovanje enega ali več nizov podatkov hkrati (npr. dva niza – Šola in Slovenija; trije nizi – oddelki A, B in C

hkrati ipd.), analize po zaključenih šolskih ocenah8, primerjave več predmetov hkrati ipd. Te analize je mogoče tudi shranjevati in odpirati.

Podatke o zaključenih šolskih ocenah pri posameznih predmetih

dobi Ric od MIZŠ konec julija vsako leto.

Stanje po popravnih izpitih konec šolskega leta tako ni upoštevano.



Koraki izvedbe

1. Kliknite gumb »Analize po meri«. V zavihku »Nastavitve« izberite analizo (po odstotnih točkah oziroma po šolskih ocenah pri posameznem predmetu). Če ste izbrali analizo po odstotnih točkah, lahko nastavite tudi velikost intervala za odstotne točke, ki bo uporabljen pri risanju grafov.

2. V iskalnih pogojih zavihka »Priprava podatkov« določite »Razred«, »Rok«, »Predmet« in druge morebitne pogoje (status šolanja, spol, oddelek, skupino).

3. Kliknite gumb »Dodaj podatke«. Podatki se izračunajo in dodajo na seznam nizov podatkov v spodnji del okna.

4. Za dodajanje drugih nizov ponovite koraka 2 in 3. Ko ste ustvarili vse želene nize, kliknite na zavihek »Graf«.

Vrstni red nizov na zavihku »Priprava podatkov« določa tudi vrstni red nizov na grafu.





8 Za 9. razred ima Ric podatke o zaključenih šolskih ocenah od leta 2009 dalje, za 6. razred pa od leta 2016 dalje.



50





Razlaga analize

Analize po meri omogočajo pripravo več nizov podatkov, ki jih potem lahko prikažemo na skupnem grafu in tako primerjamo. V zavihku »Priprava podatkov« se za vsak niz podatkov izračunajo osnovni statistični podatki (število učencev, število šol, povprečje in standardni odklon). Poleg teh sta v tabeli še dva stolpca. Stolpec »Opombe« je namenjen vašim opombam, ki se pozneje lahko pokažejo tudi v legendi pod grafom, v stolpcu »Opis pogojev« pa se zapišejo pogoji, uporabljeni pri pripravi podatkov posameznega niza. Tabelo z vsemi podatki je mogoče shraniti v Excel. Za interpretacijo so včasih zanimivi že osnovni statistični podatki, včasih pa nam več pove graf, ki primerja porazdelitve podatkov. Celotno analizo z izbranimi iskalnimi pogoji, nizi in ustvarjenim grafom lahko shranite na vaš računalnik, jo pozneje odprete in si jo ponovno ogledate. Nad tabelo s statističnimi podatki o nizih in nad grafom je orodna vrstica z gumbi, ki omogočajo podrobnejše delo z nizi podatkov.





Razlaga orodne vrstice:



Gumb za premikanje: prvi zapis, prejšnji zapis, naslednji zapis, zadnji zapis.



Izbriše niz podatkov.



Shrani spremembe v opombah.



Razveljavi spremembe v opombah.



Shrani analizo (tabelo in graf).

Tabela: Shrani podatke iz tabele v Excel.



Graf: Shrani podatke za izris grafa v Excel.



Spremeni vrstni red nizov v tabeli (pomik navzgor, pomik navzdol).



51





Usmeritve pri interpretaciji

Analize po meri omogočajo najraznovrstnejše obdelave podatkov, zato je smiselnost ustvarjenih analiz toliko bolj odvisna od uporabnika, ki jih pripravlja. Vsekakor moramo biti pozorni na število učencev, ki so vključeni v posamezno analizo. To je na nek način najpomembnejši podatek, saj je od števila učencev odvisno, kako velika je negotovost izračunov.

Pri pripravi analiz po meri se je potrebno zavedati vseh omejitev, ki veljajo za preizkuse znanja pri NPZ. Odstotne točke med različnimi predmeti in celo med različnimi leti pri istem predmetu, zaradi trenutnega načina priprave preizkusov, niso neposredno primerljive. Preizkusi so tudi pisne narave, kar pomeni, da pri posameznem predmetu zajemajo le tisto znanje in spretnosti (ali zmožnosti pri jezikih), ki jih je s tovrstnim preizkusom mogoče preverjati.

Ko pripravljate posamezne nize podatkov v skupen nabor, bodite pozorni na pogoje za izbiro učencev. Program pri analizah po meri dopušča, da se ustvarjene serije v skupnem naboru razlikujejo po pogojih izbire (razred, rok, predmet, skupina, …). Ali so določene kombinacije serij v skupnem naboru smiselne, je odvisno od namena ustvarjanja.

V polje »Opombe« si pri posameznem nizu podatkov lahko napišete kratek opis, ki se bo izpisal tudi na grafu pod osnovnimi podatki oziroma v legendi, če opombe izberete s spustnega seznama »Legenda« nad grafom.





52





Praktični primer

V šoli so pripravili pregled odstotnih točk pri NPZ 2018 iz matematike za tri oddelke 9. razreda. Trije nizi podatkov so torej pripravljeni pri istem predmetu NPZ v 9. razredu, vsakič za drug oddelek. Graf prikazuje dosežke za vse tri oddelke skupaj.





Ko podatke za vse tri oddelke pokažemo na eni sliki, lahko vidimo, da so razlike med oddelki velike. Oddelek A ima sicer najvišje povprečje, vendar ima obenem najmanj učencev z najvišjimi odstotnimi točkami. Oddelek B ima največ učencev z najvišjimi odstotnimi točkami, a ima tudi učence, ki so imeli najnižje dosežke. Oddelek C ima v primerjavi z drugima dvema oddelkoma več učencev z nizkimi dosežki na preizkusu.

Vsebinski razlogi za opažene razlike so lahko predmet poglobljene refleksije v procesu samoevalvacije na šoli, kjer najbolje poznajo kontekst, v katerem deluje šola. Razlike med oddelki nas tudi opozarjajo, da se za enotnim povprečnim dosežkom šole lahko skrivajo zelo različni dosežki oddelkov.





53





9 USTVARJANJE SKUPINE

Šola ima pri večini analiz na voljo več možnosti za izbiro učencev. Privzeta izbira so vsi učenci na šoli, ki so opravljali NPZ. Mogoče je izbrati tudi učence po spolu in/ali oddelku ali pa ustvariti kako drugo skupino učencev, kakršno želite sami (npr. po učnih vsebinah).

Skupine naj temeljijo na posebnostih učnega procesa na vaši šoli v tekočem letu.

Najpogostejši primer skupin so učne skupine pri slovenščini, matematiki in angleščini.



Pri analizah se skupina v iskalnih pogojih pokaže samo v primeru, da je bila za izbrani rok že ustvarjena (rok za skupino mora biti enak kot rok v iskalnih pogojih).

Skupino lahko pri analizah izberete samo, če ste jo za izbrani rok prej ustvarili.



Koraki izvedbe

S klikom na ikono »Ustvari skupino« odprete okno za urejanje skupine.





① Skupino ustvarite tako, da kliknete gumb »Novo«. Odpre se obrazec za vpisovanje podatkov.

② V polje»Ime skupine« vpišite ime. To naj bo kratko in dovolj jasno Skupine poimenujte tako, da vam

(npr. ang 191_1).

bo izbor učencev razumljiv tudi

čez leto ali dve.

③ V polje »Opis skupine« podrobneje opišite skupino

Tako boste lahko med leti

(npr. Angleščina 2019/19 – učna skupina 1).

ustvarjali primerljive skupine.

④ V polju »Šifra roka" izberite leto pisanja NPZ s klikom na .

Odpre se okno »Izberi rok«. Na seznamu označite rok in svojo izbiro potrdite s klikom na »Potrdi«.

Polje »Opis roka« se ob tem izpiše samodejno, v desnem oknu pa se prikaže tudi seznam učencev za izbrano leto pisanja NPZ.





54





⑤ Seznam je privzeto nastavljen samo za branje. Če ga želite urejati, preklopite iz načina za branje v način za urejanje. Učence dodate v skupino tako, da odkljukate okence pred pri mkom učenca.





⑥ Skupino shranite s klikom na »Shrani« v levem oknu.



Zaradi varstva osebnih podatkov lahko skupine ustvarite samo v roku enega šolskega leta (9. razred) oz. štirih šolskih let (6. razred) od objave dosežkov učencev. Pri ustvarjenih skupinah iz prejšnjih let se podatki o učencu ne prikažejo, vendar pa skupine še vedno lahko uporabite v analizah.





55





Razlaga orodne vrstice:

USTVARI SKUPINO (levo okno)



Gumb za premikanje: prvi, predhodni, naslednji, zadnji.



Ustvari novo skupino.



Uredi obstoječo skupino.



Kopiraj (podvoji) obstoječo skupino.



Briši obstoječo skupino.

USTVARI SKUPINO (desno okno)



Gumb za premikanje: prvi, predhodni, naslednji, zadnji.



Izberi vse učence.



Odstrani izbrane učence.



Zamenja izbrane učence z neizbranimi.

Preklopi iz načina za branje v način za urejanje.





56





10 DOLOČITEV BARVNIH OBMOČIJ

Pomemben del vsebinske analize preizkusov NPZ v 6. in 9. razredu temelji na štirih barvnih območjih, za katere so pripravljeni podrobnejši opisi dosežkov.

Opisi dosežkov so rezultat dela predmetne komisije, ki na podlagi statističnih podatkov o nalogah, ki jih pripravi Ric, in na podlagi vsebinskih lastnosti nalog in postavk v preizkusu pripravijo vsebinske opise, ki povežejo število doseženih točk z znanjem. V nadaljevanju je opisan postopek določitve barvnih območij in razvrstitve nalog, ki je podlaga za omenjeno vsebinsko sintezo z opisi področij. Sam postopek se metodološko zgleduje po mednarodnih raziskavah znanja PISA, TIMSS in PIRLS, kjer na podoben način pripravijo opise znanja za vsak posamezen mejnik oziroma za vsako raven znanja.

Od razvrstitve učencev do razvrstitve nalog



Slika: Prikaz štirih podskupin v celotni populaciji učencev posameznega predmeta Postopek začnemo tako, da dosežke vseh učencev pri posameznem predmetu razvrstimo od najnižjega do najvišjega. Nato iz celotne populacije učencev izberemo štiri podskupine, glede na njihov položaj v razvrstitvi:

»Spodnja četrtina« – označuje učence, katerih skupni dosežki so okoli meje spodnje četrtine dosežkov (glede na preostale dosežke). V tem območju je 10 odstotkov učencev; njihovi dosežki so višji od spodnjih 20 odstotkov in nižji od 70 odstotkov preostalih dosežkov. Na sliki zgoraj so obarvani ZELENO.

»Sredina« – označuje učence, katerih skupni dosežki so okoli meje sredine dosežkov. V tem območju je 10

odstotkov učencev; njihovi dosežki so višji od spodnjih 45 odstotkov in hkrati nižji od 45 odstotkov preostalih dosežkov. Na sliki zgoraj so obarvani RUMENO.

»Zgornja četrtina« – označuje učence, katerih skupni dosežki so okoli meje zgornje četrtine dosežkov. V tem območju je 10 odstotkov učencev; njihovi dosežki so višji od spodnjih 70 odstotkov in nižji od 20 odstotkov preostalih dosežkov. Na sliki zgoraj so obarvani RDEČE.



57





»Najboljših 10 %« – označuje učence, katerih skupni dosežki so v zgornji desetini dosežkov. V tem območju je 10

odstotkov učencev z najvišjimi dosežki; njihovi dosežki so višji od 90 odstotkov dosežkov. Na sliki zgoraj so obarvani MODRO.

V naslednjem koraku naloge oziroma postavke v preizkusu razdelimo glede na to, kako so jih omenjene podskupine reševale. Pri tem si pomagamo z indeksom težavnosti, ki ga v primeru naloge z eno točko lahko razumemo tudi kot delež učencev, ki je nalogo rešil pravilno. Naloga spada v prvo območje težavnosti, v katerem jo učenci rešijo pravilno v vsaj 65 % primerov (podobno določajo uspešnost tudi v mednarodnih raziskavah znanja). Primer petih postavk je prikazan na spodnji sliki:



Slika: Prikaz razvrstitve petih postavk v barvna območja

Ko na tak način razdelimo vse naloge, dobimo štiri skupine nalog, ki predstavljajo posamezna barvna območja znanja. Poleg tega lahko obstaja tudi skupina nalog, katere tudi najboljših 10 % učencev ne rešuje dovolj uspešno (naloge nad modrim območjem). V splošnem učenci z višjimi dosežki uspešno rešujejo tudi naloge iz nižjih barvnih območij (znanje namreč razumemo kot naraščajoče) – učenci z dosežki v rumenem območju v splošnem uspešno rešujejo tako naloge iz rumenega območja kot tudi naloge iz zelenega območja; učenci z dosežki v rdečem območju uspešno rešujejo naloge iz rdečega območja in v splošnem tudi naloge iz zelenega in rumenega območja; učenci z dosežki v modrem območju pa v splošnem uspešno rešujejo tako naloge iz modrega območja kot tudi tiste, ki so uvrščene v preostala območja.

Predmetne komisije za NPZ na podlagi tako razvrščenih nalog pripravijo sintezo vsebin, ki so skupne nalogam iz posameznega območja. Vsebinski opisi dosežkov tako predstavljajo vsebino tistega znanja, ki ga tipično izkazujejo učenci z dosežki v izbranem območju. V primeru nalog nad modrim območjem gre za vsebine, ki predstavljajo najzahtevnejše znanje.

Z omenjenimi opisi dosežkov si lahko pomagamo, če želimo dobiti vtis, kakšno znanje je tipično potrebno za dosežek (število točk) v posamezni podskupini učencev. Za dosežke zunaj izbranega območja pa lahko v splošnem sklepamo sledeče: če ima učenec dosežek pod prvim (tj. zelenim) območjem, lahko rečemo, da z nižjo verjetnostjo (to je manj kot 65-odstotno) izkazuje znanje, uvrščeno v prvo območje; če ima dosežek med dvema območjema, lahko rečemo, da z visoko verjetnostjo (to je več kot 65-odstotno) izkazuje znanje, ki je uvrščeno v spodnje območje, in z nižjo verjetnostjo (to je manj kot 65-odstotno) izkazuje znanje, uvrščeno v zgornje območje. Seveda opisi veljajo le za celotno populacijo učencev – odgovori posameznega učenca ne sledijo nujno omenjenim območjem, saj je lahko pravilno rešil tudi relativno težko nalogo oziroma ni rešil na splošno lažje naloge.





58





11 VELIKOST UČINKA

Pri analizah podatkov imamo pogosto opraviti z razlikami (npr. med povprečnim dosežkom v državi in na šoli) in vprašanje pri interpretaciji je – kako velika je ta razlika? Je sprememba (razlika) opazna, pomembna, bistvena, … ali je zanemarljiva, trivialna in nepomembna? Statistično testiranje razlik oziroma ugotavljanje statistične pomembnosti razlike je eden od načinov, da odgovorimo na zgornje vprašanje. Gre za jasen metodološki pristop, ki po določenih pravilih ponuja oceno verjetnosti za dano odločitev (da razlika je oziroma je ni). Slaba stran ugotavljanja statistične pomembnosti je občutljivost na število učencev v analizi. Ker analize, opisane v tem priročniku, pogosto obsegajo primerjave med državnimi statistikami (kjer je učencev lahko več tisoč) in učenci na šoli, to pomeni, da so pogosto statistično pomembne že zelo majhne razlike oziroma je statistično pomembna velika večina ugotovljenih razlik. Če je zaradi narave podatkov statistično pomembna že zelo majhna razlika, potem nam statistično testiranje pri vsebinski interpretaciji ni v pomoč.

Za rešitev lahko uporabimo mere velikosti učinka (Cankar in Bajec: 2003). Gre za mere, ki skušajo odgovoriti na vprašanje, ali je neka razlika med skupinama dovolj velika, da lahko govorimo o učinku, ali je zanemarljiva. Pogosto uporabljena in za naš primer primerna mera velikosti učinka je Cohenov d, ki se izračuna kot razlika dveh povprečij ulomljeno s skupnim standardnim odklonom:

( M −

1

M

d

2 )

= SDSKUPNO



Če primerjamo povprečje na šoli s povprečjem v državi, je skupni standardni odklon lahko kar standardni odklon v državi, če pa bi npr. primerjali povprečji v dveh oddelkih, bi izračunali standardni odklon podatkov za oba oddelka skupaj.

Cohenov d se je uveljavil tudi zato, ker obstajajo smernice za njegovo interpretacijo. Srednje velik učinek (0,5) naj bi tako pozoren opazovalec opazil z 'golim očesom'. Vrednosti okoli 0,2 naj bi predstavljale majhen učinek in vrednosti okoli 0,8 velik učinek.

Okvirne smernice za interpretacijo velikosti učinka:

0,2 – majhen učinek

0,5 – opazen (srednje velik) učinek

0,8 – velik učinek



Pri analizah v tem priročniku si pogosto lahko pomagamo s temi smernicami tako, da poleg šolskega povprečja poiščemo še državno povprečje in standardni odklon za iste dosežke. Izračunana mera velikosti učinka nam bo dala usmeritev, ali je opažena razlika tudi vsebinsko relevantna ali ne.





59





12 DODANA VREDNOST

V tem poglavju je koncept dodane vrednosti podrobneje razložen in teoretsko utemeljen. Mere dodane vrednosti so nastale kot odziv na kritike pretirane uporabe rezultatov preizkusov znanja, ki so bili uporabljeni kot kazalnik dela šole. Ker šole nimajo enakih populacij učencev, ampak se lahko te od šole do šole tudi precej razlikujejo, je po mnenju kritikov povsem razumljivo, da se dosežki učencev na ravni šole ravno tako razlikujejo – so pač posledica drugačne 'vhodne' populacije učencev. Mere dodane vrednosti skušajo nasloviti bistvo teh kritik in zajeti ter oceniti le napredek v znanju.

Opredelitev dodane vrednosti znanja

Vse mere dodane vrednosti imajo isto idejno zasnovo ne glede na dejansko formulo ali način izračunavanja. Meriti skušajo napredek med posameznimi merjenji. Pri tem je treba opozoriti, da so nekateri pristopi osredotočeni predvsem na izračun vrednosti za celotno šolo, drugi pa omogočajo spremljanje napredka posameznega učenca in izražajo dodano vrednost šole prek povprečnih vrednosti napredka učencev posamezne šole.

Poimenovanje dodane vrednosti ima v sebi implicitno idejo, da je mogoče vso razliko pripisati šolskemu procesu, v katerega so učenci vključeni. Analogija z gospodarstvom, kjer je razliko med surovino in izdelkom mogoče pripisati proizvodnemu procesu, v primeru šolstva ne zdrži. Zavedati se moramo, da je napredek posameznika med dvema merjenjema lahko posledica različnih dejavnikov, ki niso nujno povezani s šolskim procesom. Lahko je imel npr. inštrukcije, lahko je dodatno motiviran, lahko je z dozorevanjem notranjih procesov dosegel novo (spo)znanje itd. Z vidika posameznika je tako bolje govoriti o merah napredka ali rasti, saj izmerjene vrednosti (v primeru, da so zanesljive in veljavne) govorijo natančno o tem. Vendar je na ravni šol poimenovanje 'dodana vrednost' kljub temu smiselno. Dejavniki, ki lahko zelo raznoliko vplivajo na dosežke posameznikov, običajno ne delujejo sistematično na ravni šole in se tako v večini primerov izničijo. Ker pa je vsem posameznikom, ki obiskujejo isto šolo, skupen šolski proces (v določenem oddelku, razredu, nivoju, …), iz mer njihovega napredka računamo povprečje šole (Cankar: 2006).

V literaturi poznamo zelo različne statistične modele za računanje dodane vrednosti. Na splošno velja, da so bolj preprosti pristopi tudi bolj robustni in končnim uporabnikom pogosto bolj razumljivi, po drugi strani pa imajo metodološko zahtevnejši postopki korektnejše predpostavke in zmorejo zajeti večje število dejavnikov pri korigiranju mer (Sammons, Thomas, Mortimore, Owen in Pennel : 1994). Več o analizah dodane vrednosti lahko zainteresirani najdejo v strokovni literaturi (npr. Lissitz: 2006), veliko informacij na enem mestu pa ponuja tudi publikacija, ki jo je izdal OECD (2008).

Metoda linearne regresije

V nadaljevanju sta opisana pristopa, uporabljena v analizi dodane vrednosti za šole. Oba temeljita na ugotavljanju napredka posameznega učenca, ki je opredeljen kot razlika med dejanskim in napovedanim dosežkom (glede na rezultat predhodnega merjenja znanja). Po metodi linearne regresije napovedane dosežke izraža linearna premica, ki je izračunana s pomočjo linearne regresije na podlagi podatkov za vse učence, ki so imeli pri danem predmetu dosežek na NPZ tako v 6. kot v 9. razredu.





60





Metoda mediane

Po metodi mediane se črta, ki povezuje napovedane dosežke, izračuna na ta način: dosežki vseh učencev na predhodnem merjenju (NPZ 6.r) se uredijo od najmanjšega do največjega. Nato se dosežki razdelijo v več skupin (tipično 20) in za vsako skupino se izračuna mediana dosežkov na drugem merjenju (NPZ 9.r). Mediane posameznih skupin med sabo povežemo s črto, na spodnji in zgornji meji pa se črta nadaljuje skladno s trendom zadnjih dveh skupin. Z interpolacijo (ali ekstrapolacijo pod mediano prve in nad mediano zadnje skupine) se izračuna napovedani dosežek za posamezne učence.

Napredek učencev

Tako v primeru linearne regresije kakor v primeru metode mediane izrisana črta predstavlja tipični napredek v celotni populaciji. Razlika med dejanskim in napovedanim dosežkom pri posameznem učencu izraža njegov relativni napredek glede na učence, ki so izkazali podoben dosežek na prvem merjenju. Če je razlika negativna, ne pomeni, da je učenec v znanju nazadoval, pomeni pa, da je večina učencev s podobnim dosežkom na prvem merjenju (NPZ 6.r) pokazala več na drugem merjenju (NPZ 9.r).



Slika: Izračun napredka/dodane vrednosti v znanju učencev (Vir: Cankar, 2006) Na sliki so prikazani konkretni dosežki učencev A, B in C (rumene barve) v primerjavi z njihovimi napovedanimi dosežki (zeleni). Medtem ko se pri učencu B napovedani in dejanski dosežek prekrivata, je učenec A dosegel boljši rezultat od napovedanega, učenec C pa slabši rezultat od napovedanega. Vsi učenci so napredovali, vendar je dodana vrednost v primeru učenca A pozitivna, učenca C negativna in učenca B enaka nič.





61





Dodana vrednost šole

Dodana vrednost (DV) za šolo se po obeh pristopih izračuna kot povprečje razlik med dejanskim ( yi ) in napovedanim dosežkom ( yˆ i ) učencev te šole.

∑(y − yî

)

DV

i

=

N





Analize dodane vrednosti (za posameznega učenca ali za šolo) so tako relativne – izražajo razlike med dejanskim dosežkom in dosežkom primerljive populacije.

Razlike med obema metodama

Zakaj dva pristopa? Metoda linearne regresije je robustna in hitra, vendar se izračuna na podlagi vseh podatkov hkrati in tako na posameznih delih lestvice dosežkov ne odslikava vedno tipičnega dosežka – najpogosteje se to zgodi pri najnižjih in najvišjih vrednostih. Metoda mediane v večji meri sledi podatkom na različnih delih merske lestvice in ne zahteva linearne črte, vendar pa za stabilno oceno napovedanih vrednosti potrebujemo veliko število podatkov. Pri predmetih z manjšim številom učencev je zato v analizi uporabljena metoda linearne regresije, saj bi napovedani dosežki po metodi mediane lahko preveč nihali.

Razlaga uporabljenih statistik



Slika: Graf analize dodane vrednosti





62





Graf analize dodane vrednosti se izriše, ko izberete gumb »Prikaži podatke«. Na abscisi je prikazan dosežek pri NPZ

v 6. razredu. Če je bila za analizo izbrana materinščina, matematika ali tuji jezik, so dosežki izraženi v odstotnih točkah, ki so jih učenci prejeli na obvestilih o uspehu na NPZ. Če je v analizi uporabljen skupen dosežek NPZ v 6.

razredu, se uporabijo skupne standardizirane vrednosti9. Na ordinati je izražen dosežek pri izbranem predmetu NPZ v 9. razredu v odstotnih točkah.

Če je izbrani predmet NPZ v 9. razredu v Sloveniji opravljalo vsaj 500 učencev, za katere ima Ric podatek o dosežku na NPZ, je na grafu prikazana črta po metodi mediane, sicer je prikazana premica linearne regresije. Črta se lahko poljubno izklaplja s klikom v ustrezno polje v legendi. Če je za podatke prikazana črta po metodi mediane, se za izračun dodane vrednosti šole uporabljajo napovedane vrednosti po metodi mediane, sicer so uporabljene napovedane vrednosti po metodi linearne regresije.

Učenci so na grafu obarvani glede na izbor skupine v zavihku »Priprava podatkov«. S klikom na ustrezna polja v legendi je mogoče prikazati samo nekatere skupine, pri čemer pa se navedene statistike pod legendo ne spremenijo in vedno veljajo za vse izbrane učence.

V legendi so navedeni uporabljeni pogoji za izbor učencev, tem pa sledijo statistike v treh vrsticah. V prvi vrstici so statistike za vse učence v Sloveniji (ki ustrezajo izbranim pogojem), v drugi vrstici so statistike za učence šole (ki ustrezajo izbranim pogojem), v tretji vrstici pa so za učence šole (ki ustrezajo izbranim pogojem) navedeni parametri analize dodane vrednosti.

Zaključek

Mere dodane vrednosti skušajo 'ujeti' izkazani napredek v znanju in tako bolje odražati opravljeno delo na šoli kakor samo rezultati na posameznem merjenju znanja, ki so nujno odvisni od tega, kakšne učence ima posamezna šola. Kljub temu imajo tudi mere dodane vrednosti svoje pomanjkljivosti. Nekatere so popolnoma enake kot pri ostalih statističnih merah – npr. odvisnost od velikosti vzorca (skupine učencev), na katerih je mera računana, –

druge so značilne le za mere dodane vrednosti.

Ena od pomanjkljivosti je popolnoma merska. Ker so mere dodane vrednosti izpeljane iz rezultatov dveh merjenj, od katerih ima vsako merjenje svojo (neodvisno) napako, se napake obeh merjenj odrazijo tudi v merah dodane vrednosti. Posledica je, da je izračunana standardna napaka pogosto tako velika, da težko zagotavljamo, da je dodana vrednost zanesljiva ocena narejenega napredka.

Omenjene pomanjkljivosti po drugi strani ne pomenijo, da so tako izračunane mere brez vsakega pomena. Tako za mere dodane vrednosti kakor za rezultate zunanjih preizkusov na splošno velja, da so za večino uporabljanih namenov vsaj tako primerni kakor drugi kazalniki šolskega dela, ki so nam na voljo.



9 Pri pripravi skupnih standardiziranih dosežkov NPZ se najprej dosežki pri posameznih predmetih standardizirajo (od njih se odšteje aritmetična sredina, dobljena razlika se deli s standardnim odklonom dosežkov pri posameznem predmetu), nato se za vsakega posameznika izračuna povprečni dosežek vseh predmetov skupaj. Tako dobljene vrednosti se pomnožijo z 10 in prišteje se 50, oziroma se izrazi v lestvici, ki je v statistiki znana kot Z-lestvica, ki ima aritmetično sredino 50 in standardni odklon 10.





63





13 REFERENCE

Cankar, G., (2006). Kazalci dodane vrednosti [neobjavljena študija, pripravljena v okviru projekta ESS], Ljubljana, Državni izpitni center.

Cankar, G., (2008). Razvoj modelov dodane vrednosti znanja v Sloveniji. V: Rajkovič, V., ur. Znanje za trajnostni razvoj.

Kranj: Fakulteta za organizacijske vede. Str. 419–425.

Cankar, G., & Bajec, B., (2003). Velikost učinka kot dopolnilo testiranju statistične pomembnosti razlik. Psihološka obzorja, 12(2), str. 97–112.

Lissitz, R., (2006). Longitudinal and value added models of student performance. Maple Grove Minn.: JAM Press.

OECD (2008). Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools.

Paris: OECD.

Sammons, P., Thomas, S., Mortimore, P., Owen, C., in Pennell, H., (1994). Assessing School Effectiveness: Developing Measures to put School Performance in Context. London: Office for Standards in Education.

SCAA (1994). Value Added Performance Indicators for Schools. London: School Curriculum and Assessment Authority.

Goldstein, H. (1997). Value added data for schools: a commentary on a paper from SCAA. London: Institute of Education.



64





© Državni izpitni center, 2019





Document Outline


1 UVOD

2 PROGRAM 2.1 Namestitev programa

2.2 Samodejne nadgradnje programa

2.3 Vstop v program





3 Menijska vrstica 3.1 Analize

3.2 Pogled

3.3 Pomoč

3.4 Administracija Navodila za ravnatelja

Navodila za šolskega administratorja Razlaga orodne vrstice





3.5 Račun Pogoji uporabe programa

Podatki o uporabniku

Sprememba gesla





4 Uporaba programa 4.1 Priprava analiz Izbira analize

Iskalni pogoji Razred

Rok

Predmet

Izbira učencev





4.2 Orodna vrstica

4.3 Prikaz podatkov Graf

Tabela





5 Osnovne analize 5.1 OSNOVNI PODATKI Namen

Koraki izvedbe

Razlaga tabele z osnovnimi podatki

Usmeritve pri interpretaciji

Praktični primer





5.2 PORAZDELITEV DOSEŽKOV Namen

Koraki izvedbe

Razlaga grafične predstavitve

Razlaga predstavitve v tabeli Stolpci v tabeli:





Usmeritve pri interpretaciji

Praktični primer





5.3 PRIMERJAVA DOSEŽKOV Namen

Koraki izvedbe

Razlaga analize

Usmeritve pri interpretaciji

Praktični primer





5.4 PODATKI PO LETIH Namen

Koraki izvedbe

Razlaga analize

Usmeritve pri interpretaciji

Praktični primer





6 Analize po nalogah Namen

Koraki izvedbe

Razlaga tabele v zavihku »Analize« Razlaga gumba »Ogled slike«





Razlaga zavihka »Graf«

Razlaga zavihka »Naloga« Razlaga orodne vrstice:





Usmeritve pri interpretaciji

Praktični primer





7 Analiza dodane vrednosti Namen

Koraki izvedbe

Razlaga analize dodane vrednosti

Razlaga zavihka »Graf« Razlaga statistik za Slovenijo in za šolo (druga in tretja vrstica pod »Pogoji«):

Parametri dodane vrednosti:





Usmeritve pri interpretaciji

Praktični primer





8 Analize po meri Namen

Koraki izvedbe

Razlaga analize Razlaga orodne vrstice:





Usmeritve pri interpretaciji

Praktični primer





9 Ustvarjanje skupine Koraki izvedbe Razlaga orodne vrstice:





10 Določitev barvnih območij Od razvrstitve učencev do razvrstitve nalog





11 Velikost učinka

12 Dodana vrednost Opredelitev dodane vrednosti znanja

Metoda linearne regresije

Metoda mediane

Napredek učencev

Dodana vrednost šole

Razlike med obema metodama

Razlaga uporabljenih statistik

Zaključek





13 Reference