SM

SPLOŠNA MATURA

PRIROČNIK ZA UPORABO ORODJA

ZA UGOTAVLJANJE KAKOVOSTI

IZKAZANEGA ZNANJA (OrKa Ric)





PRIROČNIK ZA UPORABO ORODJA

ZA UGOTAVLJANJE KAKOVOSTI

IZKAZANEGA ZNANJA (OrKa Ric) –

Splošna matura

Državni izpitni center





Erika Semen

Dr. Gašper Cankar

Ivana Komljen



Mag. Matjaž Urank

Ljubljana, 2022



PRIROČNIK ZA UPORABO ORODJA ZA UGOTAVLJANJE KAKOVOSTI IZKAZANEGA ZNANJA: Splošna matura (OrKa Ric, različica 3.5.1)

Avtorji:

Erika Semen

dr. Gašper Cankar

Ivana Komljen

mag. Matjaž Urank

Recenzija:

dr. Darko Zupanc

Tjaša Lajovic

Jezikovni pregled:

mag. Bernarda Krafogel

Priprava slik:

David Janet

Ilustracija:

Tomaž Verbič Šalamon

Izdal in založil:

Državni izpitni center

zanj dr. Darko Zupanc

Urednica založbe:

Joži Trkov

Računalniško oblikovanje:

Jana Lavtar

https://www.ric.si/splosna_matura/orka/

1. objava

© Državni izpitni center 2022

Vse pravice pridržane. Noben del tega priročnika ne sme biti reproduciran, shranjen ali prepisan v katerikoli obliki oziroma na katerikoli način, bodisi elektronsko, mehansko, s fotokopiranjem ali kako drugače, brez predhodnega dovoljenja lastnika avtorskih pravic.

Program OrKa Ric je v svoji trenutni različici razširitev programa OrKa Ric za NPZ, ki je nastal v okviru operacije, ki sta jo sofinancirali Republika Slovenija in Evropska Unija iz Evropskega socialnega sklada. Program OrKa Ric deloma izvira tudi iz »Orodja za analizo izkazanega znanja ob zaključku srednje šole« (Urank, M., Zupanc, D., Cankar, G.

[2012]. Orodje za analizo izkazanega znanja ob zaključku srednje šole, različica 2.3.1. Ljubljana: Državni izpitni center).

Kataložni zapis o publikaciji (CIP)

pripravili v Narodni in univerzitetni knjižnici v Ljubljani

COBISS.SI-ID 133902083

ISBN 978-961-6899-74-1 (PDF)

KAZALO

1 UVOD . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 1

2 PROGRAM . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... 2

2.1 Namestitev programa ......................................................................................................................................................... 2

2.2 Samodejne nadgradnje programa ................................................................................................................................. 3

2.3 Vstop v program .................................................................................................................................................................... 4

3 MENIJSKA VRSTICA . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... 5

3.1 Analize ....................................................................................................................................................................................... 5

3.2 Pogled........................................................................................................................................................................................ 6

3.3 Pomoč ........................................................................................................................................................................................ 6

3.4 Administracija ......................................................................................................................................................................... 7

Navodila za ravnatelja .............................................................................................................................................................................................7

Navodila za šolskega administratorja ...........................................................................................................................................................7

3.5 Račun ...................................................................................................................................................................................... 10

Pogoji uporabe programa................................................................................................................................................................................. 10

Podatki o uporabniku ........................................................................................................................................................................................... 10

Sprememba gesla ................................................................................................................................................................................................... 11

4 UPORABA PROGRAMA . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... 11

4.1 Priprava analiz ..................................................................................................................................................................... 11

Izbira analize ................................................................................................................................................................................................................ 11

Iskalni pogoji ............................................................................................................................................................................................................... 12

4.2 Orodna vrstica ..................................................................................................................................................................... 15

4.3 Prikaz podatkov .................................................................................................................................................................. 16

Graf .................................................................................................................................................................................................................................... 16

Tabela .............................................................................................................................................................................................................................. 17

5 OSNOVNE ANALIZE . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... . 18

5.1 Osnovni podatki ................................................................................................................................................................. 18

Namen............................................................................................................................................................................................................................. 18

Koraki izvedbe ............................................................................................................................................................................................................ 18

Razlaga analize .......................................................................................................................................................................................................... 19

Praktični primer ......................................................................................................................................................................................................... 21

5.2 Porazdelitev dosežkov ..................................................................................................................................................... 23

Namen............................................................................................................................................................................................................................. 23

Koraki izvedbe ............................................................................................................................................................................................................ 23

Razlaga analize .......................................................................................................................................................................................................... 23

Praktični primer ......................................................................................................................................................................................................... 27

5.3 Primerjava dosežkov ......................................................................................................................................................... 28

Namen............................................................................................................................................................................................................................. 28

Koraki izvedbe ............................................................................................................................................................................................................ 28

Razlaga analize .......................................................................................................................................................................................................... 28

Praktični primer ......................................................................................................................................................................................................... 32

5.4 Podatki po letih ................................................................................................................................................................... 33

Namen............................................................................................................................................................................................................................. 33

Koraki izvedbe ............................................................................................................................................................................................................ 33

Razlaga analize .......................................................................................................................................................................................................... 33

Praktični primer ......................................................................................................................................................................................................... 36

6 ANALIZE PO NALOGAH . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... 37

Namen............................................................................................................................................................................................................................. 37

Koraki izvedbe ............................................................................................................................................................................................................ 37

Razlaga zavihka »Analize« .................................................................................................................................................................................. 37

Razlaga zavihka »Graf« ......................................................................................................................................................................................... 40

Razlaga zavihka »Naloga« .................................................................................................................................................................................. 41

Praktični primer ......................................................................................................................................................................................................... 43

7 ANALIZA DODANE VREDNOSTI . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... . 47

Namen............................................................................................................................................................................................................................. 47

Uvod v analizo dodane vrednosti ................................................................................................................................................................ 47

Koraki izvedbe ............................................................................................................................................................................................................ 48

Razlaga zavihka »Graf« ......................................................................................................................................................................................... 49

Razlaga zavihka »Tabela« .................................................................................................................................................................................... 50

Praktični primer ......................................................................................................................................................................................................... 51

8 ANALIZE PO MERI . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... 53

Namen............................................................................................................................................................................................................................. 53

Koraki izvedbe ............................................................................................................................................................................................................ 53

Razlaga zavihka »Izbira analize« ..................................................................................................................................................................... 54

Razlaga zavihka »Priprava podatkov« ........................................................................................................................................................ 56

Razlaga zavihka »Graf« ......................................................................................................................................................................................... 57

Smernice ........................................................................................................................................................................................................................ 58

Praktični primer 1..................................................................................................................................................................................................... 59

Praktični primer 2..................................................................................................................................................................................................... 60

9 USTVARJANJE SKUPINE . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... .. 62

10 VELIKOST UČINKA . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... ... . ... ... ... .... .... 65

11 DODANA VREDNOST . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... ... 66

12 REFERENCE . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... 69





1 UVOD

Priročnik je namenjen uporabnikom programa OrKa Ric (»Orodje za ugotavljanje kakovosti izkazanega znanja«; v nadaljevanju: OrKa) za področje splošne mature, tj. učiteljem, ravnateljem in šolskim administratorjem na posamezni gimnaziji. V njem so skupaj zbrani tako tehnični kot tudi vsebinski napotki za pravilno in smiselno (upo)rabo programa. Glede na specifično vsebino je priročnik temeljit, toda vseeno poljuden in kratek.

Osnovne šole v zadnjih letih uspešno uporabljajo program OrKa, ki omogoča preprosto pripravo podrobnejših analiz in olajšuje dostop do podatkov ter vsebinsko analizo. Po uspešni vpeljavi programa za osnovne šole v prakso smo nove funkcionalnosti začeli prilagajati tudi za podatke splošne mature. OrKa za področje splošne mature na področju gimnazij nadomešča sedanje programsko orodje za srednje šole (»Orodje za analizo izkazanega znanja ob zaključku srednje šole«), ki ga je Ric razvil že leta 2007 in nadgradil leta 2014.

V primerjavi s starim orodjem, novi program širi tako krog uporabnikov kakor tudi nabor funkcionalnosti in možnosti uporabe. Dostop ni več omejen le na ravnatelja oziroma šolskega tajnika, saj lahko šola, skladno s svojo kulturo samoevalvacije in razvojnim načrtom, omogoči dostop tudi vsem svojim učiteljem in drugim strokovnim delavcem šole. Avtonomija šole pri upravljanju z uporabniki je pomembna tudi zaradi učinkovitega varstva osebnih podatkov (Npr.: Ob spremembah zaposlitev lahko šola brez dodatnih zapletov tekoče spreminja vloge posameznim uporabnikom v programu, ti pa lahko takoj dostopajo do podatkov, ki jim omogočajo izboljševati pedagoško delo.) Širše se program OrKa Ric umešča v polje ugotavljanja in zagotavljanja kakovosti v slovenskem šolskem prostoru. Z

omogočanjem lažje in učinkovitejše obdelave podatkov številnim uporabnikom na vseh šolah zvišuje uporabnost dosežkov splošne mature ter šolam v njihovih procesih kakovosti nudi objektivne in natančne podatke, ki jim lahko služijo pri načrtovanju izboljšav učnega procesa. S svojo zasnovo sledi obstoječim standardom in kazalnikom kakovosti v procesih ugotavljanja in zagotavljanja kakovosti vzgoje in izobraževanja, saj šolam ponuja zanesljive podatke za uporabo v procesih samoevalvacije.

Na funkcionalnosti v programu so v veliki meri vplivale izkušnje Rica pri delu s šolami, saj so njihove težave in vprašanja ob analizah dosežkov pokazali, kaj bi bilo najuporabnejše in zaželeno, da program »zna in zmore«. Vseh želja v danih okvirih seveda ni bilo mogoče uresničiti, ker pa smo na Ricu tudi razvojno naravnani, bomo ob nadgradnji programa upoštevali potrebe posameznih šol in sistema v celoti. Tukaj imate lahko aktivno vlogo tudi uporabniki – s povratno informacijo o tem, katere analize so za vas najkoristnejše in kaj pogrešate, lahko pripomorete, da bo program še bolj deloval po vaši meri. Vaših komentarjev bomo veseli, saj želimo, da bo program uporaben za kar največje število ravnateljev in učiteljev v šolah ter tako pripomogel k izboljšanju šolske prakse in posledično izkazanemu znanju slovenskih dijakov.

Dr. Gašper Cankar





1





2 PROGRAM

Program OrKa je pripomoček za ugotavljanje in zagotavljanje kakovosti dela na šoli, ki uporabnikom ponuja preprost vpogled v maturitetne dosežke dijakov na šoli in v Sloveniji. Omogoča primerjave dosežkov na šoli s celotno populacijo v Sloveniji, na primer primerjavo splošnega uspeha in uspeha pri posameznih predmetih, primerjavo med izobraževalnimi programi in oddelki znotraj šole, primerjavo med spoloma, po letih ipd. Učitelji lahko za svoje dijake pripravijo analize po nalogah, pogledajo posamezno nalogo z rešitvijo in digitalizirane odgovore dijakov za leta, ko so se izpiti ocenjevali elektronsko. Na ta način ugotavljajo močna in šibka področja v njihovem znanju. V

programu je na voljo tudi analiza dodane vrednosti, ki kaže, kako so se dijaki izkazali pri maturi glede na njihove dosežke pri NPZ ob zaključku osnovne šole. Spremljanje rezultatov splošne mature je omogočeno za več let, od leta 2002 dalje.

2.1 Namestitev programa

Za predsednika ali tajnika ŠMK SM je namestitvena datoteka shranjena na spletni strani eRica. Vanjo se prijavi prek naslova: https://eric.ric.si/ z izbiro področja »Splošna matura« ter vpisom šifre svoje šole in gesla.





Namestitvena datoteka je shranjena v oknu »SPLETNE APLIKACIJE«, pod menijem »Program OrKa«.

Učitelji si lahko namestitveno datoteko prenesete prek neposredne povezave:

https://eric.ric.si/programi/orka_namestitev.exe.





2





Namestitveno datoteko orka_namestitev.exe prenesete v poljubno mapo na vašem računalniku. Po prenosu datoteko zaženete z dvoklikom in sledite navodilom za namestitev, kjer izberete mapo, v katero se bo namestil program. Priporočamo, da pri tem obdržite privzeto nastavitev. Po namestitvi se pojavita bližnjici do programa

»OrKa« na namizju in v meniju »Zagon« (oz. »Start«)1. Hkrati z namestitvijo se na računalnik shrani tudi priročnik za uporabo programa (v obliki .pdf).

Ta je dostopen tudi na javni spletni strani (https://www.ric.si/splosna_matura/orka/) in v programu OrKa, če na spustnem sezamu menija »Pomoč« izberete »Priročnik«.

2.2 Samodejne nadgradnje programa

Program omogoča samodejno nadgradnjo popravljene in izboljšane različice programa ter le-to ponudi takrat, kadar pri vstopu zazna, da je na spletu nova različica. Možnosti sta dve:

– če so spremembe v programu tako velike, da ni več mogoče uporabljati vaše trenutne različice v povezavi z obstoječim sistemom podatkovnih baz na Ricu, program zahteva obvezno nadgradnjo. Dokler te ne sprejmete, programa ne morete uporabljati;

– če so spremembe oziroma izboljšave programa manjše, lahko nadgradnjo zavrnete in še naprej uporabljate obstoječo različico.

Če izberete nadgradnjo, se program najprej zapre, takoj za tem pa se sproži program za namestitev najnovejše različice, ki sproti tudi izpisuje potek prenosa datoteke iz spletnega strežnika na Ricu. Po prenosu celotne datoteke vam program sporoči, da je bil ta uspešen. Program OrKa se po namestitvi zažene samodejno.





1 V meniju »Zagon« (oz. »Start«) lahko program OrKa tudi odstranite.



3





2.3 Vstop v program

Uporabniki morate najprej imeti omogočen dostop do programa OrKa. Ric omogoči dostop šolskemu administratorju, ta pa drugim uporabnikom na šoli (ravnatelju in učiteljem). Ti bodo o dostopu obveščeni z elektronskim sporočilom na njihov e-naslov.

Pri vstopu v program potrebujete povezavo z internetom.

Ob zagonu programa se prikaže okno, ki omogoča povezavo do treh področij podatkovnih baz Rica:

– nacionalnega preverjanja znanja (N – NPZ),

– splošne mature (M – splošna matura) in

– poklicne mature (P – poklicna matura), ki trenutno še ni na voljo.

Pred vstopom v program izberete področje M – splošna matura.



Vpišete uporabniško ime (vaš e-naslov) in geslo, ki sta enaka za vsa področja zunanjega preverjanja2. S klikom na gumb »Potrdi« se program poveže s strežnikom Rica in preveri, ali imate pravico za dostop do podatkovne baze za izbrano področje ter uporabniško ime in geslo. Če se pri vnosu zmotite, program sporoči napako in ponudi ponovni poskus. Program pri povezavi tudi preveri, ali obstaja novejša programska različica. Če vaša ni najnovejša, vam ponudi možnost samodejne nadgradnje. Ko opravite vse korake, vstopite v program OrKa.

Pred prvim vstopom v program se odpre okno s pogoji uporabe, ki jih morate prebrati in na koncu dati svoje soglasje (tako da obkljukate kvadratka na koncu besedila). Za uporabo programa morate soglašati tako s hrambo vašega e-naslova kot tudi s pogoji, ki jih za uporabo programa določa Ric. Pogoje uporabe si lahko kadarkoli preberete znotraj programa OrKa (v meniju »Račun«) in tudi kadarkoli umaknete vaše soglasje.

Če ste geslo pozabili, si novega pridobite s klikom na »Pozabljeno geslo«.





2 Uporabniško ime in geslo sta enaka tudi za e-banko nalog.



4





3 MENIJSKA VRSTICA

V menijski vrstici so meniji: »Analize«, »Pogled«, »Pomoč«, »Administracija«, »Račun« in »Izhod«. Nekatere menijske funkcije lahko uporabljajo samo šolski administratorji, večina pa je dostopna tudi učiteljem in drugim uporabnikom programa.



Meniji v menijski vrstici:

– »Analize«: pokaže analize v programu in možnost ustvarjanja skupin;

– »Pogled«: pokaže, katera okna so odprta na zaslonu, in določa, kako naj bodo ta razporejena na zaslonu;

– »Pomoč«: opisuje vsebino programa;

– »Administracija«: omogoča urejanje dostopa uporabnikom programa (dostopno samo za šolske administratorje);

– »Račun«: omogoča pregled in spreminjanje pogojev uporabe programa, pokaže podatke o uporabniku in omogoča spreminjanje gesla za vstop v program;

– »Izhod«: zapre program.

Več o teh menijih je v naslednjih poglavjih.

3.1 Analize

Program ponuja te analize:

»Osnovne analize«, ki združujejo štiri najpreprostejše preglede dosežkov kandidatov pri splošni maturi: 1. osnovni podatki omogočajo primerjavo splošnega uspeha in uspeha po predmetih za šolo in Slovenijo; 2. porazdelitev dosežkov ponuja grafični in tabelarični prikaz splošnega uspeha, uspeha po (točkovnih) ocenah in uspeha v odstotnih točkah za posamezni predmet;

3. primerjava dosežkov odgovarja na vprašanje, katerih kandidatov (glede na njihove izkazane dosežke) je bilo v šoli več/enako/manj v primerjavi z vsemi kandidati v Sloveniji;

4. podatki po letih omogočajo primerjavo povprečnega splošnega uspeha, povprečnih (točkovnih) ocen in povprečnih odstotnih točk pri predmetu med leti ter na ta način spremljanje trendov dosežkov;

»Analize po nalogah«, ki omogočajo podroben vpogled v naloge in postavke, ki sestavljajo maturitetni izpit;

»Analiza dodane vrednosti«, ki meri napredek v znanju kandidatov pri maturi na posamezni šoli glede na njihove dosežke pri NPZ ob zaključku osnovne šole v primerjavi z vsemi kandidati s primerljivimi dosežki v Sloveniji;

»Analize po meri«, ki omogočajo pripravo in prikaz več nizov podatkov hkrati in s tem večjo prilagodljivost pri pripravi analiz.





5





3.2 Pogled

V tem meniju upravljate z odprtimi okni v programu.

»Privzeti pogled« omogoča, da se vsa okna vrnejo v prvotno obliko, »Odprta okna« pa prikazujejo seznam vseh odprtih oken v programu.



3.3 Pomoč

V meniju »Pomoč« so uporabniku na voljo informacije o programu OrKa.

V podmeniju »Priročnik« lahko uporabnik dostopa do Priročnika za uporabo programa.



V podmeniju »O programu« so osnovne informacije o programu in prikaz navajanja le-tega v virih.





6





3.4 Administracija

Z administracijo se uporabnikom določa dostop do programa OrKa. Ric omogoča dostop le šolskemu administratorju3, ki edini na šoli ureja podatke v meniju »Administracija«.

Navodila za ravnatelja

Šolski administrator je strokovni sodelavec šole, ki ravnatelju in učiteljem ureja dostop do programa OrKa in spletne aplikacije e-banka nalog. Imenuje ga ravnatelj šole, ki njegov e-naslov vpiše v obrazec »Podatki o šolski maturitetni komisiji« na spletni strani eRic, v oknu »Spletne aplikacije«.

Obrazec »Podatki o šolski maturitetni komisiji« (eRic/SPLETNE APLIKACIJE) je videti takole: Ravnatelj vpiše e-naslov šolskega administratorja v obrazec, pod naslov »Šolski administrator za program OrKa in e-banko nalog«. Potrdi ga z gumbom »Shrani in natisni za svoj arhiv«.



Nato ga Ric vpiše v svojo bazo in mu omogoči dostop do programa OrKa in e-banke nalog. Šolski administrator ob tem prejme samodejno generirano sporočilo po e-pošti.

Navodila za šolskega administratorja

Po prijavi v program kliknite meni »Administracija« v menijski vrstici.





3 Šolski administrator za e-banko nalog je tudi administrator za program OrKa.



7





Odpre se zavihek »Preglej uporabnike«. V levem delu okna je seznam4 z uporabniškimi imeni, v desnem pa so prikazani maturitetni predmeti. Vsem uporabnikom omogočite dostop do analiz v programu OrKa tako, da v levem oknu najprej označite uporabnika in nato v desnem s kljukico označite enega ali več maturitetnih predmetov, do katerih bo uporabnik dostopal. Svojo izbiro potrdite z gumbom »Potrdi«. Uporabnik bo ob tem prejel samodejno generirano sporočilo z obvestilom o dostopu do programa OrKa; v stolpcu »Orka aktivirana« se pojavi kljukica.



Priporočamo, da učitelju omogočite dostop

do predmeta, ki ga poučuje.

Če uporabnika ni na seznamu v zavihku »Preglej uporabnike«, odprite zavihek »Dodaj uporabnika«. V polje

»Uporabniško ime« vpišite e-naslov uporabnika in ga potrdite z gumbom »Dodaj uporabnika«. Uporabnik prejme samodejno generirano sporočilo z obvestilom o dostopu do programa.



Nato odprite zavihek »Preglej uporabnike«. V levem oknu označite uporabnika, ki ste ga dodali na seznam, in nato v desnem oknu s kljukico označite enega ali več predmetov. S klikom na »Potrdi« uporabniku omogočite dostop do izbranih predmetov.

Uporabnika dodate na seznam v zavihku »Dodaj uporabnika«,

predmete pa mu določite v zavihku »Preglej uporabnike«.





4 Ob uvedbi programa OrKa smo uporabniška imena vseh uporabnikov e-banke nalog na šoli prenesli v program OrKa.



8





Uporabnika lahko s seznama v zavihku »Preglej uporabnike« tudi izbrišete, tako da kliknete na gumb za izbris uporabnika (rdeča vodoravna črtica). Odpre se okno, v katerem lahko izbirate med dvema možnostma: uporabniku lahko izbrišete dostop do OrKe in e-banke nalog za splošno maturo ali pa mu izbrišete uporabniški račun (izbrišejo se vsi njegovi podatki).



Če uporabnik krši pogoje uporabe programa OrKa, mu lahko šolski administrator onemogoči uporabo programa tako, da ga deaktivira. Pri tem se uporabniku izbrišejo kljukice pri predmetih in v program OrKa ne more več vstopati.

Ob prijavi se mu izpiše, da je bila prijava neuspešna in da se lahko za pomoč obrne na šolskega administratorja. Ta mu račun ponovno aktivira tako, da uporabnika označi v levem oknu, nato v desnem s kljukico označi enega ali več predmetov in klikne na »Potrdi«.

Razlaga orodne vrstice

Zavihek »PREGLEJ UPORABNIKE« (levo okno)

Gumbi za premikanje po uporabnikih: prvi, predhodni, naslednji, zadnji.



Izbriše uporabnika.



Deaktivira uporabnika (tj. mu onemogoči uporabo programa).



Zavihek »PREGLEJ UPORABNIKE« (desno okno)

Označi s kljukico vse predmete na seznamu.



Odstrani kljukice pri označenih predmetih na seznamu.



Omogoči uporabniku dostop do označenih predmetov.





9





3.5 Račun

Meni »Račun« omogoča pregled in spreminjanje pogojev uporabe programa, pokaže podatke o uporabniku ter omogoča spreminjanje gesla za vstop v program.



Pogoji uporabe programa

V podmeniju »Pogoji uporabe programa« lahko uporabnik pregleda pogoje, pod katerimi Ric dovoljuje uporabo programa. Na dnu okna sta tudi dve kljukici: s prvo uporabnik skladno z GDPR soglaša, da Ric hrani podatek o njegovem e-naslovu in ga uporablja za upravljanje z uporabniškim računom, z drugo uporabnik sprejema pogoje uporabe. Če uporabnik odstrani soglasje za hrambo e-naslova (odstranita se obe kljukici) in shrani spremembo, se ukine njegov uporabniški račun za program OrKa in e-banko nalog. Če uporabnik ne sprejme pogojev uporabe programa (odstrani drugo kljukico) in shrani spremembo, programa OrKa ne more več uporabljati. Program lahko ponovno uporabi, ko pri vstopu v program sprejme pogoje uporabe programa (označi drugo kljukico).

Podatki o uporabniku

Podatki pokažejo uporabniško ime, vlogo uporabnika (učitelj ali šolski administrator), šifro šole, kjer uporabnik poučuje, področje zunanjega preverjanja (N – NPZ, M – splošna matura, P – poklicna matura), predmete, do katerih uporabnik lahko dostopa, in šolskega administratorja, ki je uporabniku omogočil dostop do programa. Uporabnik naj se z vprašanji obrača nanj.





10





Sprememba gesla

Priporočamo, da po prvi prijavi v program spremenite uporabniško geslo. V polje »Staro geslo« vpišite obstoječe geslo, ki ste ga prejeli od pošiljatelja orka@ric.si, v polje »Novo geslo« pa geslo po svoji izbiri. Novo geslo naj vsebuje vsaj 10 znakov (vsaj eno malo in eno veliko črko ter vsaj eno številko).

S klikom na gumb

lahko geslo skrijete oz. ga prikažete.



4 UPORABA PROGRAMA

V tem poglavju spoznate, kako se pripravijo analize in kako so prikazani podatki.

4.1 Priprava analiz

Izbira analize

Analizo lahko izberete na dva načina:

1. S klikom na izbrano analizo v meniju »Analize« v menijski vrstici (dostop prek menijske vrstice).



2. Z neposrednim klikom na ikono, ki prikazuje posamezno analizo (hitri dostop).





11





Odpre se okno z iskalnimi pogoji.



Iskalni pogoji

Z iskalnimi pogoji določite podatke, ki jih želite prikazati v analizah. V nadaljevanju so opisani pogoji, ki se pojavljajo najpogosteje: vrsta podatkov, izpitni rok, leto, predmet, kandidati v Sloveniji in kandidati na šoli. Ostali, bolj specifični, so pojasnjeni pri posameznih analizah. Iskalne pogoje določite hkrati za Slovenijo in za šolo, za katero lahko izberete tudi različne skupine kandidatov.

Vrsta podatkov

Z izbiro vrste podatkov se odločite, katere dosežke kandidatov želite pregledati v podmeniju oz. ikoni »Osnovne analize«. V osnovnih podatkih lahko izberete splošni uspeh ali uspeh po predmetih, pri porazdelitvi dosežkov, primerjavi dosežkov in podatkih po letih pa so na voljo tri možnosti: splošni uspeh, uspeh pri predmetu po (točkovnih) ocenah in uspeh pri predmetu po odstotnih točkah.

Osnovne analize

Vrsta podatkov

Splošni uspeh

Osnovni podatki

Uspeh po predmetih

Porazdelitev dosežkov

Splošni uspeh

Primerjava dosežkov

Uspeh pri predmetu po (točkovnih) ocenah

Podatki po letih

Uspeh pri predmetu po odstotnih točkah

Izpitni rok

Izbirate lahko med spomladanskim ali jesenskim izpitnim rokom ter letnimi podatki, ki združujejo oba izpitna roka.

Ta pogoj je obvezen pri vseh analizah in ga je treba najprej določiti, saj so nanj vezani drugi iskalni pogoji (npr. leto, predmet in kandidati).





12





Leto

Označuje leto izpitnega roka opravljanja splošne mature. S klikom na gumb se odpre okno »Izberi leto«. Na

seznamu označite leto izpitnega roka in svojo izbiro potrdite z gumbom »Potrdi«. V šifri roka prvi dve števki označujeta leto opravljanja splošne mature, tretja pa izpitni rok (1 = spomladanski izpitni rok, 2 = jesenski izpitni rok).



Pri letnih podatkih se pokaže samo leto opravljanja splošne mature.



Če je seznam dolg, lahko leto poiščete tako, da v polje

»Vnesi iskalne pojme« vnesete ključno besedo s seznama.

Predmet

Označuje predmete, do katerih vam je bil dodeljen dostop. S klikom na gumb se odpre okno »Izberi predmet«.

Na seznamu označite predmet in ga potrdite z gumbom »Potrdi«. Izbira predmeta se pojavlja samo pri analizah po predmetu.



Kandidati v Sloveniji

Kandidate v Sloveniji opredeljujejo: izobraževalni program, način opravljanja splošne mature in status šolanja.

Ločimo jih na referenčno skupino SM, kandidate SM, kandidate PM in redne dijake.





13





Referenčno skupino SM predstavljajo redni dijaki, ki so se v izbranem izpitnem roku prvič prijavili k opravljanju splošne mature iz vseh petih predmetov. V to skupino niso všteti kandidati z maturitetnim tečajem, 21-letniki, odrasli in kandidati poklicne mature.

Kandidate SM predstavljajo vsi kandidati, ki so se v izbranem izpitnem roku prijavili k opravljanju splošne mature iz enega ali več predmetov. V to skupino niso všteti kandidati poklicne mature.

Kandidate PM predstavljajo kandidati poklicne mature, ki so se ob poklicni maturi (s štirimi predmeti) prijavili k opravljanju posameznega izpita iz predmeta splošne mature.

Redni dijaki (pri letnih podatkih) so tisti, ki so se v izbranem letu prvič prijavili k opravljanju splošne mature iz vseh petih predmetov. V to skupino niso všteti kandidati z maturitetnim tečajem, 21-letniki, odrasli in kandidati poklicne mature.

Kandidati na šoli

Z iskalnim pogojem »Kandidati na šoli« lahko izberete skupino oz. vrsto kandidatov na šoli.

»Po enakih pogojih« je privzeta nastavitev, ki pomeni, da za šolo izberete enako vrsto kandidatov kakor za Slovenijo: referenčno skupino SM, kandidate SM, kandidate PM ali redne dijake.



»Po drugih pogojih« lahko za šolo izberete drugo vrsto kandidatov kakor za Slovenijo. Izbirate lahko med spoloma, med različnimi oddelki na šoli, izobraževalnimi programi, načini opravljanja splošne mature in statusi šolanja.

Vrsto kandidatov na šoli lahko sinhronizirate z izbiro kandidatov v Sloveniji s klikom na gumb

.



V analizah po meri lahko vrsto kandidatov določite s spustnega seznama, ki se pokaže s klikom na gumb

.

»Skupina« predstavlja skupino kandidatov, ki ste jo za izbrani rok ustvarili predhodno (glej poglavje »9 Ustvarjanje skupine«), dodatno pa se iz te skupine izbere enaka vrsta kandidatov kakor v Sloveniji: referenčna skupina SM, kandidati SM ali kandidati PM.





14





4.2 Orodna vrstica

Gumbi, ki se pojavljajo pri večini analiz:

ISKALNI POGOJI

Odpre spustni seznam.



Odpre novo okno s seznamom vseh možnih izbir.



Izbriše izbrani pogoj.



Izbriše vse izbrane pogoje.



Pokaže pomoč.



Izvede analizo in prikaže podatke.



TABELA

Shrani v Excel.



Kopira izbrane vrstice.



GRAF

Kopiranje



Urejanje



Tiskanje



Shranjevanje slike



Opozorilo, da desni klik na graf omogoča dodatne nastavitve.





15





4.3 Prikaz podatkov

Ko določite vse iskalne pogoje, kliknite gumb »Prikaži podatke«. Podatki se prikažejo v tabeli in/ali na grafu.



Graf

Vsak graf je opremljen z naslovom in oznakama na oseh x ter y, nekateri imajo tudi podnaslov in legendo.

Na samem grafu je več možnosti za prikazovanje in urejanje podatkov. Opisane so tiste, ki se pojavljajo najpogosteje, ostale so opisane pri analizah.



① Ikone v levem zgornjem kotu okna so: kopiranje, urejanje, tiskanje in shranjevanje slike. Za kopiranje grafa v drug program kliknite gumb »Kopiraj«, nato odprite poljubni program in ga prilepite. S klikom na gumb »Uredi«

se odpre okno, v katerem lahko urejate graf. Če želite graf natisniti, kliknete gumb »Natisni«. Odpre se okno s predogledom, kjer imate možnost urejanja grafa pred tiskanjem. Graf shranite z gumbom »Shrani«.

② S spustnega seznama izberete podatke, ki jih želite prikazati na grafu.

S spustnega seznama izberete vrsto grafičnega prikaza (možno samo pri nekaterih grafih).

③

Z desnim klikom na graf odprete seznam možnosti za dodatno urejanje grafa.



④





16





Tabela

① V levem zgornjem kotu tabele je podatek o številu vrstic v tabeli, zraven sta gumba za izvoz podatkov v Excel in kopiranje.

Če želite tabelo kopirati, najprej kliknete na eno vrstico v tabeli.

Nato na tipkovnici pritisnete Ctrl+a (Ctrl držite in istočasno pritisnete tipko a), potem Ctrl+c, odprete poljubni dokument in vanj prilepite vsebino (Ctrl+v).

② Prikaz podatkov v tabeli lahko prilagodite. Lahko jih uredite padajoče ali naraščajoče s klikom na ime stolpca, po katerem želite razvrstiti podatke. Puščica navzdol ali puščica navzgor pokaže, kako so podatki urejeni (padajoče, naraščajoče).

③ Ko se s kazalcem miške postavite na ime stolpca, se v zgornjem desnem vogalu pojavi znak . S klikom nanj se pokaže seznam vseh vrednosti, ki so trenutno prikazane v tem stolpcu. Podatke filtrirate tako, da označite kvadratek pred vrednostjo. Lahko se odločite tudi za druge možnosti: »Po meri« ponuja ustvarjanje lastnega filtra z dvema kriterijema hkrati, »Vsi« vrne prikaz v prvotno stanje, »prazen« pokaže vsa polja brez vrednosti, »ni prazen« pa vsa polja z zapisanimi vrednostmi. Vse ustvarjene filtre, ki vplivajo na prikaz tabele, lahko vidite v levem spodnjem kotu tabele. Izklopite jih s klikom na križec.

④ Pod imeni stolpcev znotraj tabele je polje »Iskanje«, ki omogoča hitro filtriranje. V izbrano polje pod ime stolpca vpišite želeno vrednost in v tabeli se prikažejo samo vrstice s to vrednostjo.

⑤ V nekaterih tabelah niso prikazani vsi stolpci. Prikažete jih tako, da kliknete na zvezdici pred prvim stolpcem.

Označite tiste, ki jih želite prikazati v tabeli, oziroma odkljukajte tiste, ki jih želite skriti.





17





5 OSNOVNE ANALIZE

Osnovne analize ponujajo šolam različne primerjave dosežkov na šoli s celotno populacijo v Sloveniji, na primer primerjavo splošnega uspeha in uspeha po predmetih, z uporabo skupin pa tudi primerjavo med izobraževalnimi programi in oddelki znotraj šole, primerjavo med spoloma, po letih ipd.

5.1 Osnovni podatki

Namen

Analiza »Osnovni podatki« pokaže podatke o splošnem uspehu in uspehu pri predmetih, iz katerih se je v določenem izpitnem roku na šoli izvajala splošna matura. Izvemo, koliko je bilo prijavljenih, udeleženih ter uspešnih in zlatih maturantov. Za vse podatke sta izračunana povprečje in standardni odklon: tj. za splošni uspeh, (točkovno) oceno in dosežene odstotne točke pri izpitu.

Osnovni podatki omogočajo primerjavo povprečnih dosežkov šole in Slovenije za različne skupine kandidatov v določenem izpitnem roku (spomladanskem, jesenskem ali za celo leto).

Koraki izvedbe

1. S klikom na gumb »Osnovne analize« se odpre zavihek »Osnovni podatki«.

2. V iskalnih pogojih določite »Vrsta podatkov«, »Izpitni rok«, »Leto«, »Kandidati v Sloveniji« in »Kandidati na šoli«. Med kandidati šole izberite eno od dveh ponujenih možnosti:

– po enakih pogojih (privzeta nastavitev), s katero za šolo opredelite enako vrsto kandidatov kakor za Slovenijo; ali

– skupino kandidatov, ki ste jo za izbrani izpitni rok ustvarili predhodno, dodatno pa je bila iz te skupine izbrana enaka vrsta kandidatov kakor v Sloveniji.

3. S klikom na gumb »Prikaži podatke« se prikaže tabela.





18





Razlaga analize

Osnovni podatki omogočajo primerjavo povprečij splošnega uspeha in uspeha po predmetih za šolo in Slovenijo.

Pripravite jih lahko za različne skupine kandidatov na šoli in v Sloveniji v določenem izpitnem roku (spomladanskem, jesenskem ali za celo leto).

Splošni uspeh

Tabela prikazuje podatke o splošnem uspehu na maturi. Število uspešnih predstavlja kandidate, ki so pozitivno opravili maturo (10 – 34 točk), delež uspešnih pa je določen glede na število udeleženih. V računanje povprečja in standardnega odklona so zajeti samo uspešni kandidati. Zlati maturanti so opisani s številom pohval (30–34) oziroma z najvišjim možnim uspehom (34).





Število neudeleženih pri maturi se lahko po šolah razlikuje. V šoli si odgovorite na vprašanje, kateri so razlogi za odsotnost kandidatov (negativna ocena pri predmetu, bolezen, neopravičen izostanek, druge dejavnosti, npr.

tekmovanja itd.).

Uspeh po predmetih

Tabela prikazuje predmete, iz katerih se je v določenem izpitnem roku na šoli izvajala matura. Udeleženi predstavljajo kandidate, ki so opravljali izpit iz posameznega predmeta. Med njimi so pozitivni tisti, ki so prejeli višjo oceno od 1. Povprečna točkovna ocena se določi tako, da se izračuna povprečje vseh točkovnih ocen od 1 do 8.

Povprečje odstotnih točk predstavlja povprečni dosežek kandidatov na izpitu.





19





Stolpci v tabeli (prikazani in skriti):

– »Rok« se pokaže pri izbiri spomladanskega ali jesenskega izpitnega roka, »Leto« pa pri izbiri letnih podatkov.

– Predmet opredeljujeta stolpca »Oznaka predmeta« in »Ime predmeta«.

– »Št. udeleženih« je število kandidatov, ki so opravljali izpit iz posameznega predmeta.

– »Št. pozitivnih« je število kandidatov, ki so prejeli pozitivno oceno.

– »Št. negativnih« je število kandidatov, ki so prejeli negativno oceno.

– »Delež pozitivnih« je razmerje med številom pozitivnih in številom udeleženih kandidatov.

– »Točk. ocena (povp.)« je povprečna točkovna ocena pri predmetu na lestvici od 1 do 8, »Točk. ocena (std.)« pa standardni odklon, ki predstavlja odklon točkovnih ocen od njihovega povprečja.

– »Ocena (povp.)« je povprečna maturitetna ocena pri predmetu na lestvici od 1 do 5, »Ocena (std.)« pa standardni odklon.

– »Odstotne točke (povp.)« so povprečni dosežek pri izpitu v odstotnih točkah.

– »Odstotne točke (std.)« kažejo razpršenost odstotnih točk okrog povprečnega dosežka v odstotnih točkah; višja vrednost standardnega odklona predstavlja večjo razpršenost okrog povprečja.

V tabeli lahko prikažete več stolpcev s klikom na

Če želite prikazati podatke samo za predmete na

zvezdici pred prvim stolpcem.

vaši šoli, odstranite kljukico pri »Vsi predmeti«.

Podatke o uspehu po predmetih potrebujemo, ko bi radi hitro izvedeli, kolikšen je bil dosežek kandidatov pri določenem predmetu na šoli in v Sloveniji.





20





Razmislite, ali ste pričakovali boljši ali slabši dosežek svojih dijakov, ki ga prikazuje statistika povprečni dosežek (ocena in odstotne točke). Pri tem so vam lahko v pomoč primerjave povprečnih dosežkov. Če je povprečni dosežek na šoli višji od državnega, so vaši dijaki v povprečju pokazali več znanja pri maturitetnem izpitu kakor kandidati v Sloveniji. In nasprotno, če je ta nižji, so dijaki vaše šole v povprečju pokazali manj znanja pri izpitu v primerjavi z vsemi kandidati v Sloveniji.

Višji standardni odklon na šoli kakor v Sloveniji nakazuje, da so kandidati na šoli po znanju bolj raznoliki.

Bodite pozorni na število kandidatov na šoli (oz. število v skupini).

Če je število nizko (<20), so lahko statistike nezanesljive, saj je možnost napake zaradi vpliva naključja velika.

Okvirno naj velja, da so rezultati analize pri manj kot 20 kandidatih le orientacijskega pomena.

Če je število kandidatov še nižje (10 ali manj), pa statistike niso uporabne, saj so hitro lahko zavajajoče.

Praktični primer

Splošni uspeh

V tabeli so zbrani podatki za redne dijake, ki so se v spomladanskem izpitnem roku 2020 prvič prijavili k opravljanju splošne mature iz vseh petih predmetov (na šoli: 46, v Sloveniji : 5790).





Delež uspešnih na šoli je bil višji kakor v Sloveniji (na šoli: 97,6 %, v Sloveniji: 94,0 %), vendar v uspešnost niso zajeti neudeleženi dijaki. Če bi upoštevali tudi te, bi bila uspešnost na šoli nižja kakor v Sloveniji (na šoli: 87,0 % = 40/46, v Sloveniji: 90,3 % = 5229/5790).

Podoben razmislek velja tudi za povprečni splošni uspeh, ki je za šolo višji kakor za Slovenijo (na šoli: 22,0 točke, v Sloveniji: 20,4 točke). Vprašanje je, ali bi bil ta za šolo višji tudi v primeru, če bi splošno maturo opravljali vsi prijavljeni 21





dijaki. Zlata maturanta na šoli sta bila dva, v Sloveniji sta bila 302, od tega jih je bilo 15 z najvišjim možnim številom točk (34).

Uspeh po predmetih

V spomladanskem izpitnem roku 2019 se je na šoli izvajala splošna matura iz devetih predmetov. Največ udeleženih dijakov je bilo pri slovenščini, matematiki na osnovni ravni (v nadaljevanju: OR) in angleščini OR, najmanj pa pri matematiki na višji ravni (v nadaljevanju: VR), angleščini VR in pri kemiji.

Deleži pozitivnih na šoli so pri angleščini VR, geografiji, matematiki VR in zgodovini primerljivi z državnimi, pri angleščini OR, biologiji, kemiji, matematiki OR in slovenščini pa so opazno nižji.



Pri ocenjevanju razlike v povprečnem dosežku

Okvirne smernice za interpretacijo

(točkovna ocena in odstotne točke) med šolo in Slovenijo si

velikosti učinka d:

lahko pomagate z izračunom velikosti učinka d5.

0,2 – majhen učinek,



0,5 – opazen (srednje velik) učinek,



0,8 – velik učinek.



Povprečni dosežek šole v odstotnih točkah pri zgodovini je malo nižji od državnega, pri geografiji in angleščini VR

je ta razlika že malo večja, pri matematiki OR, matematiki VR in slovenščini je za šolo povprečni dosežek opazno nižji, pri angleščini OR in biologiji veliko nižji, pri kemiji pa zelo veliko nižji (pri slednjem je velikost učinka d večja od 2,06) kakor v Sloveniji.

Pri interpretaciji dosežkov pri izbirnih predmetih (in predmetih na dveh ravneh zahtevnosti) je treba upoštevati tudi, koliko dijakov na vaši šoli se je odločilo za posamezni predmet. Ta delež je lahko večji ali manjši glede na delež v Sloveniji. Vprašajte se, zakaj se razlikujejo deleži po predmetih na šoli v primerjavi s Slovenijo.





5 Uporaba velikosti učinka za oceno velikosti razlik je opisana v poglavju »10 Velikost učinka«.

6 Podatki za kemijo: M 1 = 78,5 M 2 = 52,5 SDSKUPNO = 12,8

Izračun velikosti učinka: d = ( M 1 – M 2)/ SDSKUPNO = (78,5 – 52,5)/12,8 = 2,0



22





5.2 Porazdelitev dosežkov

Namen

Porazdelitev dosežkov prikazuje dosežke kandidatov pri splošni maturi od najnižjega do najvišjega, in sicer po splošnem uspehu, po uspehu pri predmetu po (točkovnih) ocenah in po uspehu pri predmetu po odstotnih točkah.

Koraki izvedbe

1. S klikom na gumb »Osnovne analize« se odpre zavihek »Osnovni podatki«.

2. Izberete zavihek »Porazdelitev dosežkov«.

3. V iskalnih pogojih določite »Vrsta podatkov«, »Izpitni rok«, »Leto«, »Predmet« (samo pri analizah po predmetu), »Kandidati v Sloveniji« in »Kandidati na šoli«. Med kandidati šole izberite eno od dveh ponujenih možnosti:

– po enakih pogojih (privzeta nastavitev), s katero za šolo opredelite enako vrsto kandidatov kakor za Slovenijo; ali

– skupino kandidatov, ki ste jo za izbrani izpitni rok ustvarili predhodno, dodatno pa je bila iz te skupine izbrana enaka vrsta kandidatov kot v Sloveniji.

4. S klikom na gumb »Prikaži podatke« se prikaže zavihek »Graf«. Podatki za izris grafa so prikazani v zavihku

»Tabela«.

Razlaga analize

Porazdelitev dosežkov ponuja grafični in tabelarični prikaz splošnega uspeha, uspeha po (točkovnih) ocenah in uspeha v odstotnih točkah za posamezni predmet. Porazdelitev lahko prikažete za različne skupine kandidatov na šoli in v Sloveniji v določenem izpitnem roku (spomladanskem, jesenskem ali za celo leto).

Splošni uspeh

Graf prikazuje porazdelitev splošnega uspeha na lestvici od najmanj 10 do največ 34 točk. Za vsako točko splošnega uspeha je z višino stolpca prikazano število kandidatov z enakim dosežkom. Število je zapisano tudi v oblačku nad stolpcem. Z 0 so označeni neudeleženi, z 1 pa neuspešni kandidati pri splošni maturi. Navpični črti na grafu označujeta povprečni dosežek kandidatov v Sloveniji in povprečni dosežek kandidatov na šoli (povprečje je izračunano za uspešne kandidate).





23





S spustnega seznama »Porazdelitev dosežkov« lahko izberete graf

za kandidate v Sloveniji ali graf za kandidate na šoli.



Tabela prikazuje podatke za izris grafov za Slovenijo in za šolo. V stolpcu »Splošni uspeh« so z 0 označeni neudeleženi, z 1 neuspešni, s točkami od 10 do 34 pa kandidati, ki so opravili splošno maturo. V drugih dveh stolpcih je za vsako točko splošnega uspeha zapisano število kandidatov na šoli in v Sloveniji.



Če v iskalnih pogojih izberete »Skupina«, stolpec s številom kandidatov na šoli predstavlja skupino, ki ste jo za izbrani izpitni rok ustvarili predhodno, dodatno pa je bila iz te skupine izbrana enaka vrsta kandidatov kakor v Sloveniji.





24





Uspeh pri predmetu po (točkovnih) ocenah

Graf prikazuje porazdelitev kandidatov pri predmetu po (točkovnih) ocenah od najnižje do najvišje (za predmete na OR na lestvici od 1 do 5, za predmete na VR pa na lestvici od 1 do 8). Z višino stolpca je prikazano število kandidatov z enako (točkovno) oceno. Število je zapisano tudi v oblačku nad stolpcem. Navpični črti na grafu označujeta povprečno (točkovno) oceno kandidatov v Sloveniji in povprečno (točkovno) oceno kandidatov na šoli (povprečje je izračunano iz vseh negativnih in pozitivnih ocen).



Tabela prikazuje podatke za izris grafov za Slovenijo in za šolo. V stolpcu »Točkovna ocena« so zapisane točkovne ocene od 1 do 8, v stolpcu »Ocena« pa ocene od 1 do 5. Vrstica »Skupaj« predstavlja vse kandidate z oceno pri predmetu. V drugih dveh stolpcih je za vsako (točkovno) oceno zapisano število kandidatov na šoli in v Sloveniji.





25





Uspeh pri predmetu po odstotnih točkah

Graf prikazuje dosežke kandidatov pri predmetu v odstotnih točkah, razvrščenih od najnižjega do najvišjega (tj. 0–

100 %). Z višino stolpca je prikazano število kandidatov z istim dosežkom. Število je zapisano tudi v oblačku nad stolpcem. Navpični črti na grafu označujeta povprečni dosežek kandidatov v Sloveniji in povprečni dosežek kandidatov na šoli.



Tabela prikazuje podatke za izris grafov za Slovenijo in za šolo. Stolpec »Odstotne točke« predstavlja dosežke kandidatov v odstotnih točkah od 0 do 100, vrstica »Skupaj« pa vse udeležene kandidate na izpitu iz izbranega predmeta. V drugih dveh stolpcih je za vsak dosežek v odstotnih točkah zapisano število kandidatov na šoli in v Sloveniji.





26





Praktični primer

Splošni uspeh

Graf prikazuje porazdelitev splošnega uspeha kandidatov SM od najnižjega do najvišjega. Ta prikaz uporabimo, kadar želimo izvedeti, koliko kandidatov je doseglo določeno število točk splošnega uspeha in kolikšno je povprečje šole v primerjavi z državnim.

Porazdelitev na šoli je nekoliko pomaknjena v desno. Od kandidatov, ki so uspešno opravili splošno maturo, je največ točk (33) dosegel en kandidat, najmanj (11) pa dva kandidata. Število neudeleženih je 25, število neuspešnih pa 24.

Povprečni splošni uspeh na šoli (22,7 točke) je višji od državnega (20,7 točke).





Vprašajte se, ali je število kandidatov na šoli z določenim številom točk splošnega uspeha višje ali nižje od pričakovanega.





27





5.3 Primerjava dosežkov

Namen

S primerjavo dosežkov si odgovorimo na vprašanje, katerih kandidatov (glede na njihove izkazane dosežke) je bilo v šoli več/enako/manj v primerjavi s kandidati v Sloveniji. Primerjava je mogoča za splošni uspeh, uspeh po predmetu po (točkovnih) ocenah ali po odstotnih točkah.

Koraki izvedbe

1. S klikom na gumb »Osnovne analize« se odpre zavihek »Osnovni podatki«.

2. Izberete zavihek »Primerjava dosežkov«.

3. V iskalnih pogojih določite »Vrsta podatkov«7, »Izpitni rok«, »Leto«, »Predmet« (samo pri analizah po predmetu), »Kandidati v Sloveniji« in »Kandidati na šoli«. Med kandidati šole izberite eno od dveh ponujenih možnosti:

– po enakih pogojih (privzeta nastavitev), s katero za šolo opredelite enako vrsto kandidatov kakor za Slovenijo; ali

– skupino kandidatov, ki ste jo za izbrani izpitni rok ustvarili predhodno, dodatno pa je bila iz te skupine izbrana enaka vrsta kandidatov kakor v Sloveniji.

4. S klikom na gumb »Prikaži podatke« se prikaže zavihek »Graf«. Podatki za izris grafa so prikazani v zavihku

»Tabela«.

Razlaga analize

Z analizo primerjamo dosežke kandidatov v Sloveniji z različnimi skupinami kandidatov na šoli. Primerjavo lahko prikažete v tabeli ali na grafu za splošni uspeh, uspeh po predmetu po (točkovnih) ocenah ali po odstotnih točkah (za celo leto ali za določen izpitni rok).

Program za posamezni interval dosežkov izračuna delež kandidatov na šoli in v Sloveniji. Možni sta dve različici pregleda dosežkov, ki ju izberete na spustnem seznamu »Pregled dosežkov (%)«:

– primerjava šole in Slovenije ali

– razlika med šolo in Slovenijo.





7 Za vrsto podatkov »Uspeh pri predmetu po odstotnih točkah« lahko določite tudi velikost intervala za izris podatkov (5, 10 ali 20).



28



Podrobneje je za izbrano vrsto podatkov opisana primerjava splošnega uspeha kandidatov na šoli in v Sloveniji.

Če na spustnem seznamu izberete »Šola in Slovenija«, se po intervalih dosežkov prikažejo stolpci z deleži kandidatov na šoli in v Sloveniji. Modri stolpci prikazujejo podatke za šolo, oranžni pa za Slovenijo. Višina stolpca predstavlja delež kandidatov.





29





Če na spustnem seznamu izberete »Šola (%) – Slovenija (%)«, se po intervalih dosežkov prikažejo sivi stolpci. Ti prikazujejo, za koliko odstotkov je v istem intervalu dosežkov delež kandidatov na šoli večji, manjši ali enak deležu v Sloveniji. V oblačku so zapisani razlika v odstotkih ter število kandidatov na šoli (Š) in v državi (D).



Podobna prikaza dobite tudi pri primerjavah uspeha pri predmetu

po (točkovnih) ocenah ali po odstotnih točkah.

V zavihku »Tabela« so podatki za izris obeh grafov. V prvem stolpcu so intervali točk splošnega uspeha za uspešno opravljeno maturo (10–34 točk). Temu sledita dva stolpca s podatki za šolo in dva s podatki za Slovenijo (število in delež kandidatov). Stolpca z deleži se izrišeta na grafu primerjave med šolo in Slovenijo. V zadnjem stolpcu so podatki za izris grafa razlike med šolo in Slovenijo.



Enake analize lahko izvedete tudi za primerjavo uspeha pri predmetu po (točkovnih) ocenah ali po odstotnih točkah.

Izrisi grafov so podobni, razlike so samo v prvem stolpcu tabele.

Pri analizi splošnega uspeha (10–34 točk) je v prvem stolpcu splošni uspeh razdeljen na 5 intervalov (10–14, 15–19, 20–24, 25–29, 30–34).





30





Pri analizi uspeha pri predmetu po ocenah so v prvem stolpcu ocene od 1 do 5 oziroma od 1 do 8, kadar pripravljate analizo po točkovnih ocenah.



Pri analizi uspeha pri predmetu po odstotnih točkah prvi stolpec »Interval« predstavlja odstotne točke (interval 20).



Interval odstotnih točk določite v iskalnih pogojih na seznamu »Velikost intervala«. Izberete lahko interval s 5, 10 ali 20 odstotnimi točkami.



Če analiza »Osnovni podatki« omogoča primerjavo povprečnih dosežkov šole in Slovenije, analiza »Primerjava dosežkov« omogoča podrobnejšo primerjavo po intervalih dosežkov. Dijaki na šoli namreč niso nujno porazdeljeni enako kakor v Sloveniji; na nekaterih delih porazdelitve jih je lahko več, drugje manj. Primerjava hitro pokaže, na katerih delih porazdelitve je dijakov na šoli (relativno) več kakor v Sloveniji in kje jih je (relativno) manj. Večji delež dijakov v intervalih z višjim številom odstotnih točk na šoli pomeni, da je na šoli večji delež dijakov z višjim dosežkom pri predmetu na maturi kakor v Sloveniji.

Pri interpretaciji je treba biti pozoren na število dijakov na šoli, ki so vključeni v analizo. Če je teh malo, lahko posamezni dijak predstavlja več odstotkov in razlike glede na deleže dijakov v državi se lahko spreminjajo skokovito.

Pri manjšem številu dijakov je bolj smiselno izbrati manjše število intervalov (npr. velikost intervala 20), dobljene dosežke pa upoštevati zgolj informativno.

Pri manjšem številu dijakov izberite večjo širino intervala,

saj bo tako v posameznem intervalu več dijakov.





31





Pri interpretaciji podatkov upoštevajte kontekst, ki zajema tako značilnosti dijakov, zajetih v analizo, kot tudi značilnosti šolske prakse na tej šoli v preteklem obdobju (izvedba pouka, priljubljenost predmeta na šoli ipd.). Le z upoštevanjem vseh dejavnikov je mogoče soditi o vzrokih za opažene dosežke in ugotavljati, v kolikšni meri se v dosežkih odraža sistematično delo na šoli in v kolikšni meri individualne značilnosti dijakov izbranega leta.

Praktični primer

V šoli so pripravili primerjavo dosežkov po odstotnih točkah pri kemiji. Dobili so ta graf.



Z grafa na sliki lahko razberete, da je bilo pri kemiji v vseh intervalih dosežkov razen v najvišjem manj dijakov kakor v Sloveniji, posledično pa je bilo več dijakov na šoli v najvišjem intervalu 81–100 odstotnih točk. Večji delež dijakov v intervalih najvišjih dosežkov je vsekakor dober rezultat, saj je na šoli večji delež dijakov z višjim dosežkom na maturi kakor v Sloveniji.

Podatki, prikazani na grafu, so na voljo v zavihku »Tabela«. Tam je navedeno tako število dijakov kot odstotek v posameznem intervalu za šolo in za vso Slovenijo. Zadnji stolpec prikazuje razliko med odstotki na šoli in v Sloveniji.





32





5.4 Podatki po letih

Namen

Analize v časovnem zaporedju prikazujejo letne maturitetne dosežke za šolo in Slovenijo ter omogočajo spremljanje trendov. Usmerjajo nas v razmišljanje o vzrokih za opažene spremembe in iskanje možnosti za izboljšanje izkazanega znanja.

Koraki izvedbe

1. S klikom na gumb »Osnovne analize« se odpre zavihek »Osnovni podatki«.

2. Izberete zavihek »Podatki po letih«.

3. V iskalnih pogojih določite »Vrsta podatkov«, »Izpitni rok«, izberite vsa leta, za katera bi radi spremljali dosežke, določite »Predmet« (samo pri analizah po predmetu) in »Kandidati« (vrsta kandidatov je enaka za Slovenijo in šolo).

4. S klikom na gumb »Prikaži podatke« se prikaže zavihek »Graf«. Podatki za izris grafa so prikazani v zavihku

»Tabela«.

Razlaga analize

Z analizami so predstavljeni podatki po letih za splošni uspeh, uspeh pri predmetu po (točkovnih) ocenah ali po odstotnih točkah za enake vrste kandidatov na šoli in v Sloveniji v izbranem izpitnem roku (spomladanskem, jesenskem ali za celo leto).

Posamezna analiza omogoča prikaz štirih različnih grafov: »Šola (povprečje)«, ki za izbrana leta prikazuje povprečne maturitetne dosežke na šoli; »Slovenija (povprečje)«, ki za izbrana leta prikazuje istovrstne podatke na ravni celotne države; »Šola in Slovenija (povprečje)«, kjer sta oba prejšnja prikaza združena na isti sliki, in »Razlika«8, ki prikazuje razlike med šolskim in slovenskim povprečjem.



Podatki za izris grafov so zbrani v tabeli.





8 Pri analizi uspeha pri predmetu po odstotnih točkah je razlika standardizirana in se imenuje »Odklon«.



33





V nadaljevanju je podrobneje pojasnjena analiza uspeha pri predmetu po (točkovnih) ocenah. Graf prikazuje povprečne ocene pri predmetu od leta 2011 do leta 2020. Z oranžnimi stolpci so prikazana povprečja za šolo, z zelenimi pa za Slovenijo. Če v izbranem letu kandidati niso opravljali maturitetnega izpita, stolpca za to leto ni na grafu (npr. oranžni stolpec za l. 2015).



Z izbiro »Razlika« s spustnega seznama »Podatki po letih« se pokažejo razlike med povprečjem šole in Slovenije samo za tista leta, ko se je predmet izvajal na šoli in v Sloveniji.



Podatki za izris zgornjih dveh grafov so v tabeli – za prvega so zbrani v stolpcih »Ocena (povp.)«, za drugega pa v stolpcu »Razlika«.





34





Razlika in odklon se pokažeta samo za kandidate, ki so na šoli opravljali izpit iz posameznega predmeta (stolpec »Št. udeleženih«).



Pri analizi uspeha pri predmetu po odstotnih točkah je razlika standardizirana in se imenuje »Odklon«9. S tem ko je razlika standardizirana, se izniči vpliv nihanj v razpršenosti porazdelitev med posameznimi leti, velikost razlik pa je še vedno primerljiva z odstotnimi točkami. Posledično so primerjave ustreznejše.





Na šoli imate lahko tudi druge večletne podatke,

Če je število udeleženih na šoli 1,

ki bi jih radi opazovali skupaj z maturitetnimi dosežki.

standardni odklon ni izračunan.

V tem primeru tabelo z maturitetnimi dosežki shranite

v Excel, kamor nato dodate svoje podatke.





9 Odklon se izračuna tako, da se od šolskega povprečja odstotnih točk odšteje slovensko povprečje odstotnih točk v izbranem izpitnem roku. Razlika se deli s standardnim odklonom dosežkov za izbrani izpitni rok v Sloveniji in pomnoži s konstanto.

Konstanta je prečni standardni odklon za kandidate v Sloveniji, ki so opravljali maturitetni izpit v vseh izbranih izpitnih rokih (koren povprečne variance odstotnih točk).



35





Praktični primer

Uspeh pri predmetu po odstotnih točkah

V šoli so med leti 2012 in 2021 za redne dijake pri slovenščini dobili graf, ki prikazuje odklon.



Rezultati kažejo, da so se odstotne točke pri izpitu iz slovenščine med leti 2012–2016 na šoli gibale okoli slovenskega povprečja – kakšno leto malo nad, drugič pod povprečjem. V zadnjih letih, od l. 2017 dalje, lahko vidimo stalne podpovprečne rezultate. Čeprav izpiti iz slovenščine med leti niso neposredno primerljivi (identični), odkloni jasno kažejo, da je šola po dosežkih pri tem predmetu sedaj tipično pod slovenskim povprečjem, pred letom 2017 pa je bila s svojimi dosežki okoli državnega povprečja.

Statistični interpretaciji mora sedaj slediti vsebinska: kaj so razlogi za opaženi trend. Gre za nekaj zaporednih

»slabših« generacij dijakov ali se je v zadnjih letih spremenil pouk? Se je zamenjal kak učitelj, je učbenik za slovenščino drug, ali učitelji sedaj učijo drugače? Preplet različnih dejavnikov vpliva na opažene rezultate, zato je treba biti pri interpretaciji previden. Kontekst, v katerem deluje šola, je zunanjim opazovalcem običajno neznan in najbolje si lahko na ta vprašanja odgovorijo le na šoli sami. Kadar želi učitelj iz podatkov izluščiti ugotovitve o večletnih trendih, naj v analizo vključi vsaj pet zaporednih izpitnih rokov.

Če v primerjavi po letih izberete »Odklon«, lahko primerjate isto generacijo pri različnih predmetih. Za vsak predmet izrišete primerjavo po letih (izberete ista leta). Odkloni za posamezno leto vam pokažejo, kako se je ista generacija dijakov izkazala pri različnih predmetih. Če so razlike zelo velike (npr. ista skupina dijakov je pri treh predmetih izrazito nadpovprečna, pri dveh pa podpovprečna), potem je to lahko izhodišče za razpravo o dejavnikih, ki vodijo do teh dosežkov.





36





6 ANALIZE PO NALOGAH

Namen

Analize po nalogah pokažejo podatke, s katerimi učitelj lahko dobi vpogled v vsebinske vidike znanja svojih dijakov in primerjavo tega znanja z vsemi kandidati v Sloveniji. Na ravni postavk dajejo tudi vpogled v konkretne (digitalizirane) odgovore posameznih dijakov za leta, ko so se izpiti ocenjevali elektronsko.

S stališča vsebinske analize je to najmočnejše orodje v programu, saj daje učitelju povratno informacijo o učenju in poučevanju, npr. ali je bila pri pouku osvojena učna snov, ki je zajeta v nalogah (sploh ne, površinsko, poglobljeno ipd.), odgovore o močnih in šibkih področjih v znanju dijakov ter najpogostejših napakah dijakov pri reševanju nalog.

Koraki izvedbe

1. S klikom na gumb »Analize po nalogah« se odpre zavihek »Priprava podatkov«.

2. V iskalnih pogojih določite »Izpitni rok«, »Leto«, »Predmet«, »Kandidati v Sloveniji« in »Kandidati na šoli«. Med kandidati šole izberite eno od treh ponujenih možnosti:

– po enakih pogojih (privzeta nastavitev), s katero za šolo opredelite enako vrsto kandidatov kakor za Slovenijo;

– po drugih pogojih, s katero za šolo določite drugo vrsto kandidatov kakor za Slovenijo (glede na spol, oddelek, program, način opravljanja mature in status šolanja); ali

– skupino kandidatov, ki ste jo za izbrani izpitni rok ustvarili predhodno, dodatno pa je bila iz te skupine izbrana enaka vrsta kandidatov kakor v Sloveniji.

3. S klikom na gumb »Prikaži podatke« se odpre zavihek »Analize«.

4. S klikom na zavihek »Graf« se pokaže slika, ki prikazuje primerjavo indeksa težavnosti po nalogah in postavkah na državni in šolski ravni.

5. S klikom na zavihek »Naloga« se pokaže naloga, ki ste jo označili v zavihku »Analize«.

Razlaga zavihka »Analize«

Tabela v zavihku »Analize« prikazuje statistične in vsebinske podatke za naloge in postavke v maturitetnem izpitu.

Statistični podatki so izračunani za kandidate v Sloveniji (stolpci SLO) in za kandidate na šoli (stolpci Šola10).

Vsebinski podatki opisujejo lastnosti nalog, ki jih je za vsako nalogo v poli določila predmetna komisija.





10 V stolpcih »Šola« so podatki za tiste kandidate šole, ki ste jih predhodno določili v iskalnih pogojih (zavihek »Priprava podatkov/Kandidati na šoli«).



37





① Podatke v tabeli lahko prilagajate:

– Podatke za naloge, postavke ali oboje skupaj izberete s spustnega seznama »Prikaži: Naloge in postavke«.

– Tabelo shranite s klikom na »Shrani tabelo«.

– Odgovore kandidatov za posamezno postavko pogledate s klikom na »Ogled slike« – ogled je mogoč, če s spustnega seznama »Prikaži:« izberete samo »Postavke«.

– Vsebinske podatke skrijete tako, da odstranite kljukico v okencu »Vsebinski podatki«.

② Razlaga stolpcev:

– »Pola« označuje posamezni del izpita (P1A-OR, P2-OR, P3B-OR …).

– V stolpcih »Naloga« in »Postavka« so zapisane oznake za naloge in postavke iz podatkovne baze Rica (običajno se ujemajo z oznakami v moderiranih navodilih za ocenjevanje);

– Stolpci s statističnimi podatki za naloge in postavke dajejo informacijo o njihovih merskih značilnostih:

– »Točke (možne)« je najvišje možno število točk;

– »Št. kandidatov« je število kandidatov, ki so reševali nalogo/postavko;

– »Točke (povp.)« je povprečno število absolutnih točk;

Std. odklon in indeks

– »Std. odklon« kaže razpršenost dosežkov okrog povprečnega

ločljivosti sta na prikazu

števila absolutnih točk;

skrita. Prikažete ju tako, da

– »Indeks težavnosti« je težavnost naloge/postavke in označuje

kliknete na zgornjo zvezdico

relativni povprečni dosežek pri nalogi. Vrednost 1 kaže láhko

pred prvim stolpcem in ju

nalogo (rešili so jo vsi), vrednost 0 pa zahtevno nalogo (rešil je ni označite na seznamu.

nihče);



– »Razlika« se izračuna tako, da se od indeksa težavnosti za šolo odšteje indeks težavnosti za Slovenijo;

– »Indeks ločljivosti« pove, kako dobro naloga ločuje uspešnejše kandidate od manj uspešnih glede na njihov dosežek pri poli. Višji kot je indeks, bolje naloga razlikuje kandidate po uspešnosti.

– Stolpci »Vsebinski podatki« predstavljajo lastnosti nalog, ki se lahko po predmetih razlikujejo.





38





Ogled slike

Gumb »Ogled slike« omogoča vpogled v odgovore kandidatov šole pri posamezni postavki. Znanje kandidatov je tako predstavljeno s konkretnimi primeri, ki kvalitativno opisujejo močna in šibka področja v njihovem znanju.

Odgovore kandidatov si pogledate tako, da najprej s spustnega seznama »Prikaži:« izberete »Postavke« (①), nato označite eno od postavk v tabeli in kliknete na »Ogled slike« (②). Odpre se okno »Prikaz postavke za kandidate«.



V levem delu okna »Prikaz postavke za kandidate« je tabela, v desnem pa slika postavke. V tabeli so za posameznega kandidata zapisani točkovna ocena, skupne točke pri izpitu (v %), absolutne točke pri testu, na koncu poleg vsakega je obarvan krožec. Če je ta zelen, si kandidatov odgovor lahko ogledate. Z rdečim krožcem pa so označeni odgovori, ki na Ricu niso bili optično prebrani, zato slike postavk niso na voljo (npr. odgovori kandidatov s posebnimi potrebami).



Ogled slike je mogoč samo za postavke, ki so bile ocenjene elektronsko (od leta 2017 naprej).





39





Razlaga zavihka »Graf«

Na grafu so s stolpci predstavljeni indeksi težavnosti za naloge (oz. postavke). Za vsako postavko sta prikazana dva stolpca: za kandidate na šoli in kandidate v Sloveniji. Če je stolpec za šolo višji od stolpca za Slovenijo, so kandidati šole, v primerjavi z vsemi kandidati v državi, postavko reševali uspešneje. Na grafu lahko prikazujete več statistik: indeks težavnosti, povprečne točke, standardni odklon in indeks ločljivosti. Statistiko izberete s spustnega seznama

»Graf«.





40





Razlaga zavihka »Naloga«

Okno prikazuje tisto nalogo z rešitvijo, ki je označena v zavihku »Analize«. V okencu »Predmet« sta zapisana ime predmeta in datum izpita, v okencu »Izpitna pola/Naloga« pa zaporedna številka naloge v poli.





41





Razlaga orodne vrstice

Gumb za premikanje po nalogah: prvi, predhodni, naslednji, zadnji.





Odpre nalogo v Wordu.



Odpre rešitev v Wordu.



Odpre prilogo v Wordu.



Označite, če želite na zaslonu prikazati rešitev.



Označite, če želite, da se rešitev na zaslonu prikaže desno od naloge.



Poveča/Zmanjša sliko na zaslonu.





42





Praktični primer

Če želite izvedeti, katere naloge so dijaki reševali najuspešneje in katere najmanj uspešno, odprete zavihek »Analize«

in jih izberete s spustnega seznama »Prikaži:«. V tabeli jih razvrstite po indeksu težavnosti za šolo; naloge z najvišjim indeksom je rešil največji delež dijakov, naloge z najnižjim indeksom pa najmanjši delež.

Pri kemiji so dijaki šole v 1. izpitni poli najuspešneje reševali 21. in 23. nalogo (indeksa težavnosti sta pri obeh 0,98), najmanj uspešno pa 27. in 14. nalogo (indeksa težavnosti sta 0,28 in 0,26).

Naloge so razvrščene

po indeksu težavnosti

za šolo od najvišjega

do najnižjega.



V 2. izpitni poli so najuspešneje reševali 3. in 6. nalogo (indeksa težavnosti sta 0,91 in 0,88), najmanj uspešno pa 10.

in 13. nalogo (indeksa težavnosti sta 0,48 in 0,43).



Najslabše reševani nalogi si ogledate s klikom na zavihek »Naloge«.





43





10. naloga



13. naloga





44





Obe nalogi sta iz več postavk, ki so jih dijaki reševali različno uspešno. Pri 10. nalogi so bolje rešili postavko 10.1

(indeks težavnosti je 0,79) in slabše postavki 10.2 in 10.3 (indeksa težavnosti sta 0,35 in 0,30). Pri 13. nalogi so bolje rešili postavko 13.1 kakor postavko 13.2 (indeksa težavnosti sta 0,47 in 0,33).



Relativen vpogled v znanje dijakov šole pridobite tako, da po nalogah (oz. postavkah) primerjate njihove dosežke z dosežki vrstnikov v Sloveniji. Primerjavo omogočata indeksa težavnosti za šolo in Slovenijo ter razlika med njima.

Pozitivna razlika pomeni, da so dijaki na šoli nalogo (oz. postavko) reševali uspešneje kakor kandidati v državi, če pa je ta negativna, so jo uspešneje reševali kandidati v državi.

Poglejte, kako so najslabše reševani nalogi na šoli (10. in 13.) reševali kandidati v Sloveniji.



Ugotovitev o težavnosti teh dveh nalog je za državo podobna kakor za šolo – tudi kandidati v državi so ju reševali slabše. Dijaki na šoli so v primerjavi z vrstniki v državi nekoliko uspešneje rešili postavko 10.1 (razlika je 0,04), vse druge postavke pa manj uspešno (razlike so od –0,02 do –0,05).

Odstopanja za vse postavke lahko pogledate tako, da jih s klikom na stolpec »Razlika« razvrstite od npr. največje pozitivne do največje negativne razlike. V prvi vrstici je postavka, pri kateri so bili dijaki šole v povprečju najuspešnejši v primerjavi z njihovimi vrstniki v Sloveniji, v zadnji pa postavka, pri kateri so bili dijaki šole primerjalno najmanj uspešni.

Podobno primerjavo omogoča graf z indeksom težavnosti po postavkah (zavihek »Graf«), le da vrstnega reda postavk tu ne morete spreminjati.

Na grafu ne morete spreminjati vrstnega reda postavk.

Posebno pozornost posvetite postavkam, ki so jih dijaki šole reševali opazno manj uspešno kakor kandidati v Sloveniji, in poskušajte poiskati razloge za razhajanja. Poglejte vsebinske podatke in odgovorite, katero vsebinsko področje pokrivajo, katere cilje in taksonomske stopnje preverjajo ter ali je na uspešnost reševanja vplival tip naloge.



45



Postavke so razvrščene

po razlikah od največje pozitivne

do najmanjše negativne.



Iz tabele je razvidno, da so dijaki na šoli postavko 05.2 reševali najuspešneje v primerjavi s kandidati v Sloveniji (pozitivna razlika), postavki 09.3 in 07.3 pa najmanj uspešno (negativna razlika). Postavka 05.2 je preverjala poznavanje izraza konstante za kemijsko ravnotežje. Na šoli je to postavko uspešno rešilo 81 % dijakov, v Sloveniji pa 70 % (razlika je 0,11 oziroma 11 %). Pri postavki 09.3 je bilo treba izračunati standardni elektrodni potencial boljšega reducenta v galvanskem členu. Na šoli jo je uspešno rešilo 46 % dijakov, v Sloveniji pa 57 % (razlika je –0,11

oziroma 11 %).

Razloge za primerjalno slabše reševane postavke na šoli kakor v Sloveniji lahko poiščete med najpogostejšimi napakami dijakov pri reševanju nalog oz. postavk (odgovori dijakov se pokažejo s klikom na »Ogled slike« – ogled je mogoč, če s spustnega seznama »Prikaži:« izberete samo »Postavke«). Npr. postavko 09.3 so uspešnejši dijaki po skupnem dosežku v večini rešili pravilno (odgovor –0,13 V, tj. od standardne napetosti polčlena 0,34 V, ki je boljši oksidant, so odšteli standardno napetost galvanskega člena 0,47 V). Dijaki s srednjimi dosežki so pogosteje napačno odštevali (odgovor 0,13 V) oziroma napačno seštevali (0,81 V). Najmanj uspešni dijaki pa postavke 09.3 pogosto sploh niso reševali.

Podobno kot v opisanem primeru lahko najpogostejše napake poiščete tudi pri drugih postavkah v izpitni poli in ugotovitve uporabite pri svojem poučevanju.





46





7 ANALIZA DODANE VREDNOSTI

Namen

Analiza dodane vrednosti prikazuje napredek znanja pri maturitetnem predmetu, ki se kaže v dosežkih kandidatov na maturi glede na njihove dosežke pri NPZ v 9. razredu. Z analizo dodane vrednosti lahko ugotovimo, kako so kandidati na šoli napredovali v znanju, ki so ga izkazali pri maturitetnem izpitu v primerjavi z vrstniki s primerljivimi dosežki na NPZ v Sloveniji.

Uvod v analizo dodane vrednosti

Pri analizi dodane vrednosti se za vse kandidate v Sloveniji izračuna11 tipičen napredek med dosežki NPZ v 9. razredu in izbranim predmetom na maturi (zelena črta na grafu), ki ga uporabimo pri napovedi dosežkov kandidatov na maturi, – to so napovedani dosežki kandidatov. Za posameznega kandidata se nato izračuna razlika med njegovim dejanskim in napovedanim dosežkom pri izbranem maturitetnem predmetu. Na grafu zelena črta prikazuje napovedane dosežke kandidatov, rumene pike pa so dosežki posameznih kandidatov izbrane šole. Razlika je na grafu označena kot modra daljica, ki rumeno piko povezuje z rožnato na črti napovedanih dosežkov.



Kandidat B je na grafu označen z rumenim krožcem B na zeleni črti. Kandidat je na NPZ v 9. razredu dosegel 65

odstotnih točk, njegov napovedani dosežek pri maturitetnem izpitu pa je 60 odstotnih točk. Ker odstotne točke med preizkusi NPZ in maturitetnimi izpiti niso neposredno primerljive, nikakor ne smemo trditi, da se je njegovo znanje matematike znižalo za 5 odstotnih točk. Za kandidata B velja, da se njegov napovedani dosežek popolnoma ujema z dejanskim dosežkom. Vendar pa tega ne moremo trditi za kandidata A in C. Ugotovimo lahko, da se njuna dejanska dosežka (rumena krožca) razlikujeta od napovedanih (rožnata krožca na zeleni črti). Razliko označuje modra daljica, ki povezuje rumeni (dejanski dosežek) in rožnati krožec na zeleni črti (napovedani dosežek).

Mera dodane vrednosti je povprečna razlika med napovedanimi in dejanskimi dosežki kandidatov posamezne šole.



11 Pri predmetih, ki imajo na ravni države 500 kandidatov ali manj, se uporabi metoda z linearno regresijo (ravna črta), sicer pa metoda mediane (lomljena črta). Več o izračunu je napisano v poglavju »Posebna poglavja – Dodana vrednost«.



47





Koraki izvedbe

1. S klikom na gumb »Analiza dodane vrednosti« se odpre zavihek »Priprava podatkov«.

2. V iskalnih pogojih določite »Izpitni rok«, »Leto«, »Predmet SM« (predmet splošne mature), »Predmeti NPZ-9«

(en ali več predmetov NPZ v 9. razredu) in »Kandidati na šoli«. Med kandidati šole izberite eno od treh ponujenih možnosti:

– referenčno skupino SM za spomladanski izpitni rok (privzeta nastavitev): predstavlja redne dijake na šoli, ki so se v izbranem spomladanskem izpitnem roku prvič prijavili k opravljanju splošne mature iz vseh petih predmetov, ali

kandidate SM za jesenski izpitni rok (privzeta nastavitev): predstavlja vse kandidate na šoli, ki so se v izbranem jesenskem izpitnem roku prijavili k opravljanju splošne mature (iz enega ali več predmetov), k tem pa niso všteti kandidati poklicne mature;

– po drugih pogojih, ki omogoča, da za šolo poiščete kandidate, ločene po spolu, iz različnih izobraževalnih programov, oddelkov na šoli, z različnimi načini opravljanja splošne mature in statusi šolanja; ali

– skupino kandidatov, ki ste jo za izbrani izpitni rok ustvarili predhodno.

Kandidati v Sloveniji v iskalnih pogojih niso prikazani, saj je za Slovenijo v vseh analizah upoštevana referenčna skupina SM v spomladanskem izpitnem roku.

3. S klikom na gumb »Prikaži podatke« se odpre zavihek »Graf«, ki prikazuje analizo dodane vrednosti.

4. S klikom na zavihek »Tabela« se pokažejo statistike za kandidate v Sloveniji in izbrane kandidate na šoli.





48





Razlaga zavihka »Graf«

Graf je opremljen z naslovom (»Analiza dodane vrednosti«), podnaslovom (izpitni rok splošne mature, dodana vrednost [DV] s povprečjem in standardno napako), absciso (odstotne točke NPZ pri enem ali več predmetih v 9.

razredu), ordinato (odstotne točke splošne mature pri izbranem predmetu) in legendo (trend za Slovenijo in izbrani kandidati na šoli).

Na grafu modra črta prikazuje (napovedane) dosežke za Slovenijo, rdeče pike pa predstavljajo dosežke izbranih kandidatov na šoli. Črne (črtkane) črte kažejo povprečja dosežkov za šolo in Slovenijo (črte za šolo in pike za Slovenijo). Z desnim klikom prikličete meni, v katerem lahko izberete dodatne elemente: odstranite črti za povprečja dosežkov, prikažete točkovne ocene in pogoje za šolo. Ti so zapisani pod legendo in ustrezajo iskalnim kriterijem v zavihku »Priprava podatkov«.



Spustni seznam nad grafom »Barve na grafu« omogoča, da se podatki na grafu obarvajo različno glede na spol, oddelek, izobraževalni program ali leto opravljanja NPZ. S klikom v ustrezna okenca legende lahko posamezne skupine kandidatov na grafu skrijete ali prikažete, vendar to ne spremeni izračunov v povezani tabeli ali mere DV v naslovu grafa. Če želite za posamezno skupino (npr. spol, oddelek itd.) prikazati pravo vrednost DV, morate pri pripravi podatkov izbrati kandidate »Po drugih pogojih«.

Prikaz grafa se prilagaja glede na podatke.

S klikom na ikono

se prikaz vrne na privzete

vrednosti.





49





Dodana vrednost in standardna napaka

»DV (dodana vrednost)« je dodana vrednost šole, izračunana kot povprečje razlik med dejanskimi in napovedanimi dosežki kandidatov pri maturitetnem predmetu na tej šoli. Izražena je v odstotnih točkah izbranega maturitetnega izpita. Npr. šola z DV = 1 ima kandidate, ki so na maturitetnem izpitu v povprečju dosegli eno odstotno točko več kakor primerljivi kandidati v Sloveniji (primerljivi glede na dosežek pri NPZ v 9. razredu).

»Std. napaka« je mera, ki kaže natančnost izračuna dodane vrednosti. Glede na število kandidatov na šoli in glede na različnost njihovih odstopanj med dejanskimi in napovedanimi dosežki je lahko ocenjena dodana vrednost šole bolj ali manj zanesljiva. Stabilnost ocenjene dodane vrednosti v odvisnosti od teh dveh dejavnikov izraža navedena standardna napaka, ki je, statistično gledano, izračunana kot standardna napaka aritmetične sredine (dodane vrednosti). Tudi interpretiramo jo podobno – če je izračunana dodana vrednost po velikosti vsaj dvakrat večja od ustrezne standardne napake, potem je statistično pomembno različna od 0 (pri stopnji tveganja 5 %).

Primer: DV = 0,94 ± 0,57, pri čemer 0,94 predstavlja povprečje razlik med dejanskimi in napovedanimi dosežki, 0,57

pa standardno napako za izračun povprečja.

Če je v Sloveniji opravljalo izbrani maturitetni predmet vsaj 500 kandidatov, ki so opravljali tudi enega ali več predmetov v 9. razredu, je na grafu prikazana črta po metodi mediane, sicer je prikazana črta linearne regresije. Za samo interpretacijo to v večini primerov ni pomembno.

Razlaga zavihka »Tabela«



V zavihku »Tabela« so osnovni podatki za Slovenijo (referenčna skupina SM v spomladanskem roku) in kandidate na šoli. Vsebuje te vrstice:

– »Št. udeleženih« – število vseh kandidatov, ki so skladno z izbranimi pogoji opravljali maturitetni predmet;

– »Št. povezanih« – število kandidatov, ki smo jih uspeli povezati z njihovim dosežkom na NPZ v 9. razredu;

– »Delež povezanih« – odstotek povezanih, izračunan iz razmerja med številom povezanih in številom udeleženih;

– »Povp. dosežek SM« – povprečno število odstotnih točk pri maturitetnem izpitu;

– »Povp. dosežek NPZ« – povprečno število odstotnih točk pri enem predmetu ali standardizirana vrednost pri več predmetih NPZ v 9. razredu.

Če pri predmetih NPZ-9 za analizo izberete en predmet (materinščino ali matematiko), je povprečno število odstotnih točk zapisano na obvestilu o uspehu na NPZ, ki ga prejme učenec. Če za analizo 50





izberete več predmetov – v iskalnih pogojih »Skupaj (predmeti)«, se za povprečno število odstotnih točk uporabijo standardizirane vrednosti12. Na ordinati je izražen dosežek pri izbranem predmetu mature v odstotnih točkah.

Dodana vrednost (DV) šole je izražena v odstotnih točkah izbranega maturitetnega izpita. Dodana vrednost +2,0

pomeni, da so v povprečju kandidati na šoli pri izbranem predmetu na maturi dosegli za 2 odstotni točki več, kot bi to napovedali glede na njihove predhodne dosežke v 9. razredu in glede na tipični napredek vrstnikov z enakimi predhodnimi dosežki.

Zavedati se moramo, da se dosežki preizkusov na NPZ in pri splošni maturi ne izražajo na isti točkovni lestvici in da med sabo niso neposredno primerljivi. Enako število odstotnih točk na NPZ in na maturi tako ne predstavlja enakega znanja, niti ne predstavlja istega položaja glede na sovrstnike v Sloveniji. Kar lahko primerjamo, je napredek posameznega kandidata z napredkom vrstnikov, ki so imeli v 9. razredu enak dosežek kot on. Takšen napredek je seveda relativen in približno polovica kandidatov je tipično nad povprečjem, polovica pa pod njim.

Če je mera dodane vrednosti za šolo negativna, to ne pomeni, da so kandidati na šoli nazadovali. Zagotovo so namreč vsi kandidati v štirih letih srednje šole v znanju napredovali, vendar zaradi načina sestave preizkusov NPZ in maturitetnih izpitov tega ne moremo ovrednotiti. Negativna vrednost nam pove, da so kandidati šole na maturitetnem izpitu v povprečju dosegli manj kakor njihovi vrstniki s podobnimi dosežki v 9. razredu.

Negativna dodana vrednost ne pomeni nazadovanja v znanju,

ampak manjši napredek od povprečnega v Sloveniji.

Običajno je približno pri polovici šol ta vrednost pozitivna in

pri polovici negativna.

Praktični primer

V šoli so z analizo dodane vrednosti pripravili graf in tabelo.

Z grafom dodane vrednosti v šoli spremljajo napredek 167 dijakov, kar predstavlja 98,2 % vseh rednih dijakov, ki so tisto leto pri njih pisali maturo iz slovenščine. Primerjava podatkov vseh kandidatov v Sloveniji in dijakov te šole nam pokaže, da imajo dijaki na šoli višji povprečni dosežek v odstotnih točkah na maturi (74,2 na šoli in 69,5 v Sloveniji) in da so imeli isti dijaki tudi na NPZ v 9. razredu višji povprečni dosežek v odstotnih točkah (70,6 na šoli in 67,7 v Sloveniji). Ker so bili dosežki dijakov izbrane šole že na NPZ v povprečju višji od slovenskega povprečja, višji dosežki štiri leta pozneje na maturi niso popolnoma nepričakovani. Zgolj razlika med šolskim in državnim povprečjem na maturi pa ne pove, ali so dosežki dijakov nad pričakovanji (napovedanimi vrednostmi) ali ne.





12 Standardizirane vrednosti (oz. skupni standardizirani dosežki NPZ): Najprej se dosežki NPZ pri posameznih predmetih standardizirajo (od dosežkov se odšteje aritmetična sredina, dobljena razlika se deli s standardnim odklonom dosežkov pri posameznem predmetu). Nato se za vsakega posameznika izračuna povprečni dosežek vseh predmetov skupaj. Tako dobljene vrednosti se pomnožijo z 10, nato se vsaki prišteje 50, oziroma se izrazijo v lestvici, ki je v statistiki znana kot Z-lestvica, ki ima aritmetično sredino 50 in standardni odklon 10.



51





S slike vidimo, da je večina pik, ki označuje posamezne dijake, nad črto napovedanih dosežkov, kar kaže na to, da so napredovali več kakor vrstniki s primerljivimi dosežki v Sloveniji. Enako kaže tudi izračunana dodana vrednost (2,5).

V povprečju je torej 167 dijakov te šole doseglo 2,5 odstotne točke več, kot bi to pričakovali glede na njihove dosežke pri materinščini v 9. razredu oz. glede na tipični napredek njihovih vrstnikov z enakimi dosežki.



Standardna napaka (0,57), ki je precej manjša od izračunane dodane vrednosti, kaže na to, da gre za dokaj zanesljivo oceno dodane vrednosti.





52





8 ANALIZE PO MERI

Namen

Analize po meri omogočajo pripravo analiz, ki so v največji možni meri prilagojene željam uporabnika. Omogočajo prikazovanje enega ali več nizov podatkov hkrati (npr. dva niza – Šola in Slovenija; trije nizi – programi splošne, tehniške in ekonomske gimnazije; štirje nizi – oddelki A, B, C, D hkrati ipd.), analize po splošnem uspehu in ocenah, primerjave več predmetov hkrati ipd. Te analize je mogoče tudi shraniti in nato ponovno odpirati.

Analize po meri so v največji možni meri prilagojene željam uporabnika.

Koraki izvedbe

1. Kliknete gumb »Analize po meri«.

2. V zavihku »Izbira analize« izberete analizo ter označite osnovne in napredne nastavitve.

3. V iskalnih pogojih zavihka »Priprava podatkov« določite «Izpitni rok«, »Leto«, »Predmet« ter kandidate v Sloveniji in kandidate na šoli.

Kliknete gumb »Dodaj podatke«. Podatki se izračunajo in dodajo na seznam nizov podatkov v spodnji del okna. Za dodajanje drugih nizov ponovite koraka 2 in 3.

4. Ko ste ustvarili vse želene nize, kliknete na zavihek »Graf«.

Vrstni red nizov na zavihku »Priprava podatkov« določa

tudi vrstni red nizov na grafu.





53





Razlaga zavihka »Izbira analize«

Analize

Program omogoča pripravo sedmih različnih analiz.



»1 - Analiza splošnega uspeha pri maturi«: prikaže razvrstitev kandidatov po doseženem splošnem uspehu pri maturi (pri splošni maturi je možno doseči 34 točk).

»2 - Analiza splošnega uspeha v zaključnem letniku«: prikaže razvrstitev kandidatov po uspehu v zadnjem letniku srednje šole (ocene od 2–5; upoštevani so pozitivni kandidati v zaključnem letniku srednje šole, kar je pogoj za opravljanje mature).

»3 – Analiza uspeha pri predmetu po ocenah«: razvrstitev kandidatov po doseženih ocenah pri posameznih predmetih splošne mature (ocene od 1–5).

»4 – Analiza uspeha pri predmetu po točkovnih ocenah«: razvrstitev kandidatov po doseženih točkovnih ocenah pri posameznih predmetih splošne mature (točkovne ocene od 1–8).

»5 – Analiza uspeha pri predmetu po ocenah v zaključnem letniku«: razvrstitev kandidatov po doseženih ocenah pri posameznih predmetih v zadnjem letniku srednje šole (ocene od 2–5; upoštevani so pozitivni kandidati v zaključnem letniku srednje šole, kar je pogoj za opravljanje mature).

»6 –- Analiza uspeha pri predmetu po odstotnih točkah«: razvrstitev kandidatov po doseženih odstotnih točkah pri posameznih predmetih splošne mature (odstotne točke od 0–100).

»7 – Analiza uspeha pri posameznih delih izpita po točkah (na 100 %)«: razvrstitev kandidatov po odstotnih točkah pri posameznih delih izpita (pisni del, ustni del, naloga ali vaje).





54





Osnovne in napredne nastavitve

Pri posamezni analizi lahko določite osnovne in napredne nastavitve.

Osnovne nastavitve se po analizah razlikujejo, določajo pa jih trije pogoji:

– »Upoštevaj samo pozitivne kandidate« zagotavlja, da program ne pokaže kandidatov, ki niso opravili mature, tj. neudeleženih in neuspešnih kandidatov, ki so prikazani s točkama 0 in 1. Izbira je na voljo pri analizah splošnega uspeha: »1 – Analiza splošnega uspeha pri maturi« in »2 – Analiza splošnega uspeha v zaključnem letniku«;

– »Poizvedba za celo leto« izvede analizo za celo leto in ne za posamezni izpitni rok. Za kandidata, ki je maturo opravljal v spomladanskem in jesenskem izpitnem roku, to pomeni, da se v analizi upošteva njegov boljši uspeh. Nastavitev lahko izberete pri analizi splošnega uspeha in pri analizah uspeha pri predmetu: »1 –

Analiza splošnega uspeha pri maturi«, »3 – Analiza pri predmetu po ocenah« in »4 – Analiza pri predmetu po točkovnih ocenah«;



– »Velikost intervala« ponuja seznam z intervali odstotnih točk (1, 2, 5, 10 ali 20). Interval se uporablja za risanje grafov pri analizah pri predmetu po odstotnih točkah: »6 – Analiza uspeha pri predmetu po odstotnih točkah« in »7 – Analiza uspeha pri posameznih delih izpita po točkah (na 100 %)«.



Napredne nastavitve so pri vseh analizah enake. Prikažete lahko kratke oznake za opis pogojev in kombinirate različne analize.

– »Prikaz kratkih oznak za opis pogojev« izpisuje izbrane pogoje v legendi grafa s kratkimi oznakami (npr. Š = šola, R = rok, P = predmet, Sp = spol, Od = oddelek, Pr = program, N = način, S = status).

– »Dovoljeno kombiniranje analiz« omogoča hkratno izvedbo različnih analiz, npr. primerjavo maturitetne in šolske ocene v zaključnem letniku.





55





Razlaga zavihka »Priprava podatkov«

Analize po meri omogočajo pripravo več nizov podatkov, ki jih lahko prikažete na skupnem grafu.

V iskalnih pogojih zavihka »Priprava podatkov« določite «Izpitni rok«, »Leto«, »Predmet« ter kandidate v Sloveniji in na šoli. S klikom na gumb »Dodaj podatke« jih dodate na seznam z nizi v spodnjem delu okna.

Za vsak niz podatkov se izračunajo osnovni statistični podatki (število kandidatov, število šol, povprečje in standardni odklon). V stolpec »Opis pogojev« se zapišejo pogoji, ki ste jih izbrali za pripravo podatkov posameznega niza. Drugi stolpci dodatno opisujejo posamezni niz: zaporedno številko niza, izbrano analizo in opombe, ki se samodejno izpišejo pri analizah 1 in 2 (število prijavljenih kandidatov) ter 7 (utež posameznega dela izpita). V opombe lahko napišete tudi svoje zaznamke, ki se pozneje pokažejo v legendi pod grafom. Tabelo z vsemi podatki je mogoče shraniti v Excel.



Nad tabelo s statističnimi podatki o nizih je orodna vrstica z gumbi, ki omogočajo podrobnejše delo z nizi.

Razlaga orodne vrstice



Gumb za premikanje: prvi, predhodni, naslednji, zadnji.



Izbriše niz podatkov.



Shrani spremembe v opombah.



Razveljavi spremembe v opombah.



Shrani analizo (tabelo in graf).



Shrani podatke iz tabele v Excel.



Spremeni vrstni red nizov v tabeli (pomik navzgor, pomik navzdol).



56





Razlaga zavihka »Graf«

Za interpretacijo so zanimivi že osnovni statistični podatki, pogosto pa nam več pove graf, ki primerja porazdelitve podatkov v nizih. S spustnega seznama »Graf« lahko prikažete odstotek ali število kandidatov, s seznama »Legenda«

pa opis pogojev ali opombe. Z desnim klikom na graf se odpre seznam možnosti za dodatno urejanje grafa.



Opombe se izpišejo na grafu pod osnovnimi podatki in v legendi, če jih izberete s spustnega seznama »Legenda« nad grafom.

Nad grafom je orodna vrstica z gumbi, ki omogočajo podrobnejše delo z grafom.

Razlaga orodne vrstice



Kopiranje.



Urejanje.



Tiskanje.



Shranjevanje slike.



Shrani analizo (tabelo in graf).



Shrani podatke za izris grafa v Excel.





57





Shranjevanje in odpiranje analize po meri

Celotno analizo z izbranimi iskalnimi pogoji, nizi in ustvarjenim grafom lahko shranite na vaš računalnik, jo pozneje odprete in si jo ponovno ogledate.

Analizo shranite na svoj računalnik tako, da v zavihkih »Priprava podatkov« ali »Graf« kliknete na gumb

.

Ponovno jo odprete v podmeniju »Analize po meri«.



Smernice

Analize po meri omogočajo najraznovrstnejše obdelave podatkov, zato je smiselnost ustvarjenih analiz toliko bolj odvisna od uporabnika, ki jih pripravlja. Vsekakor morate biti pozorni na število kandidatov, ki so vključeni v posamezno analizo. To je na nek način najpomembnejši podatek, saj je od števila kandidatov odvisno, kako velika je (ne)gotovost izračunov.

Pri pripravi analiz po meri se je treba zavedati vseh omejitev pri maturitetnih izpitih. Odstotne točke med različnimi predmeti in celo med različnimi leti pri istem predmetu zaradi trenutnega načina priprave izpitov niso neposredno primerljive.

Ko pripravljate posamezne nize podatkov v skupen nabor, bodite pozorni tudi na pogoje za izbiro kandidatov.

Program pri analizah po meri dopušča, da se ustvarjene serije v skupnem naboru razlikujejo po pogojih izbire (oddelek, program, način opravljanja mature, status šolanja, rok, predmet, skupina ipd.). Ali so določene kombinacije serij v skupnem naboru smiselne, je odvisno od namena ustvarjanja analize.





58





Praktični primer 1

V spomladanskem izpitnem roku 2021 je bila za dijake v Sloveniji povprečna maturitetna ocena pri geografiji 3,6, v zaključnem letniku srednje šole pa 3,7.



Povprečni oceni sta primerljivi, njuni porazdelitvi pa se nekoliko razlikujeta. Slika pokaže, da je v Sloveniji delež dijakov z maturitetno oceno 5 nižji od deleža dijakov s šolsko oceno 5 (matura: 16,8 %, šola: 21,7 %). Enako velja za oceno 2, nasprotno pa za ocene 4, 3 in 1; npr. delež dijakov z maturitetno oceno 4 je višji od deleža dijakov s šolsko oceno 4 (matura: 41,2 %, šola: 37,6 %).



Povprečna maturitetna ocena je za dijake na šoli enaka kakor za njihove vrstnike v Sloveniji (3,6). Vprašajmo se, ali to velja tudi za oddelke na šoli. Tabela s statističnimi podatki o nizih pokaže, da so razlike med oddelki precejšnje.

Povprečna maturitetna ocena v oddelku A je 3,9 (nad povprečjem), v oddelku B je 3,5 (malo pod povprečjem), v oddelku C pa 3,3 (pod povprečjem).





59





Ko podatke za vse tri oddelke prikažemo na grafu, postanejo razlike v povprečjih razumljivejše. V oddelku A imajo najvišje povprečje in edini dijake z oceno 5. V oddelku C imajo najnižje povprečje in edini dijake z najnižjo oceno 2.

V oddelku B, kjer imajo povprečje nekoliko pod šolskim in državnim, je najvišji delež dijakov z ocenama 3 in 4.



Praktični primer 2

Šola je pripravila primerjavo med šolskimi ocenami pri biologiji in ocenami na maturi (v zavihku »Izbira analize« mora biti obkljukano polje «Dovoljeno kombiniranje analiz«).

Analiza je prikazana na spodnji sliki. Vidimo, da so šolske ocene v povprečju nekoliko višje od maturitetnih, čeprav razlika ni velika. Ta je vidna predvsem v višjih deležih ocen 4 in 5 in v nižjem deležu ocene 3.



V nadaljevanju je šola razdelila dijake v dve skupini glede na oddelke. Na enak način kot prejšnjo je pripravila še dve sliki: prva prikazuje skupino A in druga skupino B.



60





Primerjava slik pokaže, da sta bili skupini dijakov A in B iste šole v zelo različnem položaju. Medtem ko so dijaki iz oddelkov skupine A pogosteje imeli višje šolske ocene kakor na maturi, je bilo pri dijakih v oddelkih skupine B ravno nasprotno. Njihove šolske ocene so bile pogosteje nižje od ocen, dobljenih na maturi. Obe skupini sta pisali isti maturitetni izpit in njihove maturitetne ocene na enak način odražajo izkazano znanje, zato je neusklajenost s šolskimi ocenami zelo izrazita in terja razmislek. Pri tem je seveda pomembno ugotoviti dejanski kontekst in upoštevati vse dejavnike, ki bi lahko vplivali na pridobivanje znanja in ocen dijakov v obeh skupinah tako pri šolskem pouku kakor tudi pri maturitetnem izpitu. Npr. če bi bila pri dijakih iz prve skupine motena izvedba maturitetnega izpita, bi lahko zaradi tega na maturi izkazali manj znanja in dosegli nižje ocene, kot bi jih pričakovali glede na šolske zaključne ocene. Če z izvedbo maturitetnega izpita ni bilo nič narobe, je mogoče pridobivanje šolskih ocen v obeh skupinah dijakov potekalo zelo različno.

Interpretiranje rezultatov brez poznavanja vseh okoliščin je lahko zavajajoče in ne pripomore k izboljševanju poučevanja.



61





9 USTVARJANJE SKUPINE

Šola ima pri večini analiz na voljo več možnosti za izbiro kandidatov svoje šole. Privzeta nastavitev je »Po enakih pogojih«, ki pomeni, da za šolo izberete enako vrsto kandidatov kot za Slovenijo: referenčno skupino SM, kandidate SM, kandidate PM ali redne dijake.

Druga možnost je »Po drugih pogojih«, kjer lahko za šolo določite drugo vrsto kandidatov kot za Slovenijo. Izbirate lahko med različnimi izobraževalnimi programi, oddelki na šoli, načini opravljanja splošne mature in statusi šolanja.

Tretja možnost je »Skupina«, ki jo za izbrani izpitni rok sami ustvarite iz nabora kandidatov šole.

Skupine naj temeljijo na posebnostih učnega procesa na vaši šoli

v tekočem letu.

Najpogostejši primeri skupin so oddelki, izobraževalni programi in

status šolanja (redni dijaki, odrasli).

Pri analizah se skupina v iskalnih pogojih pokaže samo v primeru, da je bila za izbrani rok že ustvarjena (rok za skupino mora biti enak kot rok v iskalnih pogojih).

Skupino lahko pri analizah izberete samo, če ste jo za izbrani rok ustvarili že prej.



Koraki izvedbe

S klikom na ikono »Ustvari skupino« se odpre okno za urejanje skupine.





62





① Skupino ustvarite s klikom na gumb »Novo«. Odpre se obrazec za vpisovanje podatkov.

② V polje »Ime skupine« vpišete ime, ki naj bo kratko in dovolj jasno (npr. ang_211_dijaki).

Skupine poimenujte tako,

da vam bo izbor kandidatov

③ V polje »Opis skupine« podrobneje opišete skupino

razumljiv tudi čez leto ali dve.

(npr. Angleščina 2020/21 – dijaki).

Tako boste lahko med leti

④

ustvarjali primerljive skupine.

V polju »Šifra roka« izberite leto opravljanja splošne mature s klikom na

.

Odpre se okno »Izberi rok«. Na seznamu označite rok in svojo izbiro potrdite s klikom na »Potrdi«. Polje »Opis roka« se ob tem izpiše samodejno, v desnem oknu pa se prikaže tudi seznam kandidatov za izbrani izpitni rok opravljanja splošne mature.



⑤ Seznam je privzeto nastavljen samo za branje. Če ga želite urejati, preklopite iz načina za branje v način za urejanje. Kandidate dodate v skupino tako, da obkljukate okence pred pri mkom kandidata.



⑥ Skupino shranite s klikom na »Shrani« spodaj v levem oknu.





63





Zaradi varstva osebnih podatkov lahko skupine vaših dijakov ustvarite samo v roku enega leta od objave maturitetnih rezultatov.

Pri ustvarjenih skupinah iz prejšnjih let se podatki o kandidatu ne prikažejo več, vendar pa skupine še vedno lahko uporabite v analizah

Razlaga orodne vrstice

USTVARI SKUPINO (levo okno)



Gumb za premikanje: prvi, predhodni, naslednji, zadnji.

Ustvari novo skupino.



Uredi obstoječo skupino.



Kopira (podvoji) obstoječo skupino.



Briše obstoječo skupino.



USTVARI SKUPINO (desno okno)

Gumb za premikanje: prvi, predhodni, naslednji, zadnji.



Izberi vse kandidate.



Odstrani izbrane kandidate.



Zamenja izbrane kandidate z neizbranimi.



Preklopi iz načina za branje v način za urejanje.





64





10 VELIKOST UČINKA

Pri analizah podatkov imamo pogosto opraviti z razlikami (npr. med povprečnim dosežkom v državi in na šoli) in vprašanje pri interpretaciji je, kako velika je ta razlika. Je sprememba (razlika) opazna, pomembna, bistvena, … ali je zanemarljiva, trivialna in nepomembna? Statistično testiranje razlik oziroma ugotavljanje statistične značilnosti razlike je en od načinov, da odgovorimo na zgornje vprašanje. Gre za metodološki pristop, ki po določenih pravilih ponuja oceno verjetnosti za dano odločitev (da razlika je oziroma je ni). Slaba stran ugotavljanja statistične značilnosti je občutljivost na število kandidatov v analizi. Analize, opisane v tem priročniku, pogosto obsegajo primerjave med državnimi statistikami (kjer je kandidatov lahko tudi več tisoč) in dijaki na šoli, kar pomeni, da so lahko statistično značilne že zelo majhne razlike oziroma je statistično značilna velika večina ugotovljenih razlik.

Kadar je zaradi narave podatkov statistično značilna že zelo majhna razlika, potem nam statistično testiranje pri vsebinski interpretaciji ni v pomoč.

Za rešitev lahko uporabimo mere velikosti učinka (Cankar in Bajec: 2003). Gre za mere, ki skušajo odgovoriti na vprašanje, ali je neka razlika med skupinama dovolj velika, da lahko govorimo o učinku, ali je zanemarljiva. Pogosto uporabljena in za naš primer primerna mera velikosti učinka je Cohenov d, ki se izračuna kot razlika dveh povprečij, deljena s skupnim standardnim odklonom:

( M −

1

M

d

2 )

= SDSKUPNO

Če primerjamo povprečje na šoli s povprečjem v državi, je skupni standardni odklon lahko kar standardni odklon v državi, če pa bi npr. primerjali povprečji v dveh oddelkih, bi izračunali standardni odklon podatkov za oba oddelka skupaj.

Cohenov d se je uveljavil tudi zato, ker obstajajo smernice za njegovo interpretacijo. Tako bi pozoren opazovalec v podatkih hitro opazil srednje velik učinek (0,5). Vrednosti okoli 0,2 naj bi predstavljale majhen učinek in vrednosti okoli 0,8 velik učinek.

Okvirne smernice za interpretacijo velikosti učinka:

0,2 – majhen učinek,

0,5 – opazen (srednje velik) učinek,

0,8 – velik učinek.

Pri analizah v tem priročniku si pogosto lahko pomagamo s temi smernicami tako, da poleg šolskega povprečja poiščemo še državno povprečje in standardni odklon za iste dosežke. Izračunana mera velikosti učinka nam bo dala usmeritev, ali je opažena razlika tudi vsebinsko relevantna ali ne.





65





11 DODANA VREDNOST

V tem poglavju je koncept dodane vrednosti podrobneje razložen in teoretično utemeljen. Mere dodane vrednosti so nastale kot odziv na kritike pretirane uporabe rezultatov preizkusov znanja, ki so bili uporabljeni kot kazalnik šolskega dela. Ker šole nimajo enakih populacij dijakov13, ampak se lahko te od šole do šole tudi precej razlikujejo, je po mnenju kritikov povsem razumljivo, da se dosežki dijakov na ravni šole ravno tako razlikujejo – so pač posledica drugačne 'vhodne' populacije dijakov. Mere dodane vrednosti skušajo nasloviti bistvo teh kritik in zajeti ter oceniti le napredek v znanju.

Opredelitev dodane vrednosti znanja

Vse mere dodane vrednosti imajo isto idejno zasnovo ne glede na dejansko formulo ali način izračunavanja. Meriti skušajo napredek med posameznimi merjenji. Pri tem je treba opozoriti, da so nekateri pristopi osredotočeni predvsem na izračun vrednosti za celotno šolo, drugi pa omogočajo spremljanje napredka posameznega dijaka in izražajo dodano vrednost šole prek povprečnih vrednosti napredka dijakov posamezne šole.

Poimenovanje dodane vrednosti ima v sebi implicitno idejo, da je mogoče vso razliko pripisati šolskemu procesu, v katerega so dijaki vključeni. Analogija z gospodarstvom, kjer je razliko med surovino in izdelkom mogoče pripisati proizvodnemu procesu, v primeru šolstva ne zdrži. Zavedati se moramo, da je napredek posameznika med dvema merjenjema lahko posledica različnih dejavnikov, ki niso nujno povezani s šolskim procesom. Posameznik je lahko imel npr. inštrukcije, lahko je dodatno motiviran, lahko je z dozorevanjem miselnih procesov dosegel novo (spo)znanje itd. Z vidika posameznika je tako bolje govoriti o merah napredka ali rasti, saj izmerjene vrednosti (v primeru, da so zanesljive in veljavne) govorijo natančno o tem. Vendar je na ravni šol poimenovanje 'dodana vrednost' kljub temu smiselno. Dejavniki, ki lahko zelo različno vplivajo na dosežke posameznikov, običajno ne delujejo sistematično na ravni šole in se tako v večini primerov izničijo. Ker pa je vsem posameznikom, ki obiskujejo isto šolo, skupen šolski proces (v določenem oddelku, razredu, nivoju ipd.), iz mer njihovega napredka računamo povprečje šole (Cankar, 2006).

V literaturi poznamo zelo različne statistične modele za računanje dodane vrednosti. Na splošno velja, da so bolj preprosti pristopi tudi bolj robustni in končnim uporabnikom pogosto razumljivejši, po drugi strani pa imajo metodološko zahtevnejši postopki korektnejše predpostavke in zmorejo zajeti večje število dejavnikov pri korigiranju mer (Sammons, Thomas, Mortimore, Owen in Pennel , 1994). Več o analizah dodane vrednosti lahko zainteresirani najdejo v strokovni literaturi (npr. Lissitz, 2006), veliko informacij na enem mestu pa ponuja tudi publikacija v izdaji OECD (2008).

V nadaljevanju sta opisana pristopa, uporabljena v analizi dodane vrednosti za šole. Oba temeljita na ugotavljanju napredka posameznega dijaka, ki je opredeljen kot razlika med dejanskim in napovedanim dosežkom (glede na rezultat predhodnega merjenja znanja).

Metoda linearne regresije

Po metodi linearne regresije napovedane dosežke izraža linearna premica, ki je izračunana s pomočjo linearne regresije na podlagi podatkov za vse dijake referenčne skupine SM v spomladanskem roku, ki so imeli pri danem predmetu dosežek tako v 9. razredu na NPZ kot tudi na maturi.





13 Uporabljeni izraz »dijak« na tem mestu predstavlja splošen, slovnično nevtralen izraz za udeležence izobraževanja obeh spolov.



66





Metoda mediane

Po metodi mediane črto, ki povezuje napovedane dosežke, izračunamo na tako, da dosežke vseh dijakov na predhodnem merjenju (NPZ, 9.r) uredimo od najmanjšega do največjega. Nato dosežke razdelimo v več skupin (tipično 20) in za vsako skupino izračunamo mediano dosežkov na drugem merjenju (izbrani maturitetni izpit).

Mediane posameznih skupin med sabo povežemo s črto, na spodnji in zgornji meji pa se črta nadaljuje skladno s trendom zadnjih dveh skupin. Z interpolacijo (ali ekstrapolacijo pod mediano prve in nad mediano zadnje skupine) izračunamo napovedani dosežek za posameznike.

Razlike med obema metodama

Zakaj dva pristopa? Metoda linearne regresije je robustna in hitra, vendar se tipični dosežek izračuna na podlagi vseh podatkov hkrati in tako na posameznih delih lestvice dosežkov ne pokaže najboljše ocene tipičnega dosežka

– najpogosteje se to zgodi pri najnižjih in najvišjih vrednostih. Metoda mediane v večji meri sledi podatkom na različnih delih merske lestvice in ne zahteva linearne črte, vendar pa za stabilno oceno napovedanih vrednosti potrebujemo veliko število podatkov. Pri predmetih z manjšim številom kandidatov je zato v analizi uporabljena metoda linearne regresije, saj bi napovedani dosežki po metodi mediane lahko preveč nihali.

Napredek kandidatov

Tako v primeru linearne regresije kakor v primeru metode mediane izrisana črta predstavlja tipični napredek v celotni populaciji. Razlika med dejanskim in napovedanim dosežkom pri posameznem kandidatu izraža njegov relativni napredek glede na kandidate, ki so izkazali podoben dosežek na prvem merjenju. Če je razlika negativna, ne pomeni, da je kandidat v znanju nazadoval, temveč da je večina kandidatov s podobnim dosežkom, kot je bil njegov na prvem merjenju (NPZ, 9.r), pokazala več znanja na drugem merjenju (maturitetni izpit).



Slika: Izračun napredka/dodane vrednosti v znanju učencev (Vir: Cankar, 2006) Na sliki so prikazani dejanski dosežki dijakov A, B in C (rumene barve) v primerjavi z njihovimi napovedanimi dosežki (zeleni). Medtem ko se pri dijaku B napovedani in dejanski dosežek prekrivata, je dijak A dosegel boljši rezultat od napovedanega, dijak C pa slabši rezultat od napovedanega. Vsi dijaki so najverjetneje napredovali, vendar je dodana vrednost v primeru dijaka A pozitivna, dijaka C negativna in dijaka B enaka nič.





67





Dodana vrednost šole

Dodana vrednost (DV) za šolo se po obeh metodah izračuna kot povprečje razlik med dejanskimi ( iy ) in napovedanimi dosežki ( iyˆ ) dijakov te šole.

∑( iy − ˆ iy)

DV =



N

Analize dodane vrednosti (napredek posameznega kandidata ali mera DV za šolo) so tako relativne – izražajo razlike med dejanskim dosežkom in dosežkom primerljive populacije (s primerljivimi dosežki na NPZ).

Zaključek

Mere dodane vrednosti skušajo 'ujeti' izkazani napredek v znanju in tako bolje odražati opravljeno delo na šoli kakor samo rezultati na posameznem merjenju znanja, ki so nujno odvisni od tega, kakšne dijake ima posamezna šola.

Kljub temu imajo tudi mere dodane vrednosti svoje pomanjkljivosti. Nekatere so popolnoma enake kot pri ostalih statističnih merah – npr. odvisnost od velikosti vzorca (skupine dijakov), na katerih je mera računana, – druge so značilne le za mere dodane vrednosti.

Ena od pomanjkljivosti je popolnoma merska. Ker so mere dodane vrednosti izpeljane iz rezultatov dveh merjenj, od katerih ima vsako svojo (neodvisno) napako, se napake obeh merjenj odrazijo tudi v merah dodane vrednosti.

Posledično je izračunana standardna napaka pogosto tako velika, da težko zagotavljamo, da je dodana vrednost zanesljiva ocena narejenega napredka.

Omenjene pomanjkljivosti po drugi strani ne pomenijo, da so tako izračunane mere brez vsakega pomena. Za mere dodane vrednosti in rezultate zunanjih preizkusov na splošno velja, da so za večino uporabljanih namenov vsaj tako primerni kakor drugi kazalniki šolskega dela, ki so nam na voljo.





68





12 REFERENCE

Cankar, G. (2006). Kazalci dodane vrednosti [neobjavljena študija, pripravljena v okviru projekta ESS], Ljubljana, Državni izpitni center.

Cankar, G. (2008). Razvoj modelov dodane vrednosti znanja v Sloveniji. V: Rajkovič, V., ur. Znanje za trajnostni razvoj. Kranj: Fakulteta za organizacijske vede. Str. 419–425.

Cankar, G., & Bajec, B. (2003). Velikost učinka kot dopolnilo testiranju statistične pomembnosti razlik. Psihološka obzorja, 12(2), str. 97–112.

Lissitz, R. (2006). Longitudinal and value added models of student performance. Maple Grove Minn.: JAM Press.

OECD (2008). Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools.

Paris: OECD.

Sammons, P., Thomas, S., Mortimore, P., Owen, C., in Pennel , H. (1994). Assessing School Effectiveness: Developing Measures to put School Performance in Context. London: Office for Standards in Education.

SCAA (1994). Value Added Performance Indicators for Schools. London: School Curriculum and Assessment Authority.

Goldstein, H. (1997). Value added data for schools: a commentary on a paper from SCAA. London: Institute of Education.





69





© Državni izpitni center, 2022





Document Outline


1 UVOD

2 PROGRAM 2.1 Namestitev programa

2.2 Samodejne nadgradnje programa

2.3 Vstop v program





3 Menijska vrstica 3.1 Analize

3.2 Pogled

3.3 Pomoč

3.4 Administracija Navodila za ravnatelja

Navodila za šolskega administratorja Razlaga orodne vrstice





3.5 Račun Pogoji uporabe programa

Podatki o uporabniku

Sprememba gesla





4 Uporaba programa 4.1 Priprava analiz Izbira analize

Iskalni pogoji Vrsta podatkov Izpitni rok





Leto

Predmet

Kandidati v Sloveniji

Kandidati na šoli





4.2 Orodna vrstica

4.3 Prikaz podatkov Graf

Tabela





5 Osnovne analize 5.1 Osnovni podatki Namen

Koraki izvedbe

Razlaga analize Splošni uspeh

Uspeh po predmetih





Praktični primer Splošni uspeh

Uspeh po predmetih





5.2 Porazdelitev dosežkov Namen

Koraki izvedbe

Razlaga analize Splošni uspeh

Uspeh pri predmetu po (točkovnih) ocenah

Uspeh pri predmetu po odstotnih točkah





Praktični primer Splošni uspeh





5.3 Primerjava dosežkov Namen

Koraki izvedbe

Razlaga analize

Praktični primer





5.4 Podatki po letih Namen

Koraki izvedbe

Razlaga analize

Praktični primer Uspeh pri predmetu po odstotnih točkah





6 Analize po nalogah Namen

Koraki izvedbe

Razlaga zavihka »Analize« Ogled slike





Razlaga zavihka »Graf«

Razlaga zavihka »Naloga« Razlaga orodne vrstice





Praktični primer





7 Analiza dodane vrednosti Namen

Uvod v analizo dodane vrednosti

Koraki izvedbe

Razlaga zavihka »Graf« Dodana vrednost in standardna napaka





Razlaga zavihka »Tabela«

Praktični primer





8 Analize po meri Namen

Koraki izvedbe

Razlaga zavihka »Izbira analize« Analize

Osnovne in napredne nastavitve





Razlaga zavihka »Priprava podatkov« Razlaga orodne vrstice





Razlaga zavihka »Graf« Razlaga orodne vrstice

Shranjevanje in odpiranje analize po meri





Smernice

Praktični primer 1

Praktični primer 2





9 Ustvarjanje skupine Koraki izvedbe

Razlaga orodne vrstice





10 Velikost učinka

11 Dodana vrednost Opredelitev dodane vrednosti znanja

Metoda linearne regresije

Metoda mediane

Razlike med obema metodama

Napredek kandidatov

Dodana vrednost šole

Zaključek





12 Reference