NNAPZ CIONALNO PREVERJANJE ZNANJA PRIROČNIK ZA UPORABO ORODJA ZA UGOTAVLJANJE KAKOVOSTI IZKAZANEGA ZNANJA (OrKa Ric) PRIROČNIK ZA UPORABO ORODJA ZA UGOTAVLJANJE KAKOVOSTI IZKAZANEGA ZNANJA (OrKa Ric) – Nacionalno preverjanje znanja Državni izpitni center Dr. Gašper Cankar Erika Semen Marina Knežević Ljubljana, 2022 Mag. Matjaž Urank PRIROČNIK ZA UPORABO ORODJA ZA UGOTAVLJANJE KAKOVOSTI IZKAZANEGA ZNANJA: Nacionalno preverjanje znanja (OrKa Ric, različica 3.5.1) Avtorji: dr. Gašper Cankar Erika Semen Marina Knežević mag. Matjaž Urank Pregled besedila: Saša Masterl, Ana Radović Jezikovni pregled: mag. Bernarda Krafogel Priprava slik: David Janet Ilustracija: Tomaž Verbič Šalamon Izdal in založil: Državni izpitni center zanj dr. Darko Zupanc Urednica založbe: Joži Trkov Računalniško oblikovanje: Jana Lavtar https://www.ric.si/preverjanje_znanja/orka/ 4. objava © Državni izpitni center 2022 Vse pravice pridržane. Noben del tega priročnika ne sme biti reproduciran, shranjen ali prepisan v katerikoli obliki oziroma na katerikoli način, bodisi elektronsko, mehansko, s fotokopiranjem, ali kako drugače, brez predhodnega dovoljenja lastnikov avtorskih pravic. Program OrKa Ric je v svoji trenutni različici razširitev programa OrKa Ric za NPZ, ki je nastal v okviru operacije, ki sta jo sofinancirali Republika Slovenija in Evropska Unija iz Evropskega socialnega sklada. Program OrKa Ric deloma izvira tudi iz »Orodja za analizo izkazanega znanja ob zaključku srednje šole« (Urank, M., Zupanc, D., Cankar, G. [2012]. Orodje za analizo izkazanega znanja ob zaključku srednje šole, različica 2.3.1. Ljubljana: Državni izpitni center). Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani COBISS.SI-ID 125142531 ISBN 978-961-6899-73-4 (PDF) KAZALO 1 UVOD . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... 1 2 PROGRAM . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... 2 2.1 Namestitev programa ......................................................................................................................................................... 2 2.2 Samodejne nadgradnje programa ................................................................................................................................. 3 2.3 Vstop v program .................................................................................................................................................................... 4 3 MENIJSKA VRSTICA . ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... ... . ... ... ... .... .... 5 3.1 Analize ....................................................................................................................................................................................... 5 3.2 Pogled........................................................................................................................................................................................ 6 3.3 Pomoč ........................................................................................................................................................................................ 6 3.4 Administracija ......................................................................................................................................................................... 7 Navodila za ravnatelja .............................................................................................................................................................................................7 Navodila za šolskega administratorja ...........................................................................................................................................................7 3.5 Račun ...................................................................................................................................................................................... 10 Pogoji uporabe programa................................................................................................................................................................................. 10 Podatki o uporabniku ........................................................................................................................................................................................... 10 Sprememba gesla ................................................................................................................................................................................................... 11 4 UPORABA PROGRAMA . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... 11 4.1 Priprava analiz ..................................................................................................................................................................... 11 Izbira analize ................................................................................................................................................................................................................ 11 Iskalni pogoji ............................................................................................................................................................................................................... 12 4.2 Orodna vrstica ..................................................................................................................................................................... 14 4.3 Prikaz podatkov .................................................................................................................................................................. 15 Graf .................................................................................................................................................................................................................................... 15 Tabela .............................................................................................................................................................................................................................. 16 5 OSNOVNE ANALIZE . ... ... .... .... ... .... .... ... ... .... .... ... .... ... .... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... . 17 5.1 Osnovni podatki ................................................................................................................................................................. 17 Namen............................................................................................................................................................................................................................. 17 Koraki izvedbe ............................................................................................................................................................................................................ 17 Razlaga tabele z osnovnimi podatki .......................................................................................................................................................... 17 Usmeritve pri interpretaciji ............................................................................................................................................................................... 19 Praktični primer ......................................................................................................................................................................................................... 19 5.2 Porazdelitev dosežkov ..................................................................................................................................................... 20 Namen............................................................................................................................................................................................................................. 20 Koraki izvedbe ............................................................................................................................................................................................................ 20 Razlaga grafične predstavitve ......................................................................................................................................................................... 20 Razlaga predstavitve v tabeli ........................................................................................................................................................................... 22 Usmeritve pri interpretaciji ............................................................................................................................................................................... 22 Praktični primer ......................................................................................................................................................................................................... 22 5.3 Primerjava dosežkov ......................................................................................................................................................... 24 Namen............................................................................................................................................................................................................................. 24 Koraki izvedbe ............................................................................................................................................................................................................ 24 Razlaga analize .......................................................................................................................................................................................................... 24 Usmeritve pri interpretaciji ............................................................................................................................................................................... 25 Praktični primer ......................................................................................................................................................................................................... 26 5.4 Podatki po letih ................................................................................................................................................................... 27 Namen............................................................................................................................................................................................................................. 27 Koraki izvedbe ............................................................................................................................................................................................................ 27 Razlaga analize .......................................................................................................................................................................................................... 27 Usmeritve pri interpretaciji ............................................................................................................................................................................... 29 Praktični primer ......................................................................................................................................................................................................... 29 6 ANALIZE PO NALOGAH . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... 31 Namen............................................................................................................................................................................................................................. 31 Koraki izvedbe ............................................................................................................................................................................................................ 31 Razlaga tabele v zavihku »Analize« ............................................................................................................................................................. 31 Razlaga zavihka »Graf« ......................................................................................................................................................................................... 34 Razlaga zavihka »Naloga« .................................................................................................................................................................................. 35 Usmeritve pri interpretaciji ............................................................................................................................................................................... 36 Praktični primer ......................................................................................................................................................................................................... 38 7 ANALIZA DODANE VREDNOSTI . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... . 41 Namen............................................................................................................................................................................................................................. 41 Uvod v analizo dodane vrednosti ................................................................................................................................................................ 41 Koraki izvedbe ............................................................................................................................................................................................................ 42 Razlaga zavihka »Graf« ......................................................................................................................................................................................... 43 Razlaga zavihka »Tabela« .................................................................................................................................................................................... 45 Praktični primer ......................................................................................................................................................................................................... 46 8 ANALIZE PO MERI . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... 48 Namen............................................................................................................................................................................................................................. 48 Koraki izvedbe ............................................................................................................................................................................................................ 48 Razlaga zavihka »Izbira analize« ..................................................................................................................................................................... 49 Razlaga zavihka »Priprava podatkov« ........................................................................................................................................................ 50 Razlaga zavihka »Graf« ......................................................................................................................................................................................... 51 Usmeritve pri interpretaciji ............................................................................................................................................................................... 52 Praktični primer ......................................................................................................................................................................................................... 52 9 USTVARJANJE SKUPINE . ... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... .. 53 10 DOLOČITEV BARVNIH OBMOČIJ . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... 57 11 VELIKOST UČINKA . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... 58 12 DODANA VREDNOST . ... ... .... .... ... ... . ... ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... ... 60 13 REFERENCE . ... ... .... .... ... .... .... ... ... .... .... ... ... .... .... ... .... .... ... .... .... ... ... .... .... ... .... .... ... ... .... .... ... .... ... 63 1 UVOD Priročnik za uporabo računalniškega programa OrKa Ric (Orodje za ugotavljanje kakovosti izkazanega znanja; v nadaljevanju: OrKa) je namenjen učiteljem, ravnateljem in šolskim administratorjem znotraj posamezne osnovne šole tako pri tehničnih kakor pri vsebinskih vprašanjih glede pravilne in smiselne rabe programa in je temu primerno poljuden, kratek, nazoren ter predvsem uporaben. Ric je podobno programsko orodje za srednje šole razvil že leta 2007 in ga prenovil leta 2014. Kmalu je bilo mogoče tudi v osnovnih šolah zaznati željo po orodju, ki bi omogočalo veliko lažjo pripravo podrobnejših analiz in bi tudi po vsebinski plati olajšalo delo s podatki o izkazanem znanju znotraj posamezne osnovne šole in v vsej Sloveniji. Ideja je sčasoma pridobila podporo, prepotrebne vire, in se končno začela uresničevati v okviru operacije, financirane iz Evropskega socialnega sklada, »Vzpostavitev, dopolnitev in pilotni preizkus modela ugotavljanja in zagotavljanja kakovosti na področju vzgoje in izobraževanja«. Program je zasnovan tako, da omogoča učiteljem in ravnateljem iz dosežkov nacionalnega preverjanja znanja (NPZ) kot dodatne informacije o znanju učencev in iz šolskih ocen ob koncu leta za svojo osnovno šolo pridobiti vsebinsko relevantne podatke, ki jih lahko s pridom izkoristijo pri analizah in izboljšanju šolske prakse. Pri tem sledi dosedanjim smernicam Rica za analizo dosežkov NPZ in jih v mnogih pogledih opredeljuje podrobneje in bolj uporabno. V veliki meri so na možnosti v programu vplivale izkušnje Rica pri delu s šolami, saj so težave in vprašanja šol ob analizah dosežkov NPZ in ob pripravah ugotovitev ter načrtov za izboljšave pokazali, kaj bi bilo najbolj uporabno in zaželeno, da program zna in zmore. Vseh želja v danih okvirih seveda ni bilo mogoče uresničiti, se pa bomo na Ricu trudili, da bo nadaljnji razvoj programa upošteval potrebe šol in sistema tudi v prihodnje. Program OrKa Ric se umešča v širše polje ugotavljanja in zagotavljanja kakovosti v slovenskem šolskem prostoru. Z omogočanjem lažje in učinkovitejše obdelave podatkov velikemu številu uporabnikov na vseh šolah na eni strani zvišuje uporabnost dosežkov NPZ, na drugi pa šolam v njihovih procesih kakovosti nudi objektivne in natančne podatke, ki jim lahko služijo pri načrtovanju izboljšav v učnem procesu. S svojo zasnovo sledi tudi standardom in kazalnikom kakovosti za šole v nacionalnem okviru ugotavljanja in zagotavljanja kakovosti vzgoje in izobraževanja, saj šolam ponuja zanesljive podatke za uporabo v procesih samoevalvacije. Po doslej izvedenih preverjanjih in testiranjih program deluje stabilno in pravilno, seveda pa ne moremo izključiti možnosti, da vsebuje tudi kakšnega hrošča. Veseli bomo, če nam sporočite zaznane nepravilnosti, pa tudi predloge za izboljšave, saj želimo, da bi bil program uporaben za kar največje število ravnateljev in učiteljev v šolah in bo tako pripomogel k izboljšanju šolske prakse in izkazanega znanja slovenskih učencev. Dr. Gašper Cankar 1 2 PROGRAM Program OrKa je pripomoček za ugotavljanje in zagotavljanje kakovosti dela na šoli. Uporabnikom ponuja preprost vpogled v dosežke učencev pri NPZ na šoli in v Sloveniji. Omogoča tudi primerjave dosežkov učencev na šoli z vrstniki v Sloveniji, med oddelki ali učnimi skupinami znotraj šole, po letih ipd. V šoli lahko za svoje učence pripravite analize po nalogah, pogledate posamezno nalogo z rešitvijo in digitalizirane odgovore učencev. Tako ugotavljate močna in šibka področja v znanju učencev. V programu je na voljo tudi analiza dodane vrednosti, ki meri napredek v znanju učencev od 6. do 9. razreda. 2.1 Namestitev programa Za ravnatelja ali z njegove strani pooblaščene osebe je namestitvena datoteka shranjena na spletni strani eRica. Vanjo se prijavi prek naslova: https://eric.ric.si/ z izbiro področja »Nacionalno preverjanje znanja« ter vpisom šifre svoje šole in gesla. Namestitvena datoteka je shranjena v oknu »SPLETNE APLIKACIJE«, pod menijem »Program OrKa«. Učitelji si lahko namestitveno datoteko prenesete prek neposredne povezave: https://eric.ric.si/programi/orka_namestitev.exe. 2 Namestitveno datoteko orka_namestitev.exe prenesete v poljubno mapo na vašem računalniku. Po prenosu datoteko zaženete z dvoklikom in sledite navodilom za namestitev, kjer izberete mapo, v katero se bo namestil program. Priporočamo, da pri tem obdržite privzeto nastavitev. Po namestitvi se pojavita bližnjici do programa »OrKa« na namizju in v meniju »Zagon« (oz. »Start«)1. Hkrati z namestitvijo se na računalnik shrani tudi priročnik za uporabo programa (v obliki .pdf). Ta je dostopen tudi na javni spletni strani (https://www.ric.si/nacionalno-preverjanje-znanja/orka/) in v programu OrKa, če na spustnem sezamu menija »Pomoč« izberete »Priročnik«. 2.2 Samodejne nadgradnje programa Program omogoča samodejno nadgradnjo popravljene in izboljšane različice programa ter le-to ponudi takrat, kadar pri vstopu zazna, da je na spletu nova različica. Možnosti sta dve: – če so spremembe v programu tako velike, da ni več mogoče uporabljati vaše trenutne različice v povezavi z obstoječim sistemom podatkovnih baz na Ricu, program zahteva obvezno nadgradnjo. Dokler te ne sprejmete, programa ne morete uporabljati; – če so spremembe oziroma izboljšave programa manjše, lahko nadgradnjo zavrnete in še naprej uporabljate obstoječo različico. Če izberete nadgradnjo, se program najprej zapre, takoj za tem pa se sproži program za namestitev najnovejše različice, ki sproti tudi izpisuje potek prenosa datoteke iz spletnega strežnika na Ricu. Po prenosu celotne datoteke vam program sporoči, da je bil ta uspešen. Program OrKa se po namestitvi zažene samodejno. 1 V meniju »Zagon« (oz. »Start«) lahko program OrKa tudi odstranite. 3 2.3 Vstop v program Uporabniki morate najprej imeti omogočen dostop do programa OrKa. Ric omogoči dostop šolskemu administratorju, ta pa drugim uporabnikom na šoli (ravnatelju in učiteljem). Ti bodo o dostopu obveščeni z elektronskim sporočilom na njihov e-naslov. Pri vstopu v program potrebujete povezavo z internetom. Ob zagonu programa se prikaže okno, ki omogoča povezavo do treh področij podatkovnih baz Rica: – nacionalnega preverjanja znanja (N – NPZ), – splošne mature (M – splošna matura) in – poklicne mature (P – poklicna matura), ki trenutno še ni na voljo. Pred vstopom v program izberete področje N – NPZ. Vpišite uporabniško ime (vaš e-naslov) in geslo, ki sta enaka za vsa področja zunanjega preverjanja2. S klikom na gumb »Potrdi« se program poveže s strežnikom Rica in preveri, ali imate pravico za dostop do podatkovne baze za izbrano področje ter uporabniško ime in geslo. Če se pri vnosu zmotite, program sporoči napako in ponudi ponovni poskus. Program pri povezavi tudi preveri, ali obstaja novejša različica. Če vaša ni najnovejša, vam ponudi možnost samodejne nadgradnje. Ko opravite vse korake, vstopite v program OrKa. Pred prvim vstopom v program se odpre okno s pogoji uporabe, ki jih morate prebrati in na koncu dati svoje soglasje (tako da obkljukate kvadratka na koncu besedila). Za uporabo programa morate soglašati tako s hrambo vašega e-naslova kot tudi s pogoji, ki jih za uporabo programa določa Ric. Pogoje uporabe si lahko kadarkoli preberete znotraj programa Orka (v meniju »Račun«) in tudi kadarkoli umaknete vaše soglasje. Če ste geslo pozabili, si novega pridobite s klikom na »Pozabljeno geslo«. 2 Uporabniško ime in geslo sta enaka tudi za e-banko nalog. 4 3 MENIJSKA VRSTICA V menijski vrstici so meniji: »Analize«, »Pogled«, »Pomoč«, »Administracija«, »Račun« in »Izhod«. Nekatere menijske funkcije lahko uporabljajo samo šolski administratorji, večina pa je dostopna tudi učiteljem in drugim uporabnikom programa. Meniji v menijski vrstici: – »Analize«: pokaže analize v programu in možnost ustvarjanja skupin; – »Pogled«: pokaže, katera okna so odprta na zaslonu, in določa, kako naj bodo ta razporejena na zaslonu; – »Pomoč«: opisuje vsebino programa; – »Administracija«: omogoča urejanje dostopa uporabnikom programa (dostopno samo za šolske administratorje); – »Račun«: omogoča pregled in spreminjanje pogojev uporabe programa, pokaže podatke o uporabniku in omogoča spreminjanje gesla za vstop v program; – »Izhod«: zapre program. Več o teh menijih je v naslednjih poglavjih. 3.1 Analize Program ponuja te analize: »Osnovne analize«, ki združujejo štiri najpreprostejše preglede dosežkov učencev pri NPZ: 1. osnovni podatki omogočajo primerjavo povprečnih dosežkov šole in Slovenije; 2. porazdelitev dosežkov ponuja grafični in tabelarični prikaz dosežkov NPZ v odstotnih točkah za posamezni predmet; 3. primerjava dosežkov odgovarja na vprašanje, katerih učencev (glede na njihove izkazane dosežke) je bilo v šoli več/enako/manj v primerjavi z vsemi učenci v Sloveniji; 4. podatki po letih omogočajo primerjavo povprečnih odstotnih točk pri predmetu med leti in na ta način spremljanje trendov dosežkov; »Analize po nalogah«, ki omogočajo podroben vpogled v naloge in postavke, ki sestavljajo preizkuse NPZ. »Analiza dodane vrednosti«, ki meri napredek v znanju učencev od 6. do 9. razreda na posamezni šoli v primerjavi z vsemi učenci s primerljivimi dosežki v Sloveniji; »Analize po meri«, ki omogočajo pripravo in prikaz več nizov podatkov hkrati in s tem večjo prilagodljivost pri pripravi analiz. 5 3.2 Pogled V tem meniju upravljate z odprtimi okni v programu. »Privzeti pogled« omogoča, da se vsa okna vrnejo v prvotno obliko, »Odprta okna« pa prikazujejo seznam vseh odprtih oken v programu. 3.3 Pomoč V meniju »Pomoč« so uporabniku na voljo informacije o programu Orka. Uporabnik lahko pogleda Priročnik za uporabo programa ter Opise dosežkov, ki so objavljeni na spletni strani Rica. V podmeniju »O programu« so osnovne informacije o programu in prikaz navajanja le-tega v virih. 6 3.4 Administracija Z administracijo se uporabnikom določa dostop do programa OrKa. Ric omogoča dostop šolskemu administratorju3, ki edini na šoli ureja podatke v meniju »Administracija«. Navodila za ravnatelja Šolski administrator je strokovni sodelavec šole, ki ravnatelju in učiteljem na šoli ureja dostop do programa OrKa in spletne aplikacije e-banka nalog. Imenuje ga ravnatelj šole, ki njegov e-naslov vpiše v obrazec »Podatki o izvajalcu NPZ z izpisanimi podatki«. Obrazec je na spletni strani eRic, v oknu »Spletne aplikacije«. Obrazec »Podatki o izvajalcu NPZ z izpisanimi podatki« (eRic/SPLETNE APLIKACIJE) je videti takole: Ravnatelj vpiše e-naslov šolskega administratorja v obrazec, pod naslov »Šolski administrator za program OrKa in e-banko nalog«. Potrdi ga z gumbom »Shrani in natisni za svoj arhiv«. Nato ga Ric vpiše v svojo bazo in mu omogoči dostop do programa OrKa in e-banke nalog. Šolski administrator ob tem prejme samodejno generirano sporočilo po e-pošti. Navodila za šolskega administratorja Po prijavi v program kliknite na zavihek »Administracija« v menijski vrstici. 3 Šolski administrator za e-banko nalog je tudi administrator za program OrKa. 7 Odpre se zavihek »Preglej uporabnike«. V levem delu okna je seznam4 z uporabniški imeni, v desnem pa so prikazani predmeti NPZ. Vsem uporabnikom omogočite dostop do analiz v programu OrKa tako, da v levem oknu najprej označite uporabnika in nato v desnem s kljukico označite enega ali več predmetov NPZ, do katerih bo uporabnik dostopal. Svojo izbiro potrdite z gumbom »Potrdi«. Uporabnik bo ob tem prejel samodejno generirano sporočilo z obvestilom o dostopu do programa OrKa; v stolpcu »Orka aktivirana« se pojavi kljukica. Priporočamo, da učitelju omogočite dostop do predmeta, ki ga poučuje. Če uporabnika ni na seznamu v zavihku »Preglej uporabnike«, odprite zavihek »Dodaj uporabnika«. V polje »Uporabniško ime« vpišite e-naslov uporabnika in ga potrdite z gumbom »Dodaj uporabnika«. Uporabnik prejme samodejno generirano sporočilo z obvestilom o dostopu do programa. Nato odprite zavihek »Preglej uporabnike«. V levem oknu označite uporabnika, ki ste ga dodali na seznam, in nato v desnem oknu s kljukico označite enega ali več predmetov. S klikom na »Potrdi« uporabniku omogočite dostop do izbranih predmetov. Uporabnika dodate na seznam v zavihku »Dodaj uporabnika«, predmete pa mu določite v zavihku »Preglej uporabnike«. 4 Ob uvedbi programa OrKa smo uporabniška imena vseh uporabnikov e-banke nalog na šoli prenesli v program OrKa. 8 Uporabnika lahko s seznama v zavihku »Preglej uporabnike« tudi izbrišete, tako da kliknete na gumb za izbris uporabnika (rdeča vodoravna črtica). Odpre se okno, v katerem lahko izbirate med dvema možnostma: uporabniku lahko izbrišete dostop do OrKe in e-banke nalog za nacionalno preverjanje znanja ali pa mu izbrišete uporabniški račun (izbrišejo se vsi njegovi podatki). Če uporabnik krši pogoje uporabe programa OrKa, mu lahko šolski administrator onemogoči uporabo programa tako, da ga deaktivira. Pri tem se uporabniku izbrišejo kljukice pri predmetih in v program OrKa ne more več vstopati. Ob prijavi se mu izpiše, da je bila prijava neuspešna in da se lahko za pomoč obrne na šolskega administratorja. Ta mu račun ponovno aktivira tako, da uporabnika označi v levem oknu, nato v desnem s kljukico označi enega ali več predmetov in klikne na »Potrdi«. Razlaga orodne vrstice Zavihek »PREGLEJ UPORABNIKE« (levo okno) Gumbi za premikanje po uporabnikih: prvi, predhodni, naslednji, zadnji. Izbriše uporabnika. Deaktivira uporabnika (tj. uporabniku onemogoči uporabo programa). Zavihek »PREGLEJ UPORABNIKE« (desno okno) Označi s kljukico vse predmete na seznamu. Odstrani kljukice pri označenih predmetih na seznamu. Omogoči uporabniku dostop do označenih predmetov. 9 3.5 Račun Meni »Račun« omogoča pregled in spreminjanje pogojev uporabe programa, pokaže podatke o uporabniku ter omogoča spreminjanje gesla za vstop v program. Pogoji uporabe programa V podmeniju »Pogoji uporabe programa« lahko uporabnik pregleda pogoje, pod katerimi Ric dovoljuje uporabo programa. Na dnu okna sta tudi dve kljukici: s prvo uporabnik skladno z GDPR soglaša, da Ric hrani podatek o njegovem e-naslovu in ga uporablja za upravljanje z uporabniškim računom. Z drugo uporabnik sprejema pogoje uporabe. Če uporabnik odstrani soglasje za hrambo e-naslova (odstranita se obe kljukici) in shrani spremembo, se ukine njegov uporabniški račun za program Orka in e-banko nalog. Če uporabnik ne sprejme pogojev uporabe programa (odstrani drugo kljukico) in shrani spremembo, programa OrKa ne more več uporabljati. Program lahko ponovno uporabi, ko pri vstopu v program sprejme pogoje uporabe programa (označi drugo kljukico). Podatki o uporabniku Podatki pokažejo uporabniško ime, vlogo uporabnika (učitelj ali šolski administrator), šifro šole, kjer uporabnik poučuje, področje zunanjega preverjanja (N – NPZ, M – splošna matura, P – poklicna matura), predmete, do katerih uporabnik lahko dostopa, in šolskega administratorja, ki je uporabniku omogočil dostop do programa. Uporabnik naj se z vprašanji obrača nanj. 10 Sprememba gesla Priporočamo, da po prvi prijavi v program spremenite uporabniško geslo. V polje »Staro geslo« vpišite obstoječe geslo, ki ste ga prejeli od pošiljatelja orka@ric.si, v polje »Novo geslo« pa geslo po svoji izbiri. Novo geslo naj vsebuje vsaj 10 znakov (vsaj eno malo in eno veliko črko ter vsaj eno številko). S klikom na gumb lahko geslo skrijete oz. ga prikažete. 4 UPORABA PROGRAMA V tem poglavju spoznate, kako se pripravijo analize in kako so prikazani podatki. 4.1 Priprava analiz Izbira analize Analizo lahko izberete na dva načina: 1. S klikom na izbrano analizo v meniju »Analize« v menijski vrstici (dostop prek menijske vrstice). 2. Z neposrednim klikom na ikono, ki prikazuje posamezno analizo (hitri dostop). 11 Odpre se okno z iskalnimi pogoji. Uporabniki šole lahko izvajajo analize za učence svoje šole in učence v Sloveniji. Uporabniki, ki do programa ne dostopajo prek šole, lahko izvajajo samo analize za učence v Sloveniji. Iskalni pogoji Z iskalnimi pogoji določite podatke, ki jih želite prikazati v analizah. V nadaljevanju so opisani pogoji, ki se pojavljajo najpogosteje: razred, rok in predmet. Ostali, bolj specifični, so pojasnjeni pri posameznih analizah. Iskalne pogoje določite hkrati za Slovenijo in za šolo, za katero lahko izberete tudi različne skupine učencev. Razred Izbirate lahko med 6. ali 9. razredom. Ta pogoj je obvezen pri vseh analizah in ga je treba določiti najprej, saj so nanj vezani drugi iskalni pogoji (npr. predmet NPZ). Rok Označuje leto in razred opravljanja NPZ. S klikom na gumb se odpre okno »Izberi rok«. Na seznamu označite rok in svojo izbiro potrdite s klikom na »Potrdi«. V šifri roka prvi dve števki označujeta leto opravljanja NPZ, tretja pa razred, v katerem se je ta izvajal (1 = 9. razred, 6 = 6. razred). Primer: Rok 171 predstavlja NPZ 2017 v 9. razredu, primer rok 166 pa NPZ 2016 v 6. razredu. Če je seznam dolg, lahko rok poiščete tako, da v polje »Vnesi iskalne pojme« vnesete ključno besedo s seznama. 12 Predmet Označuje predmete, do katerih vam je bil dodeljen dostop. S klikom na gumb se odpre okno »Izberi predmet«. Na seznamu označite predmet in ga potrdite z gumbom »Potrdi«. Izbira predmeta se pojavlja samo pri določenih analizah. Izbira učencev Z iskalnim pogojem »Izberi učence« lahko izberete učence na šoli. Privzeta nastavitev je »Vsi učenci«, kar pomeni, vsi učenci vaše šole. Izbira »Po dodatnih pogojih« omogoča prikaze po spolu in oddelku. »Skupina« predstavlja skupino učencev, ki ste jo za izbrani rok ustvarili predhodno (glej poglavje »9 Ustvarjanje skupine«). 13 4.2 Orodna vrstica Gumbi, ki se pojavljajo pri večini analiz: ISKALNI POGOJI Odpre spustni seznam. Odpre novo okno s seznamom vseh možnih izbir. Izbriše izbrani pogoj. Izbriše vse izbrane pogoje. Pokaže pomoč. Izvede analizo in prikaže podatke. TABELA Shrani v Excel. Kopira izbrane vrstice. GRAF Kopiranje Urejanje Tiskanje Shranjevanje slike Opozorilo, da desni klik na graf omogoča dodatne nastavitve. 14 4.3 Prikaz podatkov Ko določite vse iskalne pogoje, kliknite gumb »Prikaži podatke«. Podatki se prikažejo v tabeli in/ali na grafu. Graf Vsak graf je opremljen z naslovom in oznakama osi x ter y. Nekateri grafi imajo tudi podnaslov in legendo. Na samem grafu je več možnosti za prikazovanje in urejanje podatkov. Opisane so tiste, ki se pojavljajo najpogosteje, ostale so opisane pri analizah, pri katerih se pojavljajo. ① Ikone v levem zgornjem kotu grafa so: kopiranje, urejanje, tiskanje in shranjevanje slike. Za kopiranje grafa v drug program kliknite gumb »Kopiraj«, nato odprite poljubni program in ga prilepite. S klikom na gumb »Uredi« se odpre okno, v katerem lahko urejate graf. Če želite graf natisniti, kliknete gumb »Natisni«. Odpre se okno s predogledom, kjer imate možnost urejanja grafa pred tiskanjem. Graf shranite z gumbom »Shrani«. ② S spustnega seznama izberete podatke, ki jih želite prikazati na grafu. ③ S spustnega seznama izberete vrsto grafičnega prikaza (možno samo pri nekaterih grafih). ④ Z desnim klikom na graf odprete seznam možnosti za dodatno urejanje grafa. 15 Tabela V levem zgornjem kotu tabele je podatek o številu vrstic v tabeli. Zraven sta gumba za izvoz podatkov v Excel ① in kopiranje. Če želite tabelo kopirati, najprej kliknite na eno vrstico v tabeli. Nato na tipkovnici pritisnite Ctrl+a (Ctrl držite in istočasno pritisnite tipko a), potem Ctrl+c, odprite poljubni dokument in vanj prilepite vsebino (Ctrl+v). Prikaz podatkov v tabeli lahko prilagodite. Lahko jih uredite padajoče ali naraščajoče s klikom na ime stolpca, ② po katerem želite razvrstiti podatke. Puščica navzdol ali navzgor pokaže, kako so podatki urejeni (padajoče, naraščajoče). Ko se s kazalcem miške postavite na ime stolpca, se v zgornjem desnem vogalu pojavi znak . S klikom nanj ③ se pokaže seznam vseh vrednosti, ki so trenutno prikazane v tem stolpcu. Podatke filtrirate tako, da označite k vadratek pred vrednostjo. Lahko se odločite tudi za druge možnosti: »Po meri« ponuja ustvarjanje lastnega filtra z dvema kriterijema hkrati, »Vsi« vrne prikaz v prvotno stanje, »prazen« pokaže vsa polja brez vrednosti, »ni prazen« pa vsa polja z zapisanimi vrednostmi. Vse ustvarjene filtre, ki vplivajo na prikaz tabele, lahko vidite v levem spodnjem kotu tabele. Izklopite jih s klikom na križec. ④ P od imeni stolpcev znotraj tabele je polje »Iskanje«, ki omogoča hitro filtriranje. V izbrano polje pod ime stolpca vpišite želeno vrednost in v tabeli se prikažejo samo vrstice s to vrednostjo. ⑤ V nekaterih tabelah niso prikazani vsi stolpci. Prikažete jih tako, da kliknete na zvezdici pred prvim stolpcem. Odpre se seznam z vsemi stolpci. Označite tiste, ki jih želite prikazati v tabeli, oziroma odkljukajte tiste, ki jih želite skriti. Če ima tabela dve zvezdici, lahko z zgornjo izklopite več stolpcev, s spodnjo pa posamezne stolpce. 16 5 OSNOVNE ANALIZE Osnovne analize ponujajo šolam različne primerjave med dosežki učencev na šoli in dosežki vseh učencev v državi. Obenem dajejo vpogled v doseganje ciljev in standardov, ki so določeni z učnimi načrti in so šolam v pomoč pri ugotavljanju močnih in šibkih področij v znanju učencev. 5.1 Osnovni podatki Namen Z analizo »Osnovni podatki« izvemo, pri katerih predmetih se je v določenem letu preverjalo znanje učencev z NPZ v 6. oziroma v 9. razredu. Dobimo tudi odgovor, koliko je bilo prijavljenih in udeleženih učencev, ter povprečni dosežek in standardni odklon (oboje v odstotnih točkah). Osnovni podatki omogočajo primerjavo povprečnih dosežkov šole in Slovenije. Koraki izvedbe 1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«. 2. V iskalnih pogojih določite »Razred« in »Rok«. Če želite dobiti osnovne podatke za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«. 3. Kliknite gumb »Prikaži podatke«. Odpre se tabela »Osnovni podatki«. Razlaga tabele z osnovnimi podatki Tabela prikazuje, iz katerih treh predmetov se je v določenem roku na šoli preverjalo znanje na NPZ. S povprečjem v odstotkih je predstavljen povprečni dosežek učencev na preizkusu, ki je izražen v odstotnih točkah glede na največje možno število točk (100 %). Standardni odklon kaže razpršenost odstotnih točk okrog povprečnega dosežka. Razlika med številom prijavljenih in udeleženih pove, koliko učencev se pri predmetu ni udeležilo preverjanja. 17 Podatke lahko pripravite za vse učence v Sloveniji, za vse učence na šoli in za skupino učencev na šoli. Stolpci v tabeli: – »Rok« označuje leto in razred opravljanja NPZ. – Predmet pri NPZ opredeljujeta stolpca »Oznaka predmeta« in »Ime predmeta«. – »Št. prijavljenih« je število učencev, ki so se prijavili k NPZ. – »Št. udeleženih« je število učencev, ki so opravljali NPZ. – »Povprečje (%)« je povprečni dosežek v odstotnih točkah za preizkus. – »Std. odklon (%)« kaže razpršenost odstotnih točk okrog povprečnega dosežka v odstotnih točkah; višja vrednost standardnega odklona predstavlja večjo razpršenost okrog povprečja. Če želite prikazati podatke samo za predmete NPZ na vaši šoli, odstranite kljukico pri »Vsi predmeti«. 18 Usmeritve pri interpretaciji Osnovne podatke potrebujemo, ko bi radi hitro izvedeli, kolikšen je bil dosežek učencev pri določenem predmetu na šoli in v Sloveniji. Razmislite, ali ste pričakovali boljši ali slabši dosežek svojih učencev, ki ga prikazuje statistika povprečni dosežek. Pri tem so vam lahko v pomoč primerjave povprečnih dosežkov. Če je povprečni dosežek na šoli višji od državnega, so vaši učenci v povprečju pokazali več znanja pri NPZ kakor učenci v Sloveniji. In nasprotno, če je ta nižji, so učenci vaše šole v primerjavi z vsemi učenci v Sloveniji v povprečju pri NPZ pokazali manj znanja. Dosežkov NPZ ne primerjajte med predmeti, ker so ti vsebinsko zelo raznoliki! Višji standardni odklon na šoli kakor v Sloveniji nakazuje, da so učenci na šoli po znanju bolj raznoliki. Bodite pozorni na število učencev na šoli (oz. število v skupini). Če je število nizko (<20), so lahko statistike nezanesljive, saj je možnost napake zaradi vpliva naključja velika. Okvirno naj velja, da so rezultati analize pri manj kot 20 učencih le orientacijskega pomena. Če je število učencev še nižje (10 ali manj), pa statistike niso uporabne, saj so hitro lahko zavajajoče. Število neudeleženih pri NPZ se lahko po šolah in predmetih razlikuje. V šoli si odgovorite na vprašanje, kateri so razlogi za odsotnost učencev (bolezen, neopravičen izostanek, druge dejavnosti, npr. tekmovanja itd.). Praktični primer Z NPZ se je na šoli v 9. razredu preverjalo znanje učencev iz matematike, slovenščine in angleščine. Razlika med številom prijavljenih pri vseh treh predmetih (78) in številom udeleženih pove, da se NPZ iz angleščine ni udeležilo 14 učencev, iz matematike 6 in iz slovenščine 9 učencev. Povprečni dosežek šole je pri slovenščini primerljiv z državnim, pri angleščini je opazno nižji, pri matematiki pa opazno višji (pri obeh je velikost učinka večja od 0,3; glej poglavje »11 Velikost učinka«). Višja standardna odklona pri angleščini in slovenščini, tako na šoli kakor tudi v Sloveniji, nakazujeta, da so učenci pri teh dveh predmetih po znanju bolj raznoliki na šoli kakor v Sloveniji. 19 5.2 Porazdelitev dosežkov Namen Porazdelitev dosežkov omogoča razporeditev dosežkov NPZ v odstotnih točkah za posamezni predmet od najnižjega do najvišjega. V grafičnih predstavitvah so označena obarvana območja, ki predstavljajo skupine učencev, za katere so bili na državnem nivoju pripravljeni opisi znanja. Koraki izvedbe 1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«. 2. Izberite zavihek »Porazdelitev dosežkov«. 3. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Če želite dobiti porazdelitev dosežkov za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«. 4. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Graf« s porazdelitvijo dosežkov učencev v Sloveniji. 5. Kliknite na zavihek »Tabela«. Prikažejo se podatki za izris grafa. Razlaga grafične predstavitve Grafična predstavitev prikazuje dosežke učencev v odstotnih točkah pri NPZ, razvrščenih od najnižjega do najvišjega (tj. od 0 do 100 %). Za vsak dosežek je z višino stolpca prikazano število učencev z enakim dosežkom pri preizkusu. Število je zapisano tudi v pravokotniku nad stolpcem. Navpični črti na grafu označujeta povprečni dosežek učencev v Sloveniji in povprečni dosežek učencev na šoli. 20 Porazdelitev dosežkov prikažemo v tabeli in na grafu; v obeh za učence v Sloveniji in za učence na šoli. V grafični predstavitvi za Slovenijo so označena štiri barvna območja: zeleno, rumeno, rdeče in modro. V vsakem območju je okoli 10 % učencev: v zelenem so po dosežkih učenci okoli meje spodnje četrtine, v rumenem so učenci iz sredine, rdeče območje označuje učence okoli meje zgornje četrtine, v modrem pa je 10 % najuspešnejših. Učenci v zelenem območju so dosegli nižje število odstotnih točk kakor učenci v rumenem območju, učenci v modrem območju pa so dosegli višje število odstotnih točk v primerjavi z učenci v rdečem območju (glej poglavje »10 Določitev barvnih območij«). Opise območij (oz. znanja, ki ga ti predstavljajo) za posamezni predmet pripravijo predmetne komisije in so opisani v publikaciji »Opisi dosežkov«. Obarvana območja v grafični predstavitvi za šolo obsegajo enake intervale odstotnih točk kakor za Slovenijo. Učenci šole v teh območjih lahko izkazujejo druga znanja kakor njihovi vrstniki v Sloveniji, zato opisov na državni ravni ne moremo posplošiti na šolsko raven. Bodite pozorni na to, da opisi veljajo samo za obarvana območja v grafični predstavitvi za Slovenijo! 21 Razlaga predstavitve v tabeli S klikom na zavihek »Tabela« se dosežki pokažejo v tabeli. Tabela prikazuje število učencev z določenim številom odstotnih točk v preizkusu. Stolpec »Odstotne točke« predstavlja dosežke NPZ v odstotnih točkah, ki so razporejeni po velikosti od najnižjega do najvišjega. Stolpca o številu učencev povesta, koliko učencev je pri NPZ doseglo določeno število odstotnih točk; eden je za učence na šoli, drugi pa za učence v Sloveniji. Stolpci v tabeli: – »Odstotne točke« so dosežki NPZ, ki so razporejeni po velikosti od najnižjega do najvišjega (tj. od 0 % do 100 %); – »Št. učencev na šoli« pove, koliko učencev na šoli je pri NPZ doseglo določeno število odstotnih točk. Če pri grafu v iskalnih pogojih izberete »Skupina«, ta stolpec predstavlja »Št. učencev v skupini«; – »Št. učencev v Sloveniji« pove, koliko učencev v državi je pri NPZ doseglo določeno število odstotnih točk. Usmeritve pri interpretaciji Porazdelitev prikazuje razporejenost dosežkov učencev na preizkusu od najnižjega do najvišjega. Uporabimo jo takrat, ko želimo za predmet izvedeti, koliko učencev je doseglo določeno število odstotnih točk. Vprašajte se, ali je število učencev na šoli (oz. v skupini) z določenim številom odstotnih točk višje ali nižje od pričakovanega. Na grafu porazdelitve dosežkov za Slovenijo (spustni seznam »Slovenija«) vidimo, kje so obarvana območja. Gre za izbrana področja porazdelitve, za katera državne predmetne komisije pripravijo opise znanja (vir: Opisi dosežkov). Opisi dosežkov izpostavljajo močna in šibka področja v znanju določene skupine učencev na državni ravni ter učitelju omogočajo preprost vpogled v vsebine, ki jih je treba pri poučevanju obravnavati bolj poglobljeno. Opisi so pripravljeni kot splošno vodilo pri ugotavljanju vsebine znanja učencev. Za ugotavljanje močnih in šibkih področij v znanju učencev na šoli (oz. skupini) mora učitelj opraviti analizo dosežkov učencev po nalogah. Praktični primer Porazdelitev na šoli je nekoliko pomaknjena v desno. Najvišji dosežek (98 %) je dosegel en učenec in najnižjega (6 %) ravno tako eden. Vseh učencev na šoli je 37, od teh je 1 v zelenem, 4 so v rumenem, 8 v rdečem in 10 v modrem območju. Glede na razpršenost dosežkov pri NPZ so si učenci šole po znanju zelo raznoliki. 22 Z grafa porazdelitve dosežkov za Slovenijo je razvidno, da je državno povprečje v rumenem območju dosežkov. Iz opisa dosežkov (vir: Opisi dosežkov učencev 9. razreda pri NPZ) lahko sklepamo, da pri matematiki tipični učenec v Sloveniji s 65-% verjetnostjo »zapiše potenco negativnega decimalnega števila, množi ulomek z negativnim decimalnim številom. Reši geometrijski problem v povezavi s ploščinami danih likov. Zapiše verjetnost dogodka. Reši enačbo z ulomkom. Preveri rešitev dane enačbe. Poenostavi algebrski izraz s kvadratom dvočlenika in zmnožkom vsote ter razlike enakih členov. Z uporabo podatkov s slike izračuna prostornino in površino pravilne enakorobe štiristrane piramide.«. Povprečje šole je nekoliko višje od državnega, kar pomeni, da v povprečju učenci na šoli znanje, značilno za rumeno območje, najverjetneje izkazujejo z nekaj večjo kot 65-% verjetnostjo. Razvidno je tudi, da povprečje šole ne dosega rdečega območja, torej da v povprečju učenci šole z nižjo kot 65-% verjetnostjo izkazujejo znanje, značilno za rdeče območje: »Učenci zapišejo številski izraz po besedilu. Zapišejo razmerje dveh količin. Ekvivalentno preoblikujejo linearno enačbo z ulomkom. V danem zaporedju decimalnih števil prepoznajo pravilo in zapišejo manjkajoči člen. Rešijo geometrijski problem s preoblikovanjem dveh pravokotnih trikotnikov v ploščinsko enake like ter izračunajo 23 obseg in ploščino. V strategiji reševanja preprostega besedilnega problema iz vsakdanjega življenja uporabijo odstotni račun. Uporabijo obrazec za izračun površine piramide.«. 5.3 Primerjava dosežkov Namen S primerjavo dosežkov si odgovorite na vprašanje, katerih učencev (glede na njihove izkazane dosežke) je bilo na šoli več/enako/manj v primerjavi z vsemi učenci v Sloveniji. Koraki izvedbe 1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«. 2. Izberite zavihek »Primerjava dosežkov«. 3. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Če želite dobiti primerjave dosežkov za skupino učencev na šoli, ki ste jo za izbrani rok ustvarili predhodno, določite tudi pogoj »Skupina«. 4. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Graf« s primerjavo dosežkov učencev na šoli in v Sloveniji. 5. Izberite zavihek »Tabela«. Pokažejo se podatki za izris grafa. Razlaga analize Celoten razpon dosežkov (100 odstotnih točk) pri posameznem predmetu se razdeli na določeno število enakih intervalov (privzeto imajo intervali na začetku po 10 odstotnih točk). Nato program izračuna delež učencev na šoli in v Sloveniji, ki ima dosežek v posameznem intervalu. Možni sta dve različici prikaza podatkov: primerjava šole in Slovenije, kjer v posameznem intervalu primerjamo stolpca z deleži za šolo in Slovenijo, in razlika med šolo in Slovenijo, kjer stolpci prikazujejo, za koliko odstotkov je delež učencev na šoli v posameznem intervalu večji ali manjši od deleža učencev v Sloveniji v istem intervalu. Pri slednjem prikazu oznake vrednosti prikazujejo poleg razlike v odstotkih tudi število učencev na šoli (Š) in v Sloveniji (D) v posameznem intervalu. 24 V zavihku »Tabela« so podatki za izris obeh grafov. V prvem stolpcu so intervali odstotnih točk pri NPZ (0–100 točk). Temu sledita dva stolpca s podatki za šolo in dva s podatki za Slovenijo (število in delež učencev). Stolpca z deleži se izrišeta na grafu primerjave med šolo in Slovenijo. V zadnjem stolpcu so podatki za izris grafa razlike med šolo in Slovenijo. Usmeritve pri interpretaciji Če analiza »Osnovni podatki« omogoča primerjavo povprečnih dosežkov šole in Slovenije, analiza »Primerjava dosežkov« omogoča podrobnejšo primerjavo po intervalih dosežkov. Učenci na šoli namreč niso nujno porazdeljeni enako kakor v Sloveniji. Primerjava hitro pokaže, na katerih delih porazdelitve je učencev na šoli (relativno) več kakor v Sloveniji in kje jih je (relativno) manj. Večji delež učencev šole v intervalih z višjim številom odstotnih točk pomeni, da je na šoli večji delež učencev z višjim dosežkom pri NPZ kakor v Sloveniji. Vendar je ob interpretaciji podatkov 25 treba upoštevati kontekst, ki zajema tako značilnosti učencev, zajetih v analizo, kakor tudi značilnosti šolske prakse na tej šoli v preteklem obdobju. Le z upoštevanjem vseh dejavnikov je mogoče soditi o vzrokih za opažene dosežke in ugotavljati, v kolikšni meri se v dosežkih odraža sistematično delo na šoli in v kolikšni meri individualne značilnosti učencev izbranega leta. Pri interpretaciji moramo biti pozorni na število učencev na šoli, ki so vključeni v analizo. Če je teh malo, lahko posamezni učenec predstavlja več odstotkov, in razlike glede na deleže učencev v državi se lahko spreminjajo skokovito. Pri manjšem številu učencev je bolj smiselno izbrati manjše število intervalov (npr. velikost intervala 20), dobljene dosežke pa upoštevati zgolj informativno. Pri manjšem številu učencev izberite večjo širino intervala, saj bo tako v posameznem intervalu več učencev. Praktični primer V šoli so pripravili analizo primerjav po dosežkih in dobili ta graf. Z grafa na sliki lahko razberete, da je bilo v šoli pri matematiki v intervalih dosežkov od 21–40 in od 41–60 odstotnih točk precej manj učencev kot v Sloveniji, posledično pa je bilo več učencev na šoli v intervalih od 61–80 in od 81–100 odstotnih točk. Večji delež učencev v intervalih visokih in najvišjih dosežkov je vsekakor dober rezultat, saj je na šoli večji delež učencev z višjim dosežkom pri NPZ. 26 5.4 Podatki po letih Namen Analiza »Podatki po letih« omogoča primerjavo povprečnih odstotnih točk pri predmetu med leti in na ta način spremljanje trendov dosežkov. Usmerjajo nas v razmišljanje o vzrokih za opažene spremembe in iskanje možnosti za izboljšanje izkazanega znanja. Koraki izvedbe 1. Kliknite gumb »Osnovne analize«. Odpre se zavihek »Osnovni podatki«. 2. Izberite zavihek »Podatki po letih«. 3. V iskalnih pogojih določite »Razred«, izberite vse roke, za katere bi radi spremljali dosežke, in »Predmet«. 4. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Graf« s primerjavo povprečnih odstotnih točk po letih med šolo in Slovenijo. 5. Izberite zavihek »Tabela«. Pokažejo se podatki za izris grafa. Razlaga analize Analiza omogoča prikaz štirih različnih grafov: »Šola (povprečje)«, ki za izbrana leta prikazuje povprečno število odstotnih točk pri posameznem predmetu na šoli; »Slovenija (povprečje)«, ki za izbrana leta prikazuje istovrstne podatke na ravni vse države; »Šola in Slovenija (povprečje)«, kjer sta oba prejšnja prikaza združena na isti sliki, in »Odklon«5, ki prikazuje standardizirane razlike med šolskim in slovenskim povprečjem odstotnih točk. S tem ko so razlike standardizirane, se izniči vpliv nihanj v razpršenosti porazdelitev med posameznimi leti, velikosti razlik pa so še vedno primerljive z odstotnimi točkami. Posledično so primerjave ustreznejše. 5 Odklon se izračuna tako, da se od šolskega povprečja odstotnih točk odšteje slovensko povprečje odstotnih točk v izbranem letu. Razlika se deli s standardnim odklonom dosežkov za izbrano leto v Sloveniji in pomnoži s konstanto. Konstanta je prečni standardni odklon za učence v Sloveniji, ki so opravljali NPZ v vseh izbranih letih (koren povprečne variance odstotnih točk). 27 V nadaljevanju je prikazan graf primerjave šole in Slovenije. Na voljo je tudi tabela s podatki za izris grafov: število udeleženih učencev in povprečje (%) na šoli, število udeleženih učencev in povprečje (%) v Sloveniji ter odklon. Če je število udeleženih na šoli 1, standardni odklon ni izračunan. 28 Usmeritve pri interpretaciji Pri interpretaciji se moramo zavedati, da preizkusi pri NPZ med leti niso neposredno primerljivi. Isto število doseženih odstotnih točk v različnih letih ne predstavlja nujno popolnoma enakega znanja, saj trenutni način sestave zunanjih preizkusov tega ne omogoča. Poleg tega moramo pri večletnih primerjavah upoštevati tudi spremembe v strukturi preizkusa ali v učnih načrtih, do katerih je lahko prišlo v posameznih letih. Pri interpretaciji dosežkov iz različnih let se moramo vprašati o značilnostih posameznih generacij učencev, razlikah v izvedbi učnega Okvirne smernice za interpretacijo procesa v različnih letih in razlikah v strukturi preizkusov. Preplet vseh velikosti učinka: treh vrst dejavnikov vpliva na opažene dosežke, zato moramo biti pri 0,2 – majhen učinek, interpretaciji previdni. Da lahko iz podatkov izluščimo ugotovitve 0,5 – opazen (srednje velik) učinek, o večletnih trendih, je smiselno v analizo vključiti od 4 do 6 zaporednih 0,8 – velik učinek. rokov NPZ, pri ocenjevanju velikosti razlik pa si lahko pomagamo z izračunom velikosti učinka6. Če v primerjavi po letih izberete »Odklon«, lahko primerjate tudi dosežke iste generacije pri različnih predmetih. Za vsak predmet (slovenščina, matematika, tretji predmet) izrišete primerjavo po letih (izberete ista leta). Odkloni za posamezno leto vam pokažejo, kako se je ista generacija učencev izkazala pri različnih predmetih. Če so razlike zelo velike (npr. ista skupina učencev je pri dveh predmetih izrazito nadpovprečna, pri tretjem pa podpovprečna), potem je to lahko izhodišče za razpravo o dejavnikih, ki vodijo do teh dosežkov. Pri analizah za 6. razred upoštevajte, da pred letom 2013 (rok 136) opravljanje NPZ ni bilo obvezno. Udeležba je bila na državni ravni sicer visoka (80–85-%), kar pa ne velja nujno za posamezne šole. Na šoli imate lahko tudi druge večletne podatke, ki bi jih radi opazovali skupaj z dosežki NPZ. V tem primeru tabelo z dosežki NPZ shranite v Excel, kamor nato dodate svoje podatke. Praktični primer V šoli so za NPZ v 9. razredu med leti 2012 in 2017 pri matematiki dobili graf, ki prikazuje odklon. Rezultati kažejo, da se dosežki pri NPZ iz matematike v 9. razredu med leti od 2012–2014 na šoli gibljejo okoli slovenskega povprečja – kakšno leto malo pod povprečjem, drugič nad njim. V zadnjih letih, od 2015 dalje, lahko vidimo stalne nadpovprečne rezultate. Čeprav preizkusi med leti niso neposredno primerljivi, odkloni jasno kažejo, da je šola po dosežkih sedaj tipično nad slovenskim povprečjem, pred letom 2015 pa je bila s svojimi dosežki okoli državnega povprečja. 6 Uporaba velikosti učinka za oceno velikosti razlik je opisana v poglavju »11 Velikost učinka«. 29 Statistični interpretaciji mora slediti vsebinska – kaj so razlogi za opaženi trend? Gre za nekaj zaporednih »boljših« generacij učencev ali se je v zadnjih letih spremenil pouk? Se je zamenjal kak učitelj, je učbenik za matematiko drug, ali učitelji v nižjih razredih sedaj učijo drugače? Kontekst, v katerem deluje šola, je zunanjim opazovalcem običajno neznan, in si na ta vprašanja najbolje odgovorite sami v svoji šoli. Odgovor na vprašanje, ali so opažene razlike izrazite, srednje ali mogoče povsem zanemarljive, ni preprost. Statistike običajno omogočajo izračun statistične pomembnosti razlik, kar pa ni nujno vedno primerljivo s praktičnim pomenom. Zelo okvirno je mogoče velikost razlik ocenjevati s pomočjo velikosti učinka (več o velikosti učinka v poglavju 11). Toda če opažene odklone v zgornji analizi delimo z državnimi standardnimi odkloni za ustrezna leta (v zavihku »Osnovni podatki«), dobimo velikost učinka in lahko uporabimo okvirne smernice za interpretacijo. Zaključek je podoben – odkloni med leti 2012 in 2014 predstavljajo zanemarljive razlike, v zadnjih letih pa so te izrazitejše. Pri razumevanju, ali so opažene razlike velike, si lahko pomagamo z izračunom velikosti učinka. 30 6 ANALIZE PO NALOGAH Namen Analize po nalogah pokažejo podatke, s katerimi učitelj lahko dobi vpogled v vsebinske vidike znanja svojih učencev in primerjavo tega znanja z vsemi učenci v Sloveniji. Na ravni postavk dajejo tudi vpogled v konkretne (digitalizirane) odgovore posameznih učencev za leta, ko so se preizkusi vrednotili elektronsko. S stališča vsebinske analize je to najmočnejše orodje v programu, saj daje učitelju povratno informacijo o učenju in poučevanju, npr. ali je bila pri pouku osvojena učna snov, ki je zajeta v nalogah (sploh ne, površinsko, poglobljeno ipd.), odgovore o močnih in šibkih področjih v znanju učencev ter najpogostejših napakah učencev pri reševanju nalog. Analize po nalogah omogočajo ugotavljanje močnih in šibkih področij v znanju učencev. Koraki izvedbe 1. Kliknite gumb »Analize po nalogah«. Odpre se zavihek »Priprava podatkov«. 2. V iskalnih pogojih določite »Razred«, »Rok« in »Predmet«. Med učenci šole izberite eno od treh ponujenih možnosti: − vse učence, − učence po dodatnih pogojih (glede na spol oziroma oddelek), − skupino učencev, ki ste jo za izbrani rok ustvarili predhodno. 3. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Analize«. 4. Izberite zavihek »Graf«. Pokaže se slika, ki prikazuje primerjavo indeksa težavnosti po nalogah in postavkah na državni in na šolski ravni. 5. Izberite zavihek »Naloga«. Pokaže se naloga, ki ste jo označili v zavihku »Analize«. Razlaga tabele v zavihku »Analize« Tabela prikazuje statistične in vsebinske podatke za naloge in postavke v preizkusu. Statistični podatki so izračunani za učence v Sloveniji (stolpci SLO) in za učence na šoli (stolpci Šola7). Vsebinski podatki opisujejo lastnosti nalog, ki jih je za vsako nalogo v preizkusu določila predmetna komisija. 7 V stolpcih »Šola« so podatki za tiste učence šole, ki ste jih predhodno določili v iskalnih pogojih (zavihek »Priprava podatkov/Izberi učence«). 31 ① Podatke v tabeli lahko prilagajate: − Podatke za naloge, postavke ali oboje skupaj izberete s spustnega seznama »Prikaži: Naloge in postavke«. − Tabelo shranite s klikom na »Shrani tabelo«. − Odgovore učencev za posamezno postavko pogledate s klikom na »Ogled slike« – ogled je mogoč, če s spustnega seznama »Prikaži:« izberete samo »Postavke«. − Vsebinske podatke skrijete tako, da odstranite kljukico v okencu »Vsebinski podatki«. ② Razlaga stolpcev: − »Preizkus« označuje enega ali več testov (P1, P2 …). Običajno je na seznamu samo P1. − V stolpcih »Naloga« in »Postavka« so zapisane oznake za naloge in postavke iz podatkovne baze Rica (običajno se ujemajo z oznakami v moderiranih navodilih za vrednotenje). − Stolpci s statističnimi podatki za naloge in postavke dajejo informacijo o njihovih merskih značilnostih: − »Točke (možne)« je najvišje možno število točk; − »Št. učencev« je število učencev, ki so reševali nalogo/postavko; − »Točke (povp.)« je povprečno število absolutnih točk; − »Std. odklon« kaže razpršenost okrog povprečnega števila absolutnih točk; − »Indeks težavnosti« je težavnost naloge/postavke in označuje relativni povprečni dosežek pri nalogi. Vrednost 1 kaže láhko Std. odklon in indeks ločljivosti nalogo (rešili so jo vsi), vrednost 0 pa zahtevno nalogo (rešil je ni sta na prikazu skrita. Prikažete ju nihče); tako, da kliknete na zgornjo − »Razlika« se izračuna tako, da se od indeksa težavnosti za šolo zvezdico pred prvim stolpcem in odšteje indeks težavnosti za Slovenijo; ju označite na seznamu. − »Indeks ločljivosti« pove, kako dobro naloga ločuje uspešnejše učencev od manj uspešnih glede na njihov dosežek v preizkusu. Višji kot je indeks, bolje naloga razlikuje učence po uspešnosti. − Stolpci »Vsebinski podatki« predstavljajo lastnosti nalog, ki se lahko po predmetih razlikujejo. Vsem skupna značilnost je barvno območje (stolpec »Območje težavnosti«), ki je določeno za vsako postavko v preizkusu in zavzema pet različnih vrednosti: zeleno, rumeno, rdeče, modro in nad modrim. Območje težavnosti pove, iz katerega »najnižjega« barvnega območja so učenci, ki v Sloveniji postavko rešujejo z uspešnostjo nad 65 %. 32 Razlaga gumba »Ogled slike« Gumb »Ogled slike« omogoča vpogled v odgovore učencev šole pri posamezni postavki. Znanje učencev je tako predstavljeno s konkretnimi primeri, ki kvalitativno opisujejo močna in šibka področja v njihovem znanju. Odgovore učencev si pogledate tako, da najprej s spustnega seznama »Prikaži:« izberete »Postavke« (①). Nato označite eno od postavk v tabeli in kliknite na »Ogled slike« (②). Odpre se okno »Prikaz postavke za učence«. V levem delu okna »Prikaz postavke za učence« je tabela, v desnem pa slika postavke. V tabeli so za posameznega učenca zapisane skupne točke (absolutne in v odstotkih), na koncu poleg vsakega je obarvan krožec. Če je ta zelen, si učenčev odgovor lahko ogledate. Z rdečim krožcem pa so označeni odgovori, ki na Ricu niso bili optično prebrani, zato slike postavk niso na voljo (npr. odgovori učencev s posebnimi potrebami). Ogled slike je mogoč samo za postavke, ki so bile ocenjene elektronsko (od leta 2013 naprej za 9. razred in od leta 2014 naprej za 6. razred). 33 Razlaga zavihka »Graf« Na grafu so s stolpci predstavljeni indeksi težavnosti za naloge (oz. postavke). Za vsako postavko sta prikazana dva stolpca: za učence na šoli in učence v Sloveniji. Če je stolpec za šolo višji od stolpca za Slovenijo, so učenci šole, v primerjavi z vsemi učenci v državi, postavko reševali uspešneje. Na grafu lahko prikazujete več statistik: indeks težavnosti, povprečne točke, standardni odklon in indeks ločljivosti. Statistiko izberete s spustnega seznama »Graf«. 34 Razlaga zavihka »Naloga« Okno prikazuje tisto nalogo z rešitvijo, ki je označena v zavihku »Analize«. V okencu »Predmet« sta zapisana ime predmeta in datum preverjanja z NPZ, v okencu »Preizkus/Naloga« pa zaporedna številka naloge v preizkusu. Razlaga orodne vrstice Gumb za premikanje po nalogah: prvi, predhodni, naslednji, zadnji. Odpre nalogo v Wordu. Odpre rešitev v Wordu. Odpre prilogo v Wordu. Označite, če želite na zaslonu prikazati rešitev. Označite, če želite, da se rešitev na zaslonu prikaže desno od naloge. Poveča/Zmanjša sliko na zaslonu. 35 Usmeritve pri interpretaciji V zavihku »Analize« dobite podroben vpogled v naloge in postavke preizkusa, saj so te opremljene z vrsto statističnih in vsebinskih podatkov (npr. vsebinsko področje, tip naloge, taksonomska stopnja, barvno območje ipd.). Omogočen je tudi njihov prikaz z rešitvijo in prilogami (zavihek »Naloga«) ter odgovori učencev šole (v slikah) na posamezno postavko (gumb »Ogled slike«). Če želite izvedeti, katere postavke so učenci reševali najuspešneje in katere najmanj uspešno, jih v zavihku »Analize« razvrstite po indeksu težavnosti za šolo; postavke z najvišjim indeksom je rešil največji delež učencev, postavke z najnižjim indeksom pa najmanjši delež. Pri posamezni postavki poglejte tudi odgovore učencev (op. kliknite gumb »Ogled slike« – ogled je mogoč, če s spustnega seznama »Prikaži:« izberete samo »Postavke«); razmislite, ali so njihovi odgovori pri postavki v skladu z vašimi pričakovanji, npr. ali je bila pri pouku obravnavana učna snov, ki je zajeta v nalogi (sploh ne, površinsko, poglobljeno ipd.), ali so učenci vajeni reševati naloge takega tipa, ali se dosežki učencev pri NPZ po postavkah ujemajo z izkazanim znanjem pri pouku, ipd. Relativen vpogled v znanje učencev šole pridobite tako, da po postavkah primerjate njihove dosežke z dosežki vrstnikov v Sloveniji. Primerjavo omogočata indeksa težavnosti za šolo in za Slovenijo ter njuna razlika. Pozitivna razlika pomeni, da so učenci na šoli postavko reševali uspešneje kakor učenci v državi, če pa je ta negativna, so jo uspešneje reševali učenci v državi. Odstopanja za vse postavke lahko pogledate tako, da jih s klikom na stolpec »Razlika« razvrstite od npr. največje pozitivne do največje negativne razlike (v prvi vrstici je postavka, pri kateri so bili učenci šole v povprečju najuspešnejši v primerjavi z njihovimi vrstniki v Sloveniji, v zadnji pa postavka, pri kateri so bili učenci šole primerjalno najmanj uspešni). S klikom na ime stolpca postavke razvrstite glede na vrednosti v tem stolpcu. Tako hitro poiščete postavke, ki so zanimive za analizo. 36 Podobno primerjavo omogoča graf z indeksom težavnosti po postavkah (zavihek »Graf«), le da vrstnega reda postavk tu ne morete spreminjati. Na grafu ne morete spreminjati vrstnega reda postavk. Posebno pozornost posvetite nalogam, ki so jih učenci šole reševali z opazno manjšo uspešnostjo kakor učenci v Sloveniji, in poskušajte poiskati razloge za razhajanja. Poglejte vsebinske podatke in odgovorite, v katero barvno območje spadajo slabše reševane naloge, katero vsebinsko področje pokrivajo, katere zmožnosti, cilje in taksonomske stopnje preverjajo ter ali je na uspešnost reševanja vplival tip naloge. Ugotovljene razlike v znanju interpretirajte v kontekstu šolske prakse, ki so je bili deležni učenci, vključeni v analizo. Obstaja vrsta dejavnikov, ki bi lahko vplivala na izkazane dosežke učencev, npr.: morebitna (ne)realizacija učnega načrta, uporabljene oblike in metode poučevanja, načini preverjanja in ocenjevanja znanja ipd. Svoje ugotovitve lahko primerjate tudi z opisi območij, ki so jih za vse učence pripravile predmetne komisije; ugotavljate lahko na primer, ali opisi za modro območje veljajo tudi za 10 odstotkov najuspešnejših učencev na šoli, in če ne, katero znanje so ti učenci izkazali pri NPZ. 37 Praktični primer Učenci šole so najuspešneje reševali 2. in 3. nalogo (indeksa težavnosti sta 0,65 in 0,64), najmanj uspešno pa 5. in 9. nalogo (indeksa težavnosti sta pri obeh 0,37). Naloge so razvrščene po indeksu težavnosti za šolo od najvišjega do najnižjega. Po postavkah so učenci šole najuspešneje reševali postavko 6.a.1 (indeks težavnosti je 0,90), najmanj uspešno pa postavko 8.b.2 (indeks težavnosti je 0,15). Postavko 6.a.1 so uspešno reševali tudi učenci v Sloveniji, saj je ta v zelenem barvnem območju, postavka 8.b.2 pa je tudi najuspešnejšim 10 % učencem v Sloveniji povzročala težave (barvno območje je nad modrim). Postavke so razvrščene po indeksu težavnosti za šolo od najvišjega do najnižjega. 38 Analiza »Osnovni podatki« pokaže, da je pri NPZ iz matematike v 9. razredu povprečni dosežek učencev na šoli (53,2 %) primerljiv s povprečnim dosežkom učencev v Sloveniji (53,1 %). Od tod bi lahko sklepali, da so učenci na šoli pri NPZ izkazali podobno znanje kakor učenci v Sloveniji, vendar pa podrobnejši vpogled v analizo pokaže, da za posamezne naloge in postavke to ne drži. Iz tabele je razvidno, da so učenci na šoli postavko 1.b.2 reševali uspešneje v primerjavi z učenci v Sloveniji (pozitivna razlika), postavko 3.c pa manj uspešno (negativna razlika). Postavka 1.b.2 je preverjala cilj iz UN: »Učenci izračunajo vrednost številskih izrazov.«. Na šoli jo je uspešno rešilo 60 % učencev, v Sloveniji pa 37 % (razlika je 0,23 oziroma 23 %). 39 Postavka 3.c je preverjala cilj iz UN: »Učenci zapišejo razmerje dveh količin.«. Na šoli jo je uspešno rešilo 35 % učencev, v Sloveniji pa 52 % (razlika je –0,17 oziroma –17 %). Postavka 1.b.2: Izračunaj. 1 ⋅ ( 1 − 0,5) = 5 Odgovor: –2,1 ali ekvivalentni zapis Postavka 3. c: Kolikšno je v tem razredu razmerje med številom učencev, ki se ukvarjajo s šahom, in številom učencev, ki se ne ukvarjajo s šahom? Odgovor: 6 : 18 ali ekvivalentni zapis (npr. 1 : 3) Razlogi za slabše reševano postavko 3.c se lahko poiščejo med najpogostejšimi napakami, ki so jih pri reševanju delali učenci (odgovore učencev šole prikažete s klikom na »Ogled slike«). Po skupnem dosežku uspešnejši učenci so za člen v razmerju pogosto zapisovali število vseh učencev (24) namesto števila učencev, ki se ne ukvarja s šahom (18), zato je bil njihov odgovor (6 : 24 oz. 1 : 4) napačen. Učenci s srednjimi dosežki so pogosto zamenjali člena v razmerju (3 : 1). Do napak je prihajalo tudi pri krajšanju členov razmerja (6 : 18 = 3 : 6 ali 6 : 18 = 1 : 2). Manj uspešni učenci pa postavke 3.c pogosto sploh niso reševali. Podobno kot v opisanem primeru lahko najpogostejše napake poiščete tudi pri drugih postavkah v preizkusu. Ugotovitve uporabite pri zasnovi drugačnih pristopov k poučevanju, ki bodo izboljšali kakovost izkazanega znanja. 40 7 ANALIZA DODANE VREDNOSTI Namen Analiza dodane vrednosti prikazuje napredek znanja, ki se kaže v dosežkih učencev na NPZ v 9. razredu glede na njihove dosežke pri NPZ v 6. razredu. Z analizo dodane vrednosti lahko ugotovimo, kako so učenci na šoli napredovali v znanju v primerjavi z vrstniki s primerljivimi predhodnimi dosežki na NPZ v Sloveniji. Uvod v analizo dodane vrednosti Pri analizi dodane vrednosti se za vse učence v Sloveniji izračuna8 tipičen napredek med dosežki NPZ v 6. in v 9. razredu (zelena črta na grafu), ki ga uporabimo pri napovedi dosežkov učencev v 9. razredu, – to so napovedani dosežki učencev. Za posameznega učenca se nato izračuna razlika med njegovim dejanskim in napovedanim dosežkom v 9. razredu. Na grafu zelena črta prikazuje napovedane dosežke učencev, rumene pike pa so dejanski dosežki posameznih učencev izbrane šole. Razlika je na grafu označena kot modra daljica, ki rumeno piko povezuje z rožnato na črti napovedanih dosežkov. Učenec B je na grafu označen z rumenim krožcem B na zeleni črti. Učenec je v 6. razredu dosegel 65 odstotnih točk, njegov napovedani dosežek v 9. razredu pa je 60 odstotnih točk. Ker odstotne točke med preizkusi niso neposredno primerljive, nikakor ne smemo trditi, da se je njegovo znanje znižalo za 5 odstotnih točk. Za učenca B velja, da se njegov napovedani dosežek popolnoma ujema z dejanskim dosežkom. Vendar pa tega ne moremo trditi za učenca A in C. Ugotovimo lahko, da se njuna dejanska dosežka (rumena krožca) razlikujeta od napovedanih (rožnata krožca na zeleni črti). Razliko označuje modra daljica, ki povezuje rumeni (dejanski dosežek) in rožnati krožec na zeleni črti (napovedani dosežek). Mera dodane vrednosti je povprečna razlika med napovedanimi in dejanskimi dosežki učencev posamezne šole. 8 Pri predmetih, ki imajo na ravni države 500 učencev ali manj, se uporabi metoda z linearno regresijo (ravna črta), sicer pa metoda mediane (lomljena črta). Več o izračunu je napisano v poglavju »12 Dodana vrednost«. 41 Koraki izvedbe 1. Kliknite gumb »Analiza dodane vrednosti«. Odpre se zavihek »Priprava podatkov«. 2. V iskalnih pogojih mora biti pri pogoju »Razred« izbran 9. razred. Določite »Rok NPZ-9« (rok opravljanja NPZ v 9. razredu), »Predmet NPZ-9« (predmet NPZ v 9. razredu) in »Predmeti NPZ-6« (en ali več predmetov NPZ v 6. razredu). Med učenci šole izberite eno od ponujenih možnosti: − vse učence, − učence po dodatnih pogojih (glede na spol oziroma oddelek), − skupino učencev, ki ste jo za izbrani rok ustvarili predhodno. 3. Kliknite gumb »Prikaži podatke«. Odpre se zavihek »Graf«, ki prikazuje analizo dodane vrednosti. 4. Izberite zavihek »Tabela«. Pokažejo se statistike za učence v Sloveniji in izbrane učence na šoli. 42 Razlaga zavihka »Graf« Graf je opremljen z naslovom (»Analiza dodane vrednosti«), podnaslovom (rok opravljanja NPZ v 9. razredu, dodana vrednost [DV] s povprečjem in standardno napako), absciso (odstotne točke NPZ pri enem ali več predmetih v 6. razredu), ordinato (odstotne točke NPZ pri predmetu v 9. razredu) in legendo (trend za Slovenijo in izbrani učenci na šoli). Na grafu modra črta prikazuje (napovedane) dosežke za Slovenijo, rdeče pike pa predstavljajo dosežke izbranih učencev na šoli. Črne (črtkane) črte kažejo povprečja dosežkov za šolo in Slovenijo (črte za šolo in pike za Slovenijo). Z desnim klikom prikličete meni, v katerem lahko izberete dodatne elemente: odstranite črti za povprečja dosežkov in prikažete pogoje za šolo. Ti so zapisani pod legendo in ustrezajo iskalnim kriterijem v zavihku »Priprava podatkov«. Spustni seznam nad grafom »Barve na grafu« omogoča, da se podatki na grafu obarvajo različno glede na spol ali oddelek. S klikom v ustrezna okenca legende lahko posamezne skupine učencev na grafu skrijete ali prikažete, vendar to ne spremeni izračunov v povezani tabeli ali mere DV v naslovu grafa. Če želite za posamezno skupino (npr. spol ali oddelek) prikazati pravo vrednost DV, morate pri pripravi podatkov izbrati učence »Po dodatnih pogojih«. Prikaz grafa se prilagaja glede na podatke. S klikom na ikono se prikaz vrne na privzete vrednosti. 43 Dodana vrednost in standardna napaka »DV (dodana vrednost)« je dodana vrednost šole, izračunana kot povprečje razlik med dejanskimi in napovedanimi dosežki učencev pri izbranem predmetu NPZ v 9. razredu na tej šoli. Izražena je v odstotnih točkah izbranega predmeta NPZ. Npr. šola z DV = 1 ima učence, ki so na preizkusu v povprečju dosegli eno odstotno točko več kakor primerljivi učenci v Sloveniji (primerljivi glede na dosežek pri NPZ v 6. razredu). »Std. napaka« je mera, ki kaže natančnost izračuna dodane vrednosti. Glede na število učencev na šoli in glede na različnost njihovih odstopanj med dejanskimi in napovedanimi dosežki je lahko ocenjena dodana vrednost šole bolj ali manj zanesljiva. Stabilnost ocenjene dodane vrednosti v odvisnosti od teh dveh dejavnikov izraža navedena standardna napaka, ki je, statistično gledano, izračunana kot standardna napaka aritmetične sredine (dodane vrednosti). Tudi interpretiramo jo podobno – če je izračunana dodana vrednost po velikosti vsaj dvakrat večja od ustrezne standardne napake, potem je statistično pomembno različna od 0 (pri stopnji tveganja 5 %). Primer: DV = 0,94 ± 0,57, pri čemer 0,94 predstavlja povprečje razlik med dejanskimi in napovedanimi dosežki, 0,57 pa standardno napako za izračun povprečja. Če je v Sloveniji opravljalo izbrani predmet na NPZ v 9. razredu vsaj 500 učencev, ki so opravljali tudi NPZ v 6. razredu, je na grafu prikazana črta po metodi mediane, sicer je prikazana črta linearne regresije. Za samo interpretacijo to v večini primerov ni pomembno. 44 Razlaga zavihka »Tabela« V zavihku »Tabela« so osnovni podatki za Slovenijo in učence na šoli. Vsebuje te vrstice: – »Št. udeleženih« – število vseh učencev, ki so skladno z izbranimi pogoji opravljali izbrani predmet NPZ; – »Št. povezanih« – število učencev, ki smo jih uspeli povezati z njihovim dosežkom na NPZ v 6. razredu; – »Delež povezanih« – odstotek povezanih, izračunan iz razmerja med številom povezanih in številom udeleženih; – »Povp. dosežek NPZ-9« – povprečno število odstotnih točk pri preizkusu NPZ v 9. razredu; – »Povp. dosežek NPZ-6« – povprečno število odstotnih točk pri enem predmetu ali standardizirana vrednost pri več predmetih NPZ v 6. razredu. Če pri predmetih NPZ-6 za analizo izberete en predmet (materinščino ali matematiko), so za povprečni dosežek uporabljene odstotne točke, zapisano na obvestilu o uspehu na NPZ, ki ga prejme učenec. Če za analizo izberete več predmetov – v iskalnih pogojih »Skupaj (predmeti)«, se za povprečno število odstotnih točk uporabijo standardizirane vrednosti9. Na ordinati je izražen dosežek pri izbranem predmetu NPZ-9 v odstotnih točkah. Dodana vrednost (DV) šole je izražena v odstotnih točkah izbranega preizkusa NPZ-9. Dodana vrednost +2,0 pomeni, da so v povprečju učenci na šoli pri izbranem predmetu na NPZ-9 dosegli 2 odstotni točki več, kot bi to napovedali glede na njihove predhodne dosežke v 6. razredu in glede na tipični napredek vrstnikov z enakimi predhodnimi dosežki. Zavedati se moramo, da se dosežki preizkusov na NPZ-6 in NPZ-9 ne izražajo na isti točkovni lestvici in da med sabo niso neposredno primerljivi. Enako število odstotnih točk na NPZ v 6. in 9. razredu tako ne predstavlja enakega znanja, niti ne predstavlja istega položaja glede na sovrstnike v Sloveniji. Kar lahko primerjamo, je napredek posameznega učenca z napredkom vrstnikov, ki so imeli v 6. razredu enak dosežek kot on. Takšen napredek je seveda relativen in približno polovica učencev je tipično nad povprečjem, polovica pa pod njim. Če je mera dodane vrednosti za šolo negativna, to ne pomeni, da so učenci na šoli nazadovali. Zagotovo so namreč vsi učenci v zadnjem triletju osnovne šole v znanju napredovali, vendar zaradi načina sestave preizkusov NPZ tega ne moremo ovrednotiti. Negativna vrednost nam pove, da so učenci šole na preizkusu NPZ-9 v povprečju dosegli manj kakor njihovi vrstniki s podobnimi dosežki v 6. razredu. 9 Standardizirane vrednosti (oz. skupni standardizirani dosežki NPZ): Najprej se dosežki NPZ pri posameznih predmetih standardizirajo (od dosežkov se odšteje aritmetična sredina, dobljena razlika se deli s standardnim odklonom dosežkov pri posameznem predmetu). Nato se za vsakega posameznika izračuna povprečni dosežek vseh predmetov skupaj. Tako dobljene vrednosti se pomnožijo z 10, nato se vsaki prišteje 50, oziroma se izrazijo v lestvici, ki je v statistiki znana kot Z-lestvica, ki ima aritmetično sredino 50 in standardni odklon 10. 45 Negativna dodana vrednost ne pomeni nazadovanja v znanju, ampak manjši napredek od povprečnega v Sloveniji. Običajno je približno pri polovici šol ta vrednost pozitivna in pri polovici negativna. Praktični primer V šoli so z analizo dodane vrednosti pripravili graf in tabelo. Z grafom dodane vrednosti v šoli spremljajo napredek 39 učencev, kar predstavlja 90,7 % vseh učencev, ki so tisto leto pri njih pisali NPZ iz matematike. Primerjava podatkov vseh učencev v Sloveniji in učencev te šole nam pokaže, da imajo učenci na šoli višji povprečni dosežek v odstotnih točkah na NPZ-9 (63,1 na šoli in 53,7 v Sloveniji) in da so imeli isti učenci na NPZ v 6. razredu nižji povprečni dosežek v odstotnih točkah (51,3 na šoli in 52,7 v Sloveniji). Zgolj razlika med šolskim in državnim povprečjem na NPZ pa ne pove, ali so dosežki učencev nad pričakovanji (napovedanimi vrednostmi) ali ne. S slike vidimo, da je večina pik, ki označuje posamezne učence, nad črto napovedanih dosežkov, kar kaže na to, da so napredovali več kakor vrstniki s primerljivimi dosežki v Sloveniji. Enako kaže tudi izračunana dodana vrednost (9,5). V povprečju je torej 39 učencev te šole doseglo 9,5 odstotne točke več, kot bi to pričakovali glede na njihove dosežke pri matematiki v 6. razredu oz. glede na tipični napredek njihovih vrstnikov z enakimi dosežki. 46 Standardna napaka (2,26), ki je precej manjša od izračunane dodane vrednosti, kaže na to, da gre za dokaj zanesljivo oceno dodane vrednosti. 47 8 ANALIZE PO MERI Namen Analize po meri omogočajo pripravo analiz, ki so v največji možni meri prilagojene željam uporabnika. Omogočajo prikazovanje enega ali več nizov podatkov hkrati (npr. dva niza – Šola in Slovenija; trije nizi – oddelki A, B in C hkrati ipd.), analize po zaključenih šolskih ocenah10, primerjave več predmetov hkrati ipd. Te analize je mogoče tudi shraniti in nato ponovno odpirati. Analize po meri so v največji možni meri prilagojene željam uporabnika. Koraki izvedbe 1. Kliknite gumb »Analize po meri«. 2. V zavihku »Izbira analize« izberite analizo (po odstotnih točkah oziroma po šolskih ocenah pri posameznem predmetu) ter označite osnovne in napredne nastavitve. Če ste izbrali analizo po odstotnih točkah, lahko nastavite tudi velikost intervala za odstotne točke, ki bo uporabljen pri risanju grafov. 3. V iskalnih pogojih zavihka »Priprava podatkov« določite »Razred«, »Rok«, »Predmet« in druge morebitne pogoje (spol, oddelek, status šolanja, skupino). Kliknite gumb »Dodaj podatke«. Podatki se izračunajo in dodajo na seznam nizov podatkov v spodnji del okna. Za dodajanje drugih nizov ponovite koraka 2 in 3. 4. Ko ste ustvarili vse želene nize, izberite zavihek »Graf«. Vrstni red nizov na zavihku »Priprava podatkov« določa tudi vrstni red nizov na grafu. 10 Za 9. razred ima Ric podatke o zaključenih šolskih ocenah od leta 2009 dalje, za 6. razred pa od leta 2016 dalje. 48 Razlaga zavihka »Izbira analize« Program omogoča pripravo dveh različnih analiz. »1 – Analiza uspeha pri predmetu po odstotnih točkah«: razvrstitev učencev po doseženih odstotnih točkah pri posameznih predmetih NPZ (odstotne točke od 0–100). »2 – Analiza uspeha pri predmetu po šolskih ocenah«: razvrstitev učencev po doseženih ocenah pri posameznih predmetih v 6. oziroma 9. razredu osnovne šole (ocene od 1–5). Pri analizi uspeha pri predmetu po odstotnih točkah lahko določite osnovno nastavitev »Velikost intervala«, ki ponuja seznam z intervali odstotnih točk (1, 2, 5, 10 ali 20) in se uporablja za risanje grafov. Pri obeh analizah lahko z napredno nastavitvijo »Prikaz kratkih oznak za opis pogojev« izpišete izbrane pogoje v legendi grafa s kratkimi oznakami (npr. Š = šola, Rz=razred, R = rok, P = predmet, Sp = spol, Od = oddelek, S = status šolanja). Podatke o zaključenih šolskih ocenah pri posameznih predmetih dobi Ric od MIZŠ konec julija vsako leto. Stanje po popravnih izpitih konec šolskega leta tako ni upoštevano. 49 Razlaga zavihka »Priprava podatkov« Analize po meri omogočajo pripravo več nizov podatkov, ki jih lahko prikažete na skupnem grafu. V iskalnih pogojih zavihka »Priprava podatkov« določimo «Razred«, »Rok«, »Predmet« ter učence v Sloveniji in na šoli. S klikom na gumb »Dodaj podatke« jih dodate na seznam z nizi v spodnjem delu okna. Za vsak niz podatkov se izračunajo osnovni statistični podatki (število učencev, število šol, povprečje in standardni odklon). V stolpec »Opis pogojev« se zapišejo pogoji, ki ste jih izbrali za pripravo podatkov posameznega niza. Drugi stolpci dodatno opisujejo posamezni niz: zaporedno številko niza, izbrano analizo in opombe. V opombe lahko napišete svoje zaznamke, ki se pozneje pokažejo v legendi pod grafom. Tabelo z vsemi podatki je mogoče shraniti v Excel. Razlaga orodne vrstice Gumb za premikanje: prvi, predhodni, naslednji, zadnji. Izbriše niz podatkov. Shrani spremembe v opombah. Razveljavi spremembe v opombah. Shrani analizo (tabelo in graf). Shrani podatke iz tabele v Excel. Spremeni vrstni red nizov v tabeli (pomik navzgor, pomik navzdol). 50 Razlaga zavihka »Graf« Za interpretacijo so zanimivi že osnovni statistični podatki, pogosto pa nam več pove graf, ki primerja porazdelitve podatkov v nizih. S spustnega seznama »Graf« lahko prikažete odstotek ali število učencev, s seznama »Legenda« pa opis pogojev ali opombe. Z desnim klikom na graf se odpre seznam možnosti za dodatno urejanje grafa. Opombe se izpišejo na grafu pod osnovnimi podatki in v legendi, če jih izberete s spustnega seznama »Legenda« nad grafom. Nad grafom je orodna vrstica z gumbi, ki omogočajo podrobnejše delo z grafom. Razlaga orodne vrstice Kopiranje. Urejanje. Tiskanje. Shranjevanje slike. Shrani analizo (tabelo in graf). Shrani podatke za izris grafa v Excel. 51 Shranjevanje in odpiranje analize po meri Celotno analizo z izbranimi iskalnimi pogoji, nizi in ustvarjenim grafom lahko shranite na vaš računalnik, jo pozneje odprete in si jo ponovno ogledate. Analizo shranite na svoj računalnik tako, da v zavihkih »Priprava podatkov« ali »Graf« kliknete na gumb . Ponovno jo odprete v podmeniju »Analize po meri«. Usmeritve pri interpretaciji Analize po meri omogočajo najraznovrstnejše obdelave podatkov, zato je smiselnost ustvarjenih analiz toliko bolj odvisna od uporabnika, ki jih pripravlja. Vsekakor moramo biti pozorni na število učencev, ki so vključeni v posamezno analizo. To je na nek način najpomembnejši podatek, saj je od števila učencev odvisno, kako velika je (ne)gotovost izračunov. Pri pripravi analiz po meri se je treba zavedati vseh omejitev, ki veljajo za preizkuse znanja pri NPZ. Odstotne točke med različnimi predmeti in celo med različnimi leti pri istem predmetu zaradi trenutnega načina priprave preizkusov niso neposredno primerljive. Preizkusi so tudi pisne narave, kar pomeni, da pri posameznem predmetu zajemajo le tisto znanje in spretnosti (ali zmožnosti pri jezikih), ki jih je s tovrstnim preizkusom mogoče preverjati. Ko pripravljate posamezne nize podatkov v skupen nabor, bodite pozorni tudi na pogoje za izbiro učencev. Program pri analizah po meri dopušča, da se ustvarjene serije v skupnem naboru razlikujejo po pogojih izbire (razred, rok, predmet, skupina ipd.). Ali so določene kombinacije serij v skupnem naboru smiselne, je odvisno od namena ustvarjanja analize. Praktični primer V šoli so pripravili pregled odstotnih točk pri NPZ 2018 iz matematike za tri oddelke 9. razreda. Trije nizi podatkov so torej pripravljeni pri istem predmetu NPZ v 9. razredu, vsakič za drugi oddelek. Graf prikazuje dosežke za vse tri oddelke skupaj. Ko podatke za vse tri oddelke pokažemo na eni sliki, lahko vidimo, da so razlike med oddelki velike. Oddelek A ima sicer najvišje povprečje, vendar ima obenem najmanj učencev z najvišjimi odstotnimi točkami. Oddelek B ima največ učencev z najvišjimi odstotnimi točkami, a ima tudi učence, ki so imeli najnižje dosežke. Oddelek C ima v primerjavi z drugima dvema oddelkoma več učencev z nizkimi dosežki na preizkusu. 52 Vsebinski razlogi za opažene razlike so lahko predmet poglobljene refleksije v procesu samoevalvacije na šoli, kjer najbolje poznajo kontekst, v katerem deluje šola. Razlike med oddelki nas tudi opozarjajo, da se za enotnim povprečnim dosežkom šole lahko skrivajo zelo različni dosežki oddelkov. 9 USTVARJANJE SKUPINE Šola ima pri večini analiz na voljo več možnosti za izbiro učencev. Privzeta izbira so vsi učenci na šoli, ki so opravljali NPZ. Mogoče je izbrati tudi učence po spolu in/ali oddelku ali pa ustvariti kako drugo skupino učencev, kakršno želite sami (npr. po učnih vsebinah). Skupine naj temeljijo na posebnostih učnega procesa na vaši šoli v tekočem letu. Najpogostejši primeri skupin so učne skupine pri slovenščini, matematiki in angleščini. Pri analizah se skupina v iskalnih pogojih pokaže samo v primeru, da je bila za izbrani rok že ustvarjena (rok za skupino mora biti enak kot rok v iskalnih pogojih). Skupino lahko pri analizah izberete samo, če ste jo za izbrani rok ustvarili že prej. 53 Koraki izvedbe S klikom na ikono »Ustvari skupino« se odpre okno za urejanje skupine. ① Skupino ustvarite s klikom na gumb »Novo«. Odpre se obrazec za vpisovanje podatkov. ② V polje »Ime skupine« vpišite ime. To naj bo kratko in dovolj jasno (npr. ang 191_1). Skupine poimenujte tako, da ③ vam bo izbor učencev razumljiv V polje »Opis skupine« podrobneje opišite skupino tudi čez leto ali dve. (npr. Angleščina 2019/20 – učna skupina 1). Tako boste lahko med leti ④ V polju »Šifra roka« izberite leto pisanja NPZ s klikom na . ustvarjali primerljive skupine. Odpre se okno »Izberi rok«. Na seznamu označite rok in svojo izbiro potrdite s klikom na »Potrdi«. Polje »Opis roka« se ob tem izpiše samodejno, v desnem oknu pa se prikaže tudi seznam učencev za izbrano leto pisanja NPZ. 54 ⑤ Seznam je privzeto nastavljen samo za branje. Če ga želite urejati, preklopite iz načina za branje v način za urejanje. Učence dodate v skupino tako, da obkljukate okence pred pri mkom učenca. ⑥ Skupino shranite s klikom na »Shrani« spodaj v levem oknu. Zaradi varstva osebnih podatkov lahko skupine vaših učencev ustvarite samo v roku enega šolskega leta (9. razred) oz. štirih šolskih let (6. razred) od objave dosežkov učencev. Pri ustvarjenih skupinah iz prejšnjih let se podatki o učencu ne prikažejo več, vendar pa skupine še vedno lahko uporabite v analizah. 55 Razlaga orodne vrstice: USTVARI SKUPINO (levo okno) Gumb za premikanje: prvi, predhodni, naslednji, zadnji. Ustvari novo skupino. Uredi obstoječo skupino. Kopira (podvoji) obstoječo skupino. Briše obstoječo skupino. USTVARI SKUPINO (desno okno) Gumb za premikanje: prvi, predhodni, naslednji, zadnji. Izberi vse učence. Odstrani izbrane učence. Zamenja izbrane učence z neizbranimi. Preklopi iz načina za branje v način za urejanje. 56 10 DOLOČITEV BARVNIH OBMOČIJ Pomemben del vsebinske analize preizkusov NPZ v 6. in 9. razredu temelji na štirih barvnih območjih, za katere so pripravljeni podrobnejši opisi dosežkov. Opisi dosežkov so rezultat dela predmetne komisije, ki na podlagi statističnih podatkov o nalogah, ki jih pripravi Ric, in na podlagi vsebinskih lastnosti nalog in postavk v preizkusu pripravijo vsebinske opise, ki število doseženih točk povežejo z znanjem. V nadaljevanju je opisan postopek določitve barvnih območij in razvrstitve nalog, ki je podlaga za omenjeno vsebinsko sintezo z opisi področij. Sam postopek se metodološko zgleduje po mednarodnih raziskavah znanja PISA, TIMSS in PIRLS, kjer na podoben način pripravijo opise znanja za vsak posamezen mejnik oziroma za vsako raven znanja. Od razvrstitve učencev do razvrstitve nalog Slika: Prikaz štirih podskupin v celotni populaciji učencev posameznega predmeta Postopek začnemo tako, da dosežke vseh učencev pri posameznem predmetu razvrstimo od najnižjega do najvišjega. Nato iz celotne populacije učencev izberemo štiri podskupine, glede na njihov položaj v razvrstitvi: »Spodnja četrtina« – označuje učence, katerih skupni dosežki so okoli meje spodnje četrtine dosežkov (glede na preostale dosežke). V tem območju je 10 odstotkov učencev; njihovi dosežki so višji od spodnjih 20 odstotkov in nižji od 70 odstotkov preostalih dosežkov. Na zgornji sliki so obarvani ZELENO. »Sredina« – označuje učence, katerih skupni dosežki so okoli meje sredine dosežkov. V tem območju je 10 odstotkov učencev; njihovi dosežki so višji od spodnjih 45 odstotkov in hkrati nižji od 45 odstotkov preostalih dosežkov. Na zgornji sliki so obarvani RUMENO. »Zgornja četrtina« – označuje učence, katerih skupni dosežki so okoli meje zgornje četrtine dosežkov. V tem območju je 10 odstotkov učencev; njihovi dosežki so višji od spodnjih 70 odstotkov in nižji od 20 odstotkov preostalih dosežkov. Na zgornji sliki so obarvani RDEČE. »Najboljših 10 %« – označuje učence, katerih skupni dosežki so v zgornji desetini dosežkov. V tem območju je 10 odstotkov učencev z najvišjimi dosežki; njihovi dosežki so višji od 90 odstotkov dosežkov. Na zgornji sliki so obarvani MODRO. 57 V naslednjem koraku naloge oziroma postavke v preizkusu razdelimo glede na to, kako so jih omenjene podskupine reševale. Pri tem si pomagamo z indeksom težavnosti, ki ga v primeru naloge z eno točko lahko razumemo tudi kot delež učencev, ki je nalogo rešil pravilno. Naloga spada v prvo območje težavnosti, v katerem jo učenci rešijo pravilno v vsaj 65 % primerov (podobno določajo uspešnost tudi v mednarodnih raziskavah znanja). Primer petih postavk je prikazan na spodnji sliki: Slika: Prikaz razvrstitve petih postavk v barvna območja Ko na tak način razdelimo vse naloge, dobimo štiri skupine nalog, ki predstavljajo posamezna barvna območja znanja. Poleg tega lahko obstaja tudi skupina nalog, katerih tudi najboljših 10 % učencev ne rešuje dovolj uspešno (naloge nad modrim območjem). V splošnem učenci z višjimi dosežki uspešno rešujejo tudi naloge iz nižjih barvnih območij (znanje namreč razumemo kot naraščajoče) – učenci z dosežki v rumenem območju v splošnem uspešno rešujejo tako naloge iz rumenega območja kot tudi naloge iz zelenega območja; učenci z dosežki v rdečem območju uspešno rešujejo naloge iz rdečega območja in v splošnem tudi naloge iz zelenega in rumenega območja; učenci z dosežki v modrem območju pa v splošnem uspešno rešujejo tako naloge iz modrega območja kot tudi tiste iz preostalih območij. Predmetne komisije za NPZ na podlagi tako razvrščenih nalog pripravijo sintezo vsebin, ki so skupne nalogam iz posameznega območja. Vsebinski opisi dosežkov tako predstavljajo vsebino tistega znanja, ki ga tipično izkazujejo učenci z dosežki v izbranem območju. V primeru nalog nad modrim območjem gre za vsebine, ki predstavljajo najzahtevnejše znanje. Z omenjenimi opisi dosežkov si lahko pomagamo, če želimo dobiti vtis, kakšno znanje je tipično potrebno za dosežek (število točk) v posamezni podskupini učencev. Za dosežke zunaj izbranega območja pa lahko v splošnem sklepamo sledeče: če ima učenec dosežek pod prvim (tj. zelenim) območjem, lahko rečemo, da z nižjo verjetnostjo (to je manj kot 65-odstotno) izkazuje znanje, uvrščeno v prvo območje; če ima dosežek med dvema območjema, lahko rečemo, da z visoko verjetnostjo (to je več kot 65-odstotno) izkazuje znanje, ki je uvrščeno v spodnje območje, in z nižjo verjetnostjo (to je manj kot 65-odstotno) izkazuje znanje, uvrščeno v zgornje območje. Seveda opisi veljajo le za celotno populacijo učencev – odgovori posameznega učenca ne sledijo nujno omenjenim območjem, saj je lahko pravilno rešil tudi relativno težko nalogo oziroma ni rešil na splošno lažje naloge. 11 VELIKOST UČINKA Pri analizah podatkov imamo pogosto opraviti z razlikami (npr. med povprečnim dosežkom v državi in na šoli) in vprašanje pri interpretaciji je, kako velika je ta razlika. Je sprememba (razlika) opazna, pomembna, bistvena, … ali je zanemarljiva, trivialna in nepomembna? Statistično testiranje razlik oziroma ugotavljanje statistične značilnosti razlike je en od načinov, da odgovorimo na zgornje vprašanje. Gre za metodološki pristop, ki po določenih pravilih ponuja oceno verjetnosti za dano odločitev (da razlika je oziroma je ni). Slaba stran ugotavljanja statistične značilnosti je občutljivost na število učencev v analizi. Analize, opisane v tem priročniku, pogosto obsegajo primerjave med državnimi statistikami (kjer je učencev lahko tudi več tisoč) in učenci na šoli, kar pomeni, da so pogosto statistično značilne že zelo majhne razlike oziroma je statistično značilna velika večina ugotovljenih razlik. Kadar je zaradi narave podatkov statistično značilna že zelo majhna razlika, potem nam statistično testiranje pri vsebinski interpretaciji ni v pomoč 58 Za rešitev lahko uporabimo mere velikosti učinka (Cankar in Bajec: 2003). Gre za mere, ki skušajo odgovoriti na vprašanje, ali je neka razlika med skupinama dovolj velika, da lahko govorimo o učinku, ali je zanemarljiva. Pogosto uporabljena in za naš primer primerna mera velikosti učinka je Cohenov d, ki se izračuna kot razlika dveh povprečij, deljena s skupnim standardnim odklonom: ( M − 1 M d 2 ) = SDSKUPNO Če primerjamo povprečje na šoli s povprečjem v državi, je skupni standardni odklon lahko kar standardni odklon v državi, če pa bi npr. primerjali povprečji v dveh oddelkih, bi izračunali standardni odklon podatkov za oba oddelka skupaj. Cohenov d se je uveljavil tudi zato, ker obstajajo smernice za njegovo interpretacijo. Tako bi pozoren opazovalec v podatkih hitro opazil srednje velik učinek (0,5). Vrednosti okoli 0,2 naj bi predstavljale majhen učinek in vrednosti okoli 0,8 velik učinek. Okvirne smernice za interpretacijo velikosti učinka: 0,2 – majhen učinek, 0,5 – opazen (srednje velik) učinek, 0,8 – velik učinek. Pri analizah v tem priročniku si pogosto lahko pomagamo s temi smernicami tako, da poleg šolskega povprečja poiščemo še državno povprečje in standardni odklon za iste dosežke. Izračunana mera velikosti učinka nam bo dala usmeritev, ali je opažena razlika tudi vsebinsko relevantna ali ne. 59 12 DODANA VREDNOST V tem poglavju je koncept dodane vrednosti podrobneje razložen in teoretsko utemeljen. Mere dodane vrednosti so nastale kot odziv na kritike pretirane uporabe rezultatov preizkusov znanja, ki so bili uporabljeni kot kazalnik šolskega dela. Ker šole nimajo enakih populacij učencev, ampak se lahko te od šole do šole tudi precej razlikujejo, je po mnenju kritikov povsem razumljivo, da se dosežki učencev na ravni šole ravno tako razlikujejo – so pač posledica drugačne 'vhodne' populacije učencev. Mere dodane vrednosti skušajo nasloviti bistvo teh kritik in zajeti ter oceniti le napredek v znanju. Opredelitev dodane vrednosti znanja Vse mere dodane vrednosti imajo isto idejno zasnovo ne glede na dejansko formulo ali način izračunavanja. Meriti skušajo napredek med posameznimi merjenji. Pri tem je treba opozoriti, da so nekateri pristopi osredotočeni predvsem na izračun vrednosti za celotno šolo, drugi pa omogočajo spremljanje napredka posameznega učenca in izražajo dodano vrednost šole prek povprečnih vrednosti napredka učencev posamezne šole. Poimenovanje dodane vrednosti ima v sebi implicitno idejo, da je mogoče vso razliko pripisati šolskemu procesu, v katerega so učenci vključeni. Analogija z gospodarstvom, kjer je razliko med surovino in izdelkom mogoče pripisati proizvodnemu procesu, v primeru šolstva ne zdrži. Zavedati se moramo, da je napredek posameznika med dvema merjenjema lahko posledica različnih dejavnikov, ki niso nujno povezani s šolskim procesom. Posameznik je lahko imel npr. inštrukcije, lahko je dodatno motiviran, lahko je z dozorevanjem miselnih procesov dosegel novo (spo)znanje itd. Z vidika posameznika je tako bolje govoriti o merah napredka ali rasti, saj izmerjene vrednosti (v primeru, da so zanesljive in veljavne) govorijo natančno o tem. Vendar je na ravni šol poimenovanje 'dodana vrednost' kljub temu smiselno. Dejavniki, ki lahko zelo različno vplivajo na dosežke posameznikov, običajno ne delujejo sistematično na ravni šole in se tako v večini primerov izničijo. Ker pa je vsem posameznikom, ki obiskujejo isto šolo, skupen šolski proces (v določenem oddelku, razredu, nivoju ipd.), iz mer njihovega napredka računamo povprečje šole (Cankar: 2006). V literaturi poznamo zelo različne statistične modele za računanje dodane vrednosti. Na splošno velja, da so bolj preprosti pristopi tudi bolj robustni in končnim uporabnikom pogosto razumljivejši, po drugi strani pa imajo metodološko zahtevnejši postopki korektnejše predpostavke in zmorejo zajeti večje število dejavnikov pri korigiranju mer (Sammons, Thomas, Mortimore, Owen in Pennel , 1994). Več o analizah dodane vrednosti lahko zainteresirani najdejo v strokovni literaturi (npr. Goldstein, 1997; Lissitz, 2006; Cankar, 2008), veliko informacij na enem mestu pa ponuja tudi publikacija, ki jo je izdal OECD (2008). V nadaljevanju sta opisana pristopa, uporabljena v analizi dodane vrednosti za šole. Oba temeljita na ugotavljanju napredka posameznega učenca, ki je opredeljen kot razlika med dejanskim in napovedanim dosežkom (glede na rezultat predhodnega merjenja znanja). Metoda linearne regresije Po metodi linearne regresije napovedane dosežke izraža linearna premica, ki je izračunana s pomočjo linearne regresije na podlagi podatkov za vse učence, ki so imeli pri danem predmetu dosežek na NPZ tako v 6. kot tudi v 9. razredu. 60 Metoda mediane Po metodi mediane črto, ki povezuje napovedane dosežke, izračunamo tako, da dosežke vseh učencev na predhodnem merjenju (NPZ 6.r) uredimo od najmanjšega do največjega. Nato dosežke razdelimo v več skupin (tipično 20) in za vsako skupino izračunamo mediano dosežkov na drugem merjenju (NPZ 9.r). Mediane posameznih skupin med sabo povežemo s črto, na spodnji in zgornji meji pa se črta nadaljuje skladno s trendom zadnjih dveh skupin. Z interpolacijo (ali ekstrapolacijo pod mediano prve in nad mediano zadnje skupine) izračunamo napovedani dosežek za posamezne učence. Razlike med obema metodama Zakaj dva pristopa? Metoda linearne regresije je robustna in hitra, vendar se tipični dosežek izračuna na podlagi vseh podatkov hkrati in tako na posameznih delih lestvice dosežkov ne pokaže najboljše ocene tipičnega dosežka – najpogosteje se to zgodi pri najnižjih in najvišjih vrednostih. Metoda mediane v večji meri sledi podatkom na različnih delih merske lestvice in ne zahteva linearne črte, vendar pa za stabilno oceno napovedanih vrednosti potrebujemo veliko število podatkov. Pri predmetih z manjšim številom učencev je zato v analizi uporabljena metoda linearne regresije, saj bi napovedani dosežki po metodi mediane lahko preveč nihali. 61 Napredek učencev Tako v primeru linearne regresije kakor v primeru metode mediane izrisana črta predstavlja tipični napredek v celotni populaciji. Razlika med dejanskim in napovedanim dosežkom pri posameznem učencu izraža njegov relativni napredek glede na učence, ki so izkazali podoben dosežek na prvem merjenju. Če je razlika negativna, ne pomeni, da je učenec v znanju nazadoval, temveč da je večina učencev s podobnim dosežkom na prvem merjenju (NPZ 6.r) pokazala več na drugem merjenju (NPZ 9.r). Slika: Izračun napredka/dodane vrednosti v znanju učencev (Vir: Cankar, 2006) Na sliki so prikazani dejanski dosežki učencev A, B in C (rumene barve) v primerjavi z njihovimi napovedanimi dosežki (zeleni). Medtem ko se pri učencu B napovedani in dejanski dosežek prekrivata, je učenec A dosegel boljši rezultat od napovedanega, učenec C pa slabši rezultat od napovedanega. Vsi učenci so najverjetneje napredovali, vendar je dodana vrednost v primeru učenca A pozitivna, učenca C negativna in učenca B pa enaka nič. 62 Dodana vrednost šole Dodana vrednost (DV) za šolo se po obeh metodah izračuna kot povprečje razlik med dejanskimi ( i y ) in napovedanimi dosežki ( ˆ i y ) učencev te šole. ∑(y − i yˆ ) DV i = N Analize dodane vrednosti (napredek posameznega učenca ali mera DV za šolo) so tako relativne – izražajo razlike med dejanskim dosežkom in dosežkom primerljive populacije (s primerljivimi dosežki NPZ v 6. razredu). 13 REFERENCE Cankar, G. (2006). Kazalci dodane vrednosti [neobjavljena študija, pripravljena v okviru projekta ESS], Ljubljana, Državni izpitni center. Cankar, G. (2008). Razvoj modelov dodane vrednosti znanja v Sloveniji. V: Rajkovič, V., ur. Znanje za trajnostni razvoj. Kranj: Fakulteta za organizacijske vede. Str. 419–425. Cankar, G., & Bajec, B. (2003). Velikost učinka kot dopolnilo testiranju statistične pomembnosti razlik. Psihološka obzorja, 12(2), str. 97–112. Lissitz, R. (2006). Longitudinal and value added models of student performance. Maple Grove Minn.: JAM Press. OECD (2008). Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools. Paris: OECD. Sammons, P., Thomas, S., Mortimore, P., Owen, C., in Pennel , H. (1994). Assessing School Effectiveness: Developing Measures to put School Performance in Context. London: Office for Standards in Education. SCAA (1994). Value Added Performance Indicators for Schools. London: School Curriculum and Assessment Authority. Goldstein, H. (1997). Value added data for schools: a commentary on a paper from SCAA. London: Institute of Education. 63 © Državni izpitni center, 2022 Document Outline 1 UVOD 2 PROGRAM 2.1 Namestitev programa 2.2 Samodejne nadgradnje programa 2.3 Vstop v program 3 Menijska vrstica 3.1 Analize 3.2 Pogled 3.3 Pomoč 3.4 Administracija Navodila za ravnatelja Navodila za šolskega administratorja Razlaga orodne vrstice 3.5 Račun Pogoji uporabe programa Podatki o uporabniku Sprememba gesla 4 Uporaba programa 4.1 Priprava analiz Izbira analize Iskalni pogoji Razred Rok Predmet Izbira učencev 4.2 Orodna vrstica 4.3 Prikaz podatkov Graf Tabela 5 Osnovne analize 5.1 Osnovni podatki Namen Koraki izvedbe Razlaga tabele z osnovnimi podatki Usmeritve pri interpretaciji Praktični primer 5.2 Porazdelitev dosežkov Namen Koraki izvedbe Razlaga grafične predstavitve Razlaga predstavitve v tabeli Stolpci v tabeli: Usmeritve pri interpretaciji Praktični primer 5.3 Primerjava dosežkov Namen Koraki izvedbe Razlaga analize Usmeritve pri interpretaciji Praktični primer 5.4 Podatki po letih Namen Koraki izvedbe Razlaga analize Usmeritve pri interpretaciji Praktični primer 6 Analize po nalogah Namen Koraki izvedbe Razlaga tabele v zavihku »Analize« Razlaga gumba »Ogled slike« Razlaga zavihka »Graf« Razlaga zavihka »Naloga« Razlaga orodne vrstice Usmeritve pri interpretaciji Praktični primer 7 Analiza dodane vrednosti Namen Uvod v analizo dodane vrednosti Koraki izvedbe Razlaga zavihka »Graf« Dodana vrednost in standardna napaka Razlaga zavihka »Tabela« Praktični primer 8 AnalizE PO MERI Namen Koraki izvedbe Razlaga zavihka »Izbira analize« Razlaga zavihka »Priprava podatkov« Razlaga orodne vrstice Razlaga zavihka »Graf« Razlaga orodne vrstice Shranjevanje in odpiranje analize po meri Usmeritve pri interpretaciji Praktični primer 9 Ustvarjanje skupine Koraki izvedbe Razlaga orodne vrstice: 10 Določitev barvnih območij Od razvrstitve učencev do razvrstitve nalog 11 Velikost učinka 12 Dodana vrednost Opredelitev dodane vrednosti znanja Metoda linearne regresije Metoda mediane Razlike med obema metodama Napredek učencev Dodana vrednost šole 13 Reference