Organizacija, letnik 39 Razprave številka 8, oktober 2006 Mnenja študentov o e-preverjanju znanja pred in po e-testiranju Eva Jereb, Igor Bernik Fakulteta za organizacijske vede, Univerza v Mariboru, Kidričeva 55a, 4000 Kranj, Slovenija Prispevek obravnava eno ključnih komponent elektronskega izobraževanja, to je elektronsko preverjanje znanja. Podaja mnenja študentov o takem načinu preverjanja znanja pred in po elektronskem testiranju. Raziskava izpeljana v letih 2004 in 2005 je pokazala, da je večina študentov pripravljenih na elektronsko preverjanje znanja. Navdušeni so predvsem nad takojšnjo povratno informacijo in prilagodljivim časom ter lokacijo izpitov. Skrbelo pa jih je pomanjkljivo obvladanje sodobne informacijsko-komunikacijske tehnologije. Motivirani s pozitivnim odzivom študentov smo pristopili k izvajanju e-testov in ponovno preverili mnenja udeležencev. Večina je bila navdušena in si želi e-preverjanja znanja s še večjo gotovostjo. Kaže pa se tudi, da nekateri še vedno v enaki meri menijo, da je tako preverjanje sicer mogoče, vendar ne prinaša nobene prednosti v primerjavi s klasičnimi načini. Ključne besede: e-izobraževanje, e-preverjanje znanja, mnenja študentov, orodje za e-preverjanje Perception 1 Uvod Leta 2004 je 54 študentov Fakultete za organizacijske vede Univerze v Mariboru sodelovalo pri raziskavi pripravljenosti študentov za e-preverjanje znanja. Rezultati raziskave so pokazali, da bi večina študentov uvedla e-preverjanje kakor hitro se le da. K čimprejšnji uvedbi e-preverjanja se študenti nagibajo zaradi različnih vzrokov. Glavna izmed teh sta takojšnja povratna informacija in krajevna prilagodljivost e- preverjanja ne glede na to ali to poteka sinhrono ali asinhrono. Študentje pa so izrazili tudi nekaj negativnih mnenj, predvsem zaradi strahu pred ne obvladanjem tehnologije in slabim poznavanjem metode e-preverjanja. Poleg tega so bili v dvomih glede časovne omejitve in niso vedeli ali jim takšen način preverjanja znanja prinaša prednosti ali slabosti. Leta 2005 smo ponovno izvedli raziskavo. To pot je v njej sodelovalo 173 študentov Fakultete za organizacijske vede Univerze v Mariboru. Rezultati te raziskave so prikazani kasneje v prispevku. Poleg tega je prikazana tudi primerjava rezultatov raziskave leta 2004 in 2005. V raziskavi, ki je bila izvedena v letu 2005, so študentje izpolnjevali anketni vprašalnik dvakrat, enkrat pred in enkrat po opravljanju izpitov v elektronski obliki. Primerjava mnenj o e-preverjanju znanja pred in po e-testiranju je prav tako prikazana v nadaljevanju prispevka. Pred izvedbo raziskave so bili študentje seznanjeni s pojmoma e-izobraževanje in e-preverjanje znanja. Na uvodnem predavanju smo jim natanko pojasnili potek e- preverjanja in pokazali primere. V prispevku sta nadalje obrazložena pojma e- izobraževanje in e-preverjanje znanja. Nato so prikazane v raziskavi uporabljene metode dela. Na koncu pa je podana še primerjava mnenj študentov o e-preverjanju znanja pred in po opravljenem e-preverjanju in pa primerjava rezultatov z lanskoletno raziskavo. 2 Obrazložitev pojmov e-izobraževanja in e-preverjanje znanja Izobraževanje na daljavo, ki temelji na interaktivni tehnologiji, je sestavni del sodobnega izobraževalnega procesa (Miloslavskaya in Tolstoy, 2005). Opozoriti pa moramo na to, da izobraževanje na daljavo ni nov pojav, ki se je pojavil kot rezultat nedavnega napredka omrežnih tehnologij in prihoda interneta. V začetkih leta 1980 so na različnih univerzah v ZDA nudili možnosti sinhronega učenja na daljavo geografsko oddaljenim študentom preko satelitskih komunikacij. Namesto s katedrom ter tablami in kredami so bile učilnice opremljene s kamerami, monitorji in mikrofoni ter sistemi za snemanje in oddajanje. Izgledale so kot televizijski studii in spominjale na današnje tele- konference. Infrastruktura za sinhrono učenje na daljavo se ni uveljavila zaradi visokih stroškov namestitve in vzdrževanja za to potrebne tehnologije. Platforma za učenje na daljavo je danes bistveno drugačna od platforme v zgodnjih osemdesetih letih. Izobraževanje na daljavo danes običajno uporablja kot medij svetovni splet in zato postajata nepogrešljivi komponenti razvoja izobraževanja na daljavo oblikovanje in upravljanje internetnih strani (Chung, 2005). Tako govorimo o »Web-based« učenju, e- izobraževanju, e-učenju, e-učbenikih ipd. (več o tem glej Jereb in Šmitek, 1999). V literaturi obstaja veliko definicij e-izobraževanja. Veliko avtorjev meni, da lahko govorimo o e-izobraževanju takoj, ko vpeljemo v izobraževalni proces elektronske medije (glej e-Learning Consultant 2003). Ta definicijajezagotovopreširoka. Zato predlagamo uporabo definicijeTavangarianaindrugih(2004),dabipoudarili nove in drugačne vidike e-izobraževanja v primerjavi s klasičnim izobraževanjem: “Z e-izobraževanjem bomo 526 poimenovali vse oblike elektronsko podprtega poučevanja in učenja, ki so procesne in imajo cilj povečati znanje izobraževanca v okviru njegovih individualnih sposobnosti, izkušenj in znanja. Informacijski in komunikacijski sistemi, delujoči preko mreže ali ne, služijo le kot medij za izpeljavo izobraževalnega procesa.« Tesno povezano z e-učenjem oziroma e-izobraževanjem pa je e-preverjanje znanja oziroma računalniško podprto ocenjevanje (Computer-assisted assessment - CAA). Elektronsko preverjanje znanja lahko poteka lokalno v razredu ali pa oddaljeno od institucije. Oddaljeno e- preverjanje se opravlja preko interneta. Kandidati odgovarjajo na vprašanja tako, da vtipkajo odgovor, označijo enega ali več pravilnih odgovorov ali pa uporabljajo funkcijo povleči in spusti. Pri asinhronem preverjanju znanja kandidati najprej naložijo test iz spletne strani oziroma strežnika na svoj računalnik. Nato ga rešijo oziroma odgovorijo na zastavljena vprašanja in pošljejo nazaj na izpitno spletno stran oziroma strežnik. Pri sinhronem preverjanju so kandidati za čas preverjanja znanja neprekinjeno povezani s strežnikom (Thomasetal.,2002).Tojeznačilno tudi za e-preverjanje znanja v razredu. Glede na veliko število testov, katere moramo pregledati, obeta avtomatsko ocenjevanje hitrejše, cenejše in bolj konsistentno ocenjevanje (Shermis et al., 2001). Tudi v primeru ko ne uporabljamo avtomatskega ocenjevanja elektronsko zajemanje odgovorov omogoča lažjo čitljivost in boljše razumevanje za ocenjevalce. Nekateri avtorji menijo, da elektronski testi povečajo varnost v smislu, da so razdeljeni tik pred uporabo in do njih ni mogoče dostopiti pred izpitom. Elektronsko preverjanje znanja pospeši celoten proces preverjanja znanja od prenosa odgovorov študentov profesorju oziroma ocenjevalcu, standardizacije odgovorov do objektivnosti pri ocenah. Seveda pa se moramo zavedati, da vsega znanja ne moremo preverjati v elektronski obliki. V primerih, kjer morajo študentje pokazati tako teoretično obvladovanje problematike kot tudi praktična znanja in ročne spretnosti moramo e-preverjanje kombinirati z drugimi oblikami preverjanja znanja ali e-preverjanje celo popolnoma opustiti. Na primer izpit, ki vključuje operacijo možganov, lahko izpeljemo v treh delih. V prvem delu, kjer se preverja teoretična znanja, lahko preverjanje opravimo elektronsko. V drugem delu, kjer se študenti soočijo s študijo primera, lahko prav tako uporabimo računalniško simulacijo za preverjanje znanja. V tretjem delu pa gre za neposredno spremljanje v realnem okolju. Seveda se moramo zavedati, da vsi učitelji ne bodo (takoj) prešli na e-preverjanje znanja. Tiste, ki so pripravljeni, pa moramo spodbujati in jih motivirati. Najpogostejša kritika oddaljenega preverjanja znanja je možnost goljufanja (Whittington, 1999). Ravno zato se danes predvsem uveljavlja elektronsko preverjanje znanja v razredu oziroma pod nadzorom. Vse bolj pa nas zanima tudi opravljanje izpitov v manj formalnem okolju, praktično doma. Te okoliščine so podobne tistim, v katerih se študentje, ki se izobražujejo na daljavo, najpogosteje učijo in so jih vajeni. Preverjanje znanja v takem okolju bi bilo za študente tako manj stresno in veliko bolj sproščeno, kar bi po vsej verjetnosti vplivalo tudi na rezultate. 3 Metodologija 3.1 Določitev vprašanj za raziskavo e-preverjanja znanja Pripravljenost študentov na elektronsko preverjanje znanja smo raziskovali s pomočjo sistema za podporo skupinskemu odločanju (Group decision support systems - GDSS), ki je opisan v Kljajić et al. (2000). Glede na zahteve Bolonjske deklaracije o prenovi študijskih programov smo določili štiri možne oblike (variante) preverjanja znanja: n Brez e-preverjanja. Preverjanje je samo ustno ali pisno na papirju. n Uporaba e-preverjanja za sprotno preverjanje in klasičnega testa za končno preverjanje. n Kombinacija elektronskega in klasičnega preverjanja. n Samo e-preverjanje. V razredu ali na oddaljenem mestu, asinhrono ali sinhrono. Na osnovi teh štirih možnosti smo zbrali vprašanja za raziskavo in jih kategorizirali. Sam proces smo podprli s sistemom za podporo skupinskemu odločanju GroupSystems (GroupSystems, 2005). Sistem je namenjen pospeševanju procesiranja znanja in hitrejšemu generiranju rezultatov. Program zbira implicitno znanje in preprečuje preveliko kopičenje informacij. Več o uporabljeni metodologiji lahko najdete v Jereb in Bernik (2005). Za zbiranje vprašanj, ki nam bodo pomagala pri izbiri ustrezne možnosti oziroma variante izvajanja e-preverjanja znanja, smo uporabili metodo »Brainstorming«. Ta metoda spodbuja ustvarjalnost z naključnim posredovanjem idej med udeleženci. Pri tem lahko udeleženci dodajajo svoje ideje. Sam postopek smo sprožili z vprašanjem: »Zakaj bi odnosno ne bi želeli znanja preverjati elektronsko?« Na to vprašanje smo dobili 83 odgovorov, katere smo razvrstili s pomočjo kategorizatorja. Kategorizator pomaga skupini razvrstiti ideje in opisne komentarje. Na osnovi tega potem ideje lahko hitro razporedimo po kategorijah. Kot rezultat kategorizacije smo dobili 12 vprašanj, katera smo nato za potrebe raziskave preoblikovali v trditve. Odgovori na te trditve nam bodo pomagali izbrati pravo varianto oziroma obliko preverjanja znanja (Tabela 1). Po oblikovanju trditev je bila izvedena raziskava med študenti Fakultete za organizacijske vede o njihovi pripravljenosti za elektronsko preverjanje znanja. Prvo testiranje je bilo opravljeno leta 2004 s študenti, ki v večini še niso opravljali preverjanja znanja v elektronski obliki. Drugo in tretje testiranje pa sta bila izvedena leta 2005. Eno pred in eno po elektronskem preverjanju znanja. E-preverjanje znanja je bilo izvedeno s pomočjo orodja za e-testiranje Perception. Metodologija je na kratko predstavljena v naslednjem poglavju. 3.2 Orodje za e-preverjanje znanja Perception Orodje Perception za e-testiranje nam omogoča pisanje, porazdeljevanje in točkovanje različnih vrst testov, nalog in vprašalnikov. Uporablja ga na tisoče strokovnjakov, trenerjev in učiteljev z najrazličnejših področij (Perception, 2005). Perception lahko uporabljamo za namene izobraževanja, ocenjevanja, na področju raziskovanja in nam nudi vse Organizacija, letnik 39 Razprave številka 8, oktober 2006 527 potrebno za oblikovanje, administriranje in porazdeljevanje računalniško podprtih nalog oziroma testov. Slika 1 prikazuje stopnje dela z orodjem Perception. Prvo stopnjo predstavlja tako imenovano avtorstvo (Authoring). Na tej stopnji pripravimo bazo vprašanj in med njimi izberemo vprašanja za določen test. Druga stopnja se imenuje razvrščanje (Scheduling). Na tej stopnji določimo kateri študenti lahko opravljajo katere teste in kdaj. Tretja stopnja je stopnja porazdeljevanja (Delivery). Na tej stopnji študentje prejmejo svoje teste oziroma naloge. Testi se porazdeljujejo s pomočjo strežnika Perception preko interneta. Zadnja stopnja je stopnja poročanja (Reporting). Po opravljenih testih s pomočjo programa Enterprise Reporter opravimo analizo rezultatov in generiramo poročila. Po opravljenem e-testiranju smo študente ponovno naprosili, da odgovorijo na 12 zastavljenih trditev. Rezultati raziskave in primerjalna analiza med letom 2004 in 2005 so prikazani v naslednjem delu prispevka. 4 Rezultati raziskave in primerjalna analiza 4.1 Primerjava rezultatov leta 2004 in 2005 Leta 2004 je v raziskavi sodelovalo 54 študentov (20 žensk in 34 moških). Stari so bili med 21 in 44 let, poprečna starost je bila 27 let in 5 mesecev (M=24,4 let za ženske in M=29,2 let za moške). V letu 2005 je v raziskavi sodelovalo 173 študentov (107 žensk in 66 moških). Stari so bili med 20 in 50 let, poprečna starost je bila 25 let in 6 mesecev (M=26,36 let za ženske in M=24,71 let za moške). Kot je bilo predhodno že ugotovljeno (glej Jereb in Bernik, 2005) so tudi nadaljnji rezultati testiranja pokazali, da si študentje želijo e-preverjanja znanja. To prikazujejo rezultati v tabeli 2 in na sliki 2. Bistvenih komparativnih odstopanj med posameznimi trditvami ni bilo. Izpostaviti je morda smiselno le negativni trend o objektivnosti ocenjevanja (S5) pri e-preverjanju na eni strani, na drugi strani pa trend izboljševanja poznavanja tehnologije (S6) in s tem zmanjševanja strahu pred e-preverjanjem znanja. Morda je zadnje tudi posledica boljše predstavitve problematike pred samim testiranjem, saj smo opremljeni s povratno informacijo rezultatov v letu 2004 bolj poudarjali dejstva o e-učenju in e-preverjanju znanja. Pri tem smo se še posebej osredotočili na vprašanja tehnologije, zaupanja in sprejemanja znanja. Izhajali smo iz teze, da z motivacijo študentom lahko ponudimo največ, saj dobre rezultate učenja lahko pričakujemo le v primeru ustrezno motiviranih učencev. Na podlagi pozitivnih odzivov testiranj smo s testno skupino pristopili k e-testiranju in pri tem testirali odzive udeležencev, rezultate pa primerjali z zgoraj navedenimi. 4.2 Primerjava mnenja študentov pred in po e- testiranju E-preverjanje znanja smo izvedli na testni skupini, pri čemer smo ugotavljali odzive udeležencev pred in po e-preverjanju. Po e-preverjanju so udeleženci pred izpolnjevanjem ankete že poznali rezultate e-preverjanja in s tem lastno uspešnost pri izpitu. Organizacija, letnik 39 Razprave številka 8, oktober 2006 Tabela 1: Trditve za raziskavo e-preverjanja znanja T1:Klasično ustno ali pisno preverjanje znanja bi zamenjal z elektronskim. T2:Takojšnja povratna informacija je ena izmed glavnih prednosti e-preverjanja znanja. T3:E-preverjanje je zanimivejše kot klasično, je privlačno in me motivira. T4:E-preverjanje bi moralo biti časovno omejeno. T5:E-preverjanje zagotavlja objektivno ocenjevanje. T6:E-preverjanje zahteva visoko raven računalniškega znanja. T7:E-preverjanje je naporno, preveč bi me utrudilo. T8:Ena izmed prednosti e-preverjanja je manjša možnost goljufanja. T9:Znanje bi morali preverjati sproti s pomočjo e-preverjanja. T10:E-preverjanje bi lahko potekalo izven šole oziroma izobraževalne institucije. T11:E-preverjanje bi se lahko izvajalo kadarkoli glede na možnosti posameznika. T12:Če bi lahko izbiral med klasičnim in elektronskim preverjanjem, bi izbral elektronsko. Slika 1: Delovanje orodja Perception (Perception, 2005) 528 Testno skupino je sestavljalo 24 študentov (8 žensk in 16 moških), s povprečno starostjo 21 let (M=21,13 let za ženske in M=20,94 let za moške). Rezultati so prikazani v tabeli 3. Kot je razvidno iz rezultatov pred testiranjem (glej tabelo 3 in sliko 2 - Pred), so rezultati pripravljenosti študentov za e-preverjanje statistično primerljivi z rezultati zbranimi na testnih skupinah v letih 2004 in 2005. Manjša odstopanja so najverjetneje posledica nizke povprečne starosti skupine in njihove homogenosti (ista generacija in smer študija). Zanimivejši so rezultati po e-preverjanju. Očitno je, da je večina navdušena nad e-preverjanjem znanja. Iz rezultatov S3 je razvidno, da večina (75%) meni, da je e-preverjanje zanimivejše kot klasično in jih še dodatno motivira. To očitno izhaja iz že prej omenjenega sociološkega fenomena, da je motivacija glavni pogoj za uspešnost posameznega kandidata. Posebej nas navdušuje pomemben premik k zaupanju v e-preverjanje (S8) saj večina verjame, da je objektivno in da imajo s tem enake možnosti. Iz rezultatov pri S12 pa je razvidno, da se tudi po opravljenem preizkusu velika večina izjemno nagiba k e-preverjanju znanja in ga tudi preferira, saj nihče izmed vprašanih tega načina ne odklanja, kar 62,5% pa se s takim načinom absolutno strinja. Razlike med trditvami testnih skupin v letu 2004 in 2005 ter pred in po e-preverjanju prikazuje slika 2. Iz prikazanega je razvidno, da so študentje, ki so bili sprva morda zadržani in so e-preverjanje pričakovali s strahom, predvsem pred tehnologijo (S6), spoznali, da je dobro pripravljeno e-preverjanje preprosto in da se kandidat dejansko osredotoči na preverjanje znanja, pri čemer različni nivoji znanja uporabe računalnika niso prednost ali slabost. Rezultati pri trditvah S10 in S11 kažejo, da je veliko študentov (66,7% in 62,5%) pripravljenih na izvajanje e- preverjanja na poljubni lokaciji izven ozko predpisanega časa. V to smer bodo šla tudi nadaljnja raziskovanja opisanega področja. Organizacija, letnik 39 Razprave številka 8, oktober 2006 Tabela 2: Primerjava rezultatov leta 2004 in leta 2005 po trditvah Se popolnoma strinjam . Se absolutno ne strinjam123452004200520042005200420052004200520042005T148,1%42,2%35,2%30,6%11,1%14,5%1,9%5,8%3,7%6,9% T277,8%76,9%14,8%12,7%1,9%2,9%0,0%4,6%5,6%2,9% T329,6%31,2%46,3%35,3%11,1%12,7%3,7%12,1%9,3%8,7% T429,6%29,5%29,6%25,4%13,0%19,7%20,4%15,0%7,4%10,4% T542,6%37,0%29,6%21,4%14,8%22,0%7,4%13,3%5,6%6,4% T637,0%17,9%18,5%24,9%11,1%14,5%14,8%21,4%18,5%21,4% T79,3%4,1%1,9%12,7%14,8%10,4%20,4%21,4%53,7%51,5% T824,1%29,5%37,0%28,9%14,8%15,6%9,3%9,3%14,8%16,8% T940,7%42,8%29,6%24,9%13,0%13,9%9,3%11,6%7,4%6,9% T1077,8%79,8%13,0%13,3%3,7%1,2%0,0%4,1%5,6%1,7% T1172,2%72,8%16,7%14,5%1,9%5,2%1,9%4,1%7,4%3,5% T1238,9%36,4%31,5%25,4%18,5%16,8%1,9%9,8%9,3%11,6% Tabela 3: Primerjava rezultatov pred in po e-testiranju po trditvah Se popolnoma strinjam . Se absolutno ne strinjam12345PredPoPredPoPredPoPredPoPredPoT133,3%58,3%33,3%16,7%20,8%20,8%8,3%0,0%4,2%4,2% T266,7%75,0%4,2%4,2%12,5%8,3%8,3%4,2%8,3%8,3% T333,3%54,2%25,0%20,8%16,7%12,5%20,8%8,3%4,2%4,2% T425,0%25,0%16,7%25,0%29,2%16,7%12,5%16,7%16,7%16,7% T529,2%41,7%20,8%20,8%37,5%20,8%8,3%12,5%4,2%4,2% T612,5%12,5%16,7%16,7%16,7%0,0%16,7%8,3%37,5%62,5% T78,3%12,5%12,5%8,3%0,0%0,0%16,7%4,2%62,5%75,0% T833,3%54,2%8,3%12,5%16,7%20,8%33,3%4,2%8,3%8,3% T925,0%41,7%16,7%25,0%25,0%20,8%33,3%8,3%0,0%4,2% T1045,8%66,7%12,5%16,7%20,8%8,3%4,2%0,0%16,7%8,3% T1145,8%62,5%12,5%12,5%12,5%12,5%16,7%0,0%12,5%12,5% T1233,3%62,5%12,5%16,7%25,0%16,7%8,3%4,2%20,8%0,0% 529 5 Zaključek Informacijsko-komunikacijska tehnologija ima velik vpliv na današnjo družbo in izobraževalni process. Študentje imajo možnost študija doma oziroma v navidezni učilnici brez časovnega pritiska. Lahko se učijo takrat, ko jim to najbolj ustreza. Rezultati raziskav so pokazali potrebo po uvedbi e-preverjanja znanja bodisi v razredu ali na oddaljeni lokaciji, sinhrono ali asinhrono. Pri tem še ne poznamo vseh učinkov pri izvajanju izpitov izven predpisanega časa in nadzorovane lokacije, zato bodo, poleg spremljanja odzivov udeležencev na e-preverjanje, nadaljnja raziskovanja potekalo ravno v tej smeri. Raziskava je pokazala, da večina študentov podpira prizadevanja za uvedbo e-izpitov. Večino problemov se pojavlja na strani učiteljev in institucije, ki z nezadostnim znanjem in premajhno podporo za ta način preverjanja niso sposobni izvesti tovrstnega preverjanja. Zagotoviti jim je potrebno podporo tehničnega osebja tako pri pripravi kot tudi izvedbi e-preverjanja. S tem učitelji prihranijo na času, študentje pa pridobijo na večji objektivnosti zaradi avtomatskega razporejanja vprašanj. Institucionalno pa pridobimo z dejstvom, da je zaradi naključnosti vprašanj zavzet širši prostor preverjanja celote znanja, hkrati pa zmanjšamo razlike pri preverjanjih v okviru posameznih predmetov. Tako so študentje motivirani k celovitemu pristopu učenja in dela, kar se kaže v višji kakovosti izobraževalnega procesa in kadrov. Motivirani z rezultati, bomo uporabljali e-preverjanje znanja pri večini primerov, kjer je to mogoče. Za ustrezen prehod in za zmanjšanje strahu pri študentih, pa bomo e-preverjanja vsaj na začetku še kombinirali s klasičnim preverjanjem znanja. Upamo, da na ta način povečamo zaupanje študentov v e-preverjanje, hkrati pa zmanjšamo strah pred novim in omogočimo čim lažji prehod tudi tistim, ki imajo v novosti in sodobno informacijsko- komunikacijsko tehnologijo manjše zaupanje. Literatura Chung, Q.B.(2005). Sage on the Stage in the Digital Age: The Role of Online Lecture in Distance Learning, Electronic Journal of e-Learning, 3(1): 1-14. E-Learning Consultant (2003) Glossary, dosegljivo na: http:// www.e-learningsite.com/elearning/glossary/glossary. htm#e (10.1. 2005) GroupSystems (2005) Retrieved January 5, 2005, http://www. groupsystems.com. Jereb, E., & Bernik, I. (2005). Electronic examinations: student readiness, Proceedings of the EDEN 2005 Annual Conference. Uredila: Szücs, A., & Bo, I., Helsinki 20-23 jun.2005. Published by the European Distance and E-Learning Network. Jereb, E., & Šmitek, B. (1999). Using an electronic book in distance education, Informatica, 23(4): 483-486. Kljajić, M., Bernik, I., & Škraba, A. (2000). Simulation Approach to Decision Assesment in Enterprises, Simulation, 75(4): 199-210. Miloslavskaya, N., & Tolstoy, A. (2005). Distance Learning and Problems of Ensuring Its Information Security, Proceedings of the EDEN 2005 Annual Conference. Uredila: Szücs, A., & Bo, I., Helsinki 20-23 jun.2005. Published by the European Distance and E-Learning Network. Perception (2005). Getting Started with Perception Version 4. Questionmark Computing Ltd. Shermis, M.D, Mzumara, H.R, Olson, J., & Harrington, S. (2001). On-line Grading of Student Essays: PEG goes on the World Wide Web, Assessment & Evaluation in Higher Education, 26(3): 248-259. Tavangarian, D., Leypold, M.E., Nölting, K, Röser, M, & Voigt, D. (2004). Is e-Learning the Solution for Individual Learning? Electronic Journal of e-Learning, 2(2): 273-280. Thomas, P., Price, B., Paine, C., & Richards, M. (2002). Remote electronic examinations: student experiences, British Journal of Educational Technology, 33(5): 537-549. Whittington, D. (1999). Technical and security issues. Computer Assisted Assessment in Higher Education. Uredili: Brown, S., Race, P., & Bull, J. London: Kogan Page. Organizacija, letnik 39 Razprave številka 8, oktober 2006 Slika 2: Primerjava odgovorov študentov o e-preverjanju znanja 530 Eva Jereb je docentka za izobraževalno-kadrovsko in informacijsko področje na Fakulteti za organizacijske vede, Univerze v Mariboru. Doktorirala je na tej isti fakulteti s področja organizacijskih ved. Njeni sedanji raziskovalni interesi so predvsem na področju kadrovskih ekspertnih sistemov, izobraževanja na daljavo (predvsem e-izobraževanja in e- preverjanja znanja), avtomatizacije pisarniškega poslovanja (predvsem elektronskih sistemov za upravljanje z dokumenti), delno pa tudi na področju dela na daljavo. Svoje delo je predstavila na več mednarodnih in domačih strokovnih in raziskovalnih konferencah in posvetovanjih. Je avtorica ali soavtorica znanstvenih in strokovnih člankov, objavljenih v domačih in tujih revijah in soavtorica knjige: Sodobne oblike in pristopi pri organiziranju podjetij in drugih organizacij, avtorica učbenika: Avtomatizacija pisarniškega poslovanja - Spletna tehnologija in dinamični HTML ter soavtorica učbenikov: Organizacija pisarniškega poslovanja in DEXi – Računalniški program za večparametrsko odločanje. Igor Bernik je docent na Fakulteti za organizacijske vede, Univerze v Mariboru. Raziskovalno se ukvarja z vpeljavo informacijskih sistemov za podporo odločanju v poslovanje in prehod podjetij iz klasičnih oblik poslovanja na moderne, z IKT podprte modele poslovanja. Njegovo raziskovalno delo je usmerjeno v proučevanje izrabe IKT v poslovnih okoljih z organizacijskega in informacijskega okvira za vpliv na konkurenčnosti in rast podjetij. Organizacija, letnik 39 Razprave številka 8, oktober 2006 Avtorja: Luka Pavlin, Luka Petrovčič, 11 let Mentorica: Metka Miljavec OŠ Solkan 531 the classroom but it should also support the understanding of the chemical processes. The goal of the research is to check capability of acknowledement and understanding of changes, which were obsereved by the pupils on the three different multimedia footage of the chemical experiments; main goal is to determine the added value of added visual elements (names and formulas of reagents, equation of the chemical reaction) in multimedia footage of the chemical experiments and school success of the pupil on the capability of perception and the proper understanding of it. Key words: experiment, visual literacy, perception, explanation, school success Organizacija, letnik 39 Summaries številka 8, oktober 2006 Zvone Balantič Software Spiral Development as the Continuing e-Health Process The creative process can help to create software spiral development, where beside the settled development of an idea we have a large concentration of flashes of wit and intuition. E-teaching models that take into consideration given facts of present time are building in a high level of information technology (IT). It can be said that in this area as well the life expectancy of an e-product is getting shorter and needs constant improvements. The e-health process has to be constant, adjusted, growing and set in the newest theoretical happenings and practical realizations. Software spiral development is very dynamical regarding the education in medicine. With the spiral model our work can be structured very clearly through next steps: analysis, specification, design, implementation, testing, integration and maintenance. The software spiral development process was presented on the example of e-materials for the respiratory physiology. The construction of the spiral model makes IT in medicine clearer and more effective. In the final phase the IT grows into the Health Life-Style Portal for general public and into Professional Health Portal for professional and expert public. Key words: spiral development, software, multimedia, lung function, education, e-health Eva Jereb, Igor Bernik Students’ Opinion about Electronic Examinations before and after E-testing Gabrijela Kranjc, Viljan Mahnič This paper is about one of the essential matters in electronic learning: taking electronic exams. It presents students’ opinion about electronic examinations before and after electronic testing. The studies in the years 2004 and 2005 confirmed that the majority of participants were prepared to take electronic exams. They were enthusiastic about the immediate feedback and time and place flexibility. However they had some reservations about the technological issues. Motivated by the positive students’ response we performed a pilot e-testing. After the testing we checked the students’ opinion again. The majority was enthusiastic and even more certain in introducing e-exams. Some of them think that this kind of taking exams is possible but they still do not see any advantages in it. Keywords: e-learning, e-examination, students’ opinion, e-testing tool Perception Tomaž Kolar Programming in Pairs in High Schools Extreme programming (XP) is a new style of software development focusing on excellent applications of programming tecniques, clear communication, and team work, which gives unimaginable results. A major practice of Extreme programming is Pair Programming. There are two programmers working side by side at the same computer, collaborating on the same analysis, the same design, implementation and test. Proponents of pair programming argue that programs produced by pairs are of higher quality, with less errors, better design than those produced by one programmer. And they are made in the shortest time possible as well. We think that pair programming model has also been found to be beneficial for students. Initial quantitative and qualitative results demonstrate that the use of pair programming in the computer science classroom enhances student learning and satisfaction. We explore the nature of pair programming, then examine the ways such a practise may enhance teaching and learning in computer science education. Keywords: agile methods, extreme programming, pair programming, quantitative and qualitative results. Bogdana Borota, Andrej Brodnik Tomaž Kolar Learning Music with ICT Technology Currently ICT offers teacher many opportunities to improve processes of learning and teaching (of music). The results of research indicate that the successful integration of technology depends on teacher’s competencies, on educational standards of music and technology, and on designed strategies of modeling, implementing and following. We designed a flexible software application for music teaching that permits use of some means of contemporary learning, such as: (1) differencing particularly based on individualization; (2) design of self learning strategy; (3) problem based and constructivist learning; (4) possibility of achieving of higher cognitive and co- notational goals; (5) possibility of learners to participate in virtual community. The architecture we used was a standard server based architecture, where the server has a triple role: (1) provides the necessary software; (2) storing settings and learners’ portfolio; and (3) provides a medium for the exchange of messages between the learners forming a virtual society. Key words: ICT, music, primary scho- ol, strategies 465