Elektrotehniški vestnik 87(1-2): 8-12, 2020 Izvirni strokovni članek SIZiF - i-sistem izpitov na Zdravstveni fakulteti Univerze v Ljubljani Miha Fošnarič\Samo Penič2 1 Univerza v Ljubljani, Zdravstvena fakulteta, Zdravstvena pot 5, 1000 Ljubljana, Slovenija 2 Univerza v Ljubljani, Fakulteta za elektrotehniko, Trzaška cesta 25, 1000 Ljubljana, Slovenija E-pošta: miha.fosnaric@zf.uni-lj.si, samo.penic@fe.uni-lj.si Povzetek. SIZiF je informacijsko-tehnološko podprt sistem za izdelavo, razpoznavo in oceno pisnih preizkusov znanja na Zdravstveni fakulteti Univerze v Ljubljani. Omogoča sestavljanje in urejanje izpitnih pol ter avtomatsko ocenjevanje in objavo študentskih izdelkov. SIZiF je nastal in se razvija na podlagi lastnega znanja in izkušenj. Vsa programska oprema je odprtokodna, torej je izvorna koda dostopna vsakomur za uporabo, prilagajanje in nadaljnji razvoj ter vključitev v druge rešitve. Clanek opisuje tehnološke rešitve, na katerih sloni proces sestavljanja, izvedbe, ocenjevanja in objave pisnih preizkusov znanja, ter prakticšne izkusšnje z uvajanjem sistema na Zdravstveni fakulteti Univerze v Ljubljani. Ključne besede: pisni preizkusi znanja, optična razpoznava, odprta koda, avtomatsko ocenjevanje, avtomatska generacija SIZiF - an IT System for Exams at the Faculty of Health Sciences SIZiF is a system based on information technology for generation, optical recognition and automatic assessment of written exams used at the Faculty of Health Sciences, University of Ljubljana. It is developed and maintained on the basis of our own knowledge and experience. All the software is open sourced, which means that it is freely accessible to everyone to use, develop and further implement functionality. The paper describes technological solutions behind the whole process from generation of questions and problem sheet, to the assessment and publication of students' results, as well as our practical experience with SIZiF at the Faculty of Health Sciences, University of Ljubljana. 1 Uvod Finančna podhranjenost našega visokega šolstva pogosto privede do previsokih kvot študentov na pedagoškega delavca. Kako ustaviti ta trend, ki posledicno zmanjšuje kakovost pedagoškega dela, je kompleksen problem [1], [2], [3]. V tem prispevku predstavljamo tehnološko rešitev, ki omogoca izboljšave pedagoškega procesa v Ze obstojecem financnem in kadrovskem okviru fakultete in univerze. V visokošolskem izobraŽevanju so praviloma pisni preizkusi znanja tisti, ki dajo študentu prvo resno in sistematizirano povratno informacijo o kakovosti njegovega znanja, kar je še dodaten motiv, da so ti izvedeni po cim višjih pedagoških standardih [4], [5], [6], [7]. Takšni preizkusi znanja so pogosto mnozicno obiskani. Na Zdravstveni fakulteti Univerze v Ljubljani se pogosto srecujemo s pisnimi preverjanji znanja, ki Prejet 20. junij 2019 Odobren 11. december 2019 jih opravlja okoli sto ali vec študentov. Pogosto so nosilci predmetov ali (so)izvajalci zunanji sodelavci in vecšino bremena logisticšne izvedbe mnozšicšnih testov prevzamejo sštudentski referat in drugi sodelavci. Zato je še toliko pomembnejše, daje priprava in izvedba takšnih preizkusov znanja cim bolj sistematizirana in zagotavlja cim vecjo objektivnost in korektnost. SIZiF, informacijsko-tehnološki sistem za izpite na Zdravstveni fakulteti Univerze v Ljubljani, je nastal po zgledu ze obstojecih rešitev [8], [9], [10] in predvsem na podlagi dolgoletnih izkusšenj avtorjev z razvojem in uporabo podobnega sistema [11], [12]. Kljub prisotnosti podobnih resšitev pa je SIZiF sestavljen in spisan povsem na novo in prilagojen potrebam Zdravstvene fakultete Univerze v Ljubljani. SIZiF omogocša izdelavo in urejanje izpitnih pol ter avtomatsko razpoznavo in ocenjevanje študentskih izdelkov. S sistemom lahko sestavimo za vsakega sštudenta unikatno polo z vprašanji in ponujenimi odgovori. Tudi kadar zelimo, da študentje rešujejo isti vsebinski nabor nalog, lahko sistem premesša vrstni red nalog in ponujenih odgovorov. Unikatne pole z vprasšanji natisnemo in razdelimo med študente. Ko študenti zakljucijo izpolnjevanje pol, pole pošljemo skozi opticni citalnik, ki njihove slike pošlje strezniku. Ta oceni vsak izdelek in ga poveze s študentom, ki gaje izpolnjeval. Ce izvajalec predmeta zšeli, omogocši sštudentu, da si lahko svoj pisni preizkus, popravljen in ocenjen, ogleda na spletu ter sporocši morebitne pripombe. Za varstvo osebnih podatkov sštudentov je pri tem poskrbljeno. Vsa programska oprema je odprtokodna [13] in je torej prosto dostopna za uporabo in nadaljnji razvoj ter vkljucitev v druge rešitve. SIZIF - I-SISTEM IZPITOV NA ZDRAVSTVENI FAKULTETI UNIVERZE V LJUBLJANI 9 Slika 1: Shema zgradbe sistema SIZiF. V nadaljevanju predstavimo zgradbo in tehnološke rešitve SIZiFa ter izkušnje s sistemom v praksi. 2 Zgradba in delovanje SIZiFa Posamezne segmente programske opreme SIZiFa medsebojno povezuje podatkovna baza (sredina sheme na sliki 1). Podatki so v skladu z zgradbo podatkovnih baz SQL urejeni v tabele. Te se medsebojno povezujejo z referencami na posamezna polja in tvorijo celoto. Uporabili smo odprtokodno podatkovno bazo postgresql, vendar je mogoce uporabiti katerokoli odprtokodno ali komercialno podatkovno bazo. Spletni vmesnik in strezniška aplikacija sta napisana v visoko-nivojskem programskem jeziku Python, ki ze s svojo zasnovo spodbuja uporabo in razvoj številnih odprto-kodnih knjiznic ter tako skupaj s svojo razširjenostjo nudi odlično odprto programsko okolje znanstvenikom in inzenirjem [14]. Pisni preizkus znanja se v SIZiFu zacne s sestavljanjem nalog ter dolocanjem roka preizkusa znanja. Pisne preizkuse znanja v SIZiFu sestavljamo in urejamo prek spletnega vmesnika (slika 2), pri cemer vsa komunikacija tece prek varnega protokola HTTPS. Spletna stran je zgrajena v spletnem okvirju (angl. web framework) Django 2.2, ki omogoca enostavno komunikacijo s podatkovno bazo v ozadju ter cisto in pragmaticno obliko [15]. Vsaka naloga je svoja tekstovna datoteka. SIZiF ima svoj minimalisticen oznacevalni jezik (angl. markup language), s katerim poleg besedila naloge podamo tudi opis, kako naj se besedilo oblikuje ter kateri so pravilni in napacni odgovori [11], [12]. Sestavljene naloge so v celoti spravljene v podatkovni bazi in pripravljene za vkljucitev v preizkus znanja. Posamezno nalogo lahko uporabimo pri vec preizkusih ali pa za vsak preizkus sestavimo nove naloge. Ko smo zadovoljni z naborom nalog in preostalimi parametri preizkusa znanja (datum, naslov, ime predmeta, seznam pišočih, ...), podamo zahtevo za generacijo unikatnih izdelkov. Generator preverjanja znanja je aplikacija, ki deluje na strezniku in se odzove na zahtevo po generaciji. Najprej SIZiFov razčlenjevalnik (angl. parser) v datoteki poišče posamezne dele naloge, ustvari vrednosti spremenljivk in izracšuna rezultate. Za numericšne in simbolične izračune uporabljamo knjiznici numpy in sympy. Nato vse naloge sestavi v izpitno polo in vse izpitne pole z uporabo prilagodljive oblikovne predloge zlozi v skupno ET]EX-ovo datoteko. To z ETjEX-ovim prevajalnikom prevedemo v datoteko PDF, ki jo lahko natisnemo in pole razdelimo med študente (slika 3). Ko študentje oddajo izpolnjene izpitne pole, te pošljemo skozi optični čitalnik, ki slike vsake strani izpitne pole v slikovnem formatu TIFF pošlje strezniku sistema SIZiF. Izbiramo lahko med več protokoli prenosa, ki jih optični čitalnik podpira. Največkrat je to kar protokol FTP (File Transfer Protocol). Streznik opravi optično razpoznavo, poveze strani v celoten preizkus znanja posameznega študenta, v bazi študentov poišče podatke o študentih, ter oceni izdelke. Za optično razpoznavo vzorcev smo uporabili knjiznico OpenCV in Pythonove ovoje (angl. wrapper) zanjo. OpenCV uporabljamo tudi za urejanje slike: določanje sivin, čiščenje slik, izločanje posameznih števk identifikacijske številke ter iskanje kvadratkov na robovih izpitnih pol, ki sluzijo koordinatnemu sistemu pole. Za branje QR-kode smo uporabili knjiznico pyzbar. Stevke razpoznavamo z nevronskimi mrezami, definiranimi v knjiznici sklearn, pri čemer smo za učenje nevronske mreze uporabili metodo vzvratnega razširjanja (angl. backpropagation) iz te knjiznice in jo naučili prepoznavanja števk od 0 do 9 na osnovi majhnega vzorca okoli 30 posameznih števk iz predhodnih testnih slik, pridobljenih na istem optičnem čitalniku. Posamezni elementi na sliki izpitne pole sluzijo optični razpoznavi: • Prek QR-kode v bazi poiščemo podatke o poli, predvsem matriko pravilnih odgovorov. Opcijsko je lahko v QR-kodi tudi identifikacijska številka pišočega, prek katere lahko izdelek z uporabo baze povezemo z imenom in priimkom. • Ce podatka o identifikaciji pišočega ni v QR-kodi, jo algoritem za optično razpoznavo poskusi pridobiti iz temu namenjenega polja na formularju. Student polje izpolni tako, da pobarva segmente, ki spominjajo na 7-segmentni prikazovalnik, kot smo ga navajeni na primer iz digitalnih ur. Primer izpolnjene identifikacijske številke je prikazan na sliki 4. • Crni kvadratki na zgornjem in desnem robu strani določajo koordinate ponujenih odgovorov. Na 10 PENIC, FOSNARIC SIZiF + V C il (D A https://sizif.zf.uni-lj.si/problem/list ••* © à] ( Q. search ± WW □ ® = SIZiF = $ I List of problems Currently active exam: Before Exam* | After Exam 1 Hover Data Table Show 10 J entries Search: | "H | H Exams Title U Besedilo Dejanje j= Problems u 1 trazvo klvpra sanjejtxt Pri fizioterapiji z ultrazvokom se v gramu pacientovega tkiva absorbira S3,\!5\,SJ energije. Za koliko se pri tem segreje tkivo, če je specifična toplota tkiva $3450\,$ J/(kg K)? Oddajanje toplote okolnemu tkivu O Add to exam SI Groups of problems C? Detail/Edit iJ? Students a) $\Delta T=l,\IO\,\mathrm{A\circ Cj$ / b) $\Delta T=0A!83\,\mathrm{A\circ C}$ c) $\Delta T-2,\!l\,\mathrm{A\circ C}$ d) $\Delta T-l,\!3\,\mathrm{'l\circ C}$ ffi Izbriši Slika 2: Primer pogleda v spletnem vmesniku, prek katerega v SIZiFu urejamo preizkuse znanja ter posamezna vprašanja ali sklope vprašanj sestavljamo v naloge, ki bodo del preizkusa. Izpit iz predmeta Biofizika z biomehaniko (Fizioterapija) 10. 04. 2019 1. Potapljač na vdili se potopi na globino 9,0m. Gostota vode je 1000kg/m3, nad gladino pa je zračni tlak lbar. a) Za koliko se med potopom spremeni prostornina njegovih pljuč, če se zrak v pljučih stiska kot idealni plin? ®AV/V = -47% (B) AV/V - -84% ©AV/V = -58% @AV/V = -70% ■ Slika 3: Primer glave izpitne pole s prvim vprašanjem. Zaradi varovanja osebnih podatkov je ime študenta na sliki zakrito. SIZiF omogoča tudi generacijo in razpoznavo izpitnih pol brez vnaprej natisnjenih imen in vpisnih številk. V tem primeru jih študenti sami vpišejo na izpitne pole, ki jih lahko med sštudente nakljucšno razdelimo. Slika 4: Primer izpolnjene identifikacijske številke pisočega. V primeru Zdravstvene fakultete je to vpisna številka študenta. 1. Potapljač na vdih se potopi na globino 9,0 m. Gostota a) Za koliko se med potopom spremeni prostornina nji Slika 5: Lepo označen odgovor pri nalogi. Z uporabo kvadratkov na robovih bo oznacšen odgovor na poli enostavno locirati in ugotoviti, da ga je pišoči študent označil. presečiščih teh koordinat se potenčialno nahajajo izbrani odgovori, ki jih pišoči označi tako, da pobarva krožeč pred odgovorom (prikaz dela odgovorov neke naloge je na sliki 5). Algoritem zazna počšrnjene odgovore ter sestavi matriko izbranih odgovorov. Rezultati optičnega razpoznavanja se spravijo v bazo, skupaj s povezavo do slik, ki pa se shranijo na disk v obliki datotek tipa PNG, primernih tudi za prikaz prek spletnih brskalnikov. S primerjavo matrike pravilnih odgovorov in matrike označšenih odgovorov se izračšuna končni rezultat preverjanja znanja - očena. Upravlja-več preverjanja znanja si lahko ogleda rezultate vseh sštudentov skupaj s sliko njihovega preverjanja znanja ter odpravi morebitne pomanjkljivosti, ki so se pojavile med pročesom optične zaznave. Hkrati mu stran nudi statistiko resševanja preizkusa znanja in izvoz očen v obliki tabele. Zadnji spletni vmesnik je namenjen pišočim -sštudentom. Rezultate preizkusa znanja si lahko ogledajo s prijavo na spletni strani. Po prijavi si ogledajo čelo-tno zgodovino opravljanj preizkusov znanja s sistemom SIZiF. Za vsak preizkus dobijo podatek o rezultatu in statistiko čelotnega preizkusa znanja ter si ogledajo svoj izdelek. Studentu je omogočeno tudi prijavljanje napake pri očenjevanju ali zastavljanje vprašanj o nalogah. S tem lahko spletna stran popolnoma nadomesti fizični ogled preizkusov znanja z obiskom asistenta/profesorja, ki je izvajal in očenjeval preizkus. Zaradi zagotavljanja varnosti osebnih podatkov je streznik SIZiF na računalniku, ki je fizično priso- SIZIF - I-SISTEM IZPITOV NA ZDRAVSTVENI FAKULTETI UNIVERZE V LJUBLJANI 11 ten znotraj Zdravstvene fakultete Univerze v Ljubljani. Strojne zahteve streZnika niso velike. Posamezne komponente preizkušeno delujejo na odprtokodnih distribucijah GNU/Linux. Za namestitev sistemski inzenir potrebuje poznavanje operacijskega sistema Linux ter programskega jezika Python. Za lazjo namestitev smo pripravili konfiguracijsko datoteko za virtualizacijo na nivoju operacijskega sistema Docker, ki namestitev popolnoma avtomatizira. Slika (angl. Docker image), ki jo ustvari, za osnovo uporablja distribucijo Linuxa Ubuntu 18.04. Nanjo namesti vse potrebne pakete in pripravi mrezne in diskovne dostopne tocke. Tako zgrajeno sliko lahko namestimo na poljuben operacijski sistem, ki podpira sistem Docker. Sistem SIZiF smo razdelili na tri dele zaradi lazšjega razvoja posameznih funkcionalnosti sistema. Spletni vmesnik skupaj s konfiguracijsko datoteko Dockerfile je prosto dostopen v GIT-repozitoriju [16], generator preverjanj znanja v GIT-repozitoriju [17] ter algoritmi za optično razpoznavo v GIT-repozitoriju [18]. Ce bomo uporabili sistem Docker, potrebujemo le prvi del, ki ga snamemo z repozitorija [16], Docker pa poskrbi za prenos preostalih komponent sistema. Uporaba Dockerja ima za nas, razvijalce, še dodatno prednost. Ker se sistem zelo hitro razvija, lahko z uporabo Dockerjevih slik spremembe hitro prenasšamo v produkcijo, ne da bi pri tem povzrocili izpad oz. nedelovanje streznika. Nove funkcionalnosti ali popravki se tako dnevno ali celo veckrat na dan pojavijo v novi Dockerjevi sliki, ki nadomesti staro. Izdelava novih slik je lahko avtomatizirana v obliki sprozšilca ob potisku spremembe na repozitorij GIT ali kako drugace. Uporabnik storitve SIZiFa zamenjave slike niti ne zazna, saj je menjava hipna. V primeru tezav z novo sliko pa lahko hitro povrnemo staro stanje, dokler ne popravimo nepravilnosti na razvojnem strezniku in ne ponovimo procesa integracije razvojne kode v produkcijsko. 3 Rezultati in zaključek Pri zasnovi, razvoju in uporabi SIZiFa smo gradili na izkusšnjah z razvojem in uporabo podobnega sistema, ki je v uporabi pri nekaterih predmetih na Fakulteti za elektrotehniko in Biotehnicni fakulteti Univerze v Ljubljani [11], [12]. Vendar pa je SIZiF zasnovan in napisan povsem na novo, s sštevilnimi povsem novimi funkcionalnostmi ter moznostmi za nadgradnjo. Tako smo se ob uvajanju sistema na Zdravstveni fakulteti Univerze v Ljubljani ob odpravljanju napak programske kode, seveda srecševali tudi z zagonskimi tezšavami pri postavitvi in vzdrzševanju infrastrukture strezšnika in opticšnega cšitalnika ter pri vpeljavi novih funkcionalnosti in uporabniških izkušnjah izvajalcev preizkusov znanja. Kljub temu smo SIZiF na Zdravstveni fakulteti Univerze v Ljubljani v letih 2018 in 2019 uspešno uporabili za preizkuse znanja pri predmetih biofizika, biofizika z biomehaniko, medicinska propedevtika, klinicna pro- pedevtika in diagnostični laboratorij, zdravstvena nega kirurškega bolnika ter organizacija in management v zdravstveni negi. Pri tem smo izvedli več kot 20 pisnih preizkusov znanja ter sestavili in obdelali več kot tisoč izpitnih pol sštudentov. Po nekaj začetnih tezavah z implementacijo in izvedbo je SIZiF uspešno zadihal. Študentje so ga pozitivno sprejeli, ustrezata jim objektivnost takšnega preverjanja znanja in hitra povratna informačija o njihovi uspešnosti. Izvajalči izpita so zadovoljni, saj je zaradi unikatnih pol otezeno goljufanje, SIZiF pa odpravlja tudi duhomorno ročno popravljanje pisnih izdelkov sštudentov. S finančnega stališča uvedba SIZiFa na Zdravstveni fakulteti ni zahtevala dodatnih investičij. Strojne zahteve za streznik in optični bralnik so dovoljevale, da smo uporabili kar infrastrukturo, ki jo fakulteta ze ima na razpolago. SIZiF na disku trenutno zaseda 16 GB prostora, pri čemer 10 GB zasedata operačijski sistem in Dočkeijeva slika sistema SIZiF z vsemi potrebnimi dodatki, baza metapodatkov zaseda 16 MB, slabih 6 GB pa zasedajo slike sštudentskih pol. Tiskanje izpitnih pol in optično branje izpolnjenih izdelkov potekata na večfunkčijski napravi Xerox Work-Centre 5875. Za uspešno optično razpoznavo izdelkov je bilo treba primerno nastaviti sivine in kontraste pri tiskanju ter na optičšnem bralniku. Pri menjavi tiskalnika ali optičšnega bralnika bi bilo ta postopek uglasševanja sistema treba opraviti ponovno. Koristno je tudi, da imajo izvajalči roka ze nekaj izkušenj s SIZiFom, saj je kakovost pravilne razpoznave izdelkov odvisna tudi od primernega izpolnjevanja študentov, na primer izbire pisala in brisala ter pravilnega označevanja izbranih odgovorov. Največ napak seveda nastaja ob optični razpoznavi. Izpitnih pol, pri katerih so potrebni ročšni popravki, je pri uspesšno izvedenem izpitu sičer le nekaj odstotkov, vseeno pa je potrebna previdnost izvajalča pred objavo rezultatov. Odprto ostaja vprašanje sistemske uvedbe SIZiFa na fakulteti. Sistem namreč še vedno zahteva nekaj ekspertnega znanja pri sestavljanju preizkusov znanja, pri pregledovanju optičšne razpoznave in avtomatskega očenjevanja izdelkov ter pri vzdrzevanju streznika. Za širšo in rutinsko uporabo bi bilo treba prilagoditi upo-rabnisški vmesnik za sestavljanje testov in pregledovanje očenjenih izdelkov, ki bi morala biti enostavnejša in uporabniku prijaznejša. Poleg tega bi morali sistemsko urediti tehnično podporo, saj gre lahko, kot pri vsakem informačijsko-tehnološkem pročesu, vsakič kaj narobe. Ozko grlo sta predvsem tiskanje in optična razpoznava, ki pa sta ključna člena, zaradi katerih smo sistem sploh razvili. Zaobiti te bi pomenilo, da mora imeti v čšasu preizkusa znanja vsak študent na razpolago informačijsko-tehnološko vhodno enoto, prek katere sistemu sporoča svoje odgovore (na primer pametni telefon ali tabličo, 12 PENIČ, FOSNARIC uporaba računalniških ucilnic na fakulteti ali posebej temu namenjena strojna in programska oprema). Za konec naj še enkrat poudarimo, daje celoten sistem spisan in zasnovan na odprtokodnih tehnologijah. Potencialne uporabnike in razvijalce zato vabimo k uporabi in nadaljnjemu razvoju. Ena izmed koristnih razširitev bi bila na primer integracija s sistemom Moodle, ki je zelo razširjen tudi v slovenskem izobraževalnem sistemu. [16] S. Penic, "Sizif - web public module," 2019, [Online; accessed 18-July-2019]. [Online]. Available: https://git.penic.eu/summary/ havoc%2Fsizif_web_public.git [17] -, "Sizif - problem set generation module," 2019, [Online; accessed 18-July-2019]. [Online]. Available: https://git.penic.eu/ summary/havoc%2Fberki-parse.git [18] -, "Sizif - optical recognition module," 2019, [Online; accessed 18-July-2019]. [Online]. Available: https://git.penic.eu/ summary/havoc%2Fsizif- ocr.git Zahvala Zahvaljujemo se Alešu Berkopcu, ki sorazvija in uporablja soroden sistem, na osnovi katerega smo gradili SIZiF. Literatura Miha Fošnarič je diplomiral na Oddelku za fiziko na Fakulteti za matematiko in fiziko Univerze v Ljubljani in doktoriral na Fakulteti za elektrotehniko Univerze v Ljubljani. Med letoma 2000 in 2018 je bil zaposlen kot mladi raziskovalec in nato kot asistent za fiziko na Fakulteti za elektrotehniko Univerze v Ljubljani. Od leta 2018 je zaposlen kot visokošolski ucitelj za biofiziko na Zdravstveni fakulteti Univerze v Ljubljani. [1] B. Milena, "Učinkovitost in pravičnost visokošolskega izobraževanja v Sloveniji," Teorija in praksa let, vol. 40, pp. 90-102, 2003. [2] A. Faganel and A. Trnavčevič, "Marketizačijski diskurz v izobraževanju," UPP Monograph Series, 2017. [3] B. Car Dijkhuizen, "Vpliv sistema financiranja visokega šolstva na učinkovitost in pravičnost izobraževanja: primerjava Slovenije, Nizozemske in Portugalske," Ph.D. dissertation, Univerza v Ljubljani, Fakulteta za druzbene vede, 2018. [4] P. Ramsden, Learning to teach in higher education. Routledge, 2003. [5] D. Kember and K.-P. Kwan, "Lečturers' approačhes to teačhing and their relationship to čončeptions of good teačhing," Instructional science, vol. 28, no. 5, pp. 469-490, 2000. [6] R. Kane, S. Sandretto, and C. Heath, "Telling half the story: A čritičal review of researčh on the teačhing beliefs and pračtičes of university ačademičs," Review of educational research, vol. 72, no. 2, pp. 177-228, 2002. [7] C. Henderson, A. Beačh, and N. Finkelstein, "Fačilitating čhange in undergraduate stem instručtional pračtičes: An analytič review of the literature," Journal of research in science teaching, vol. 48, no. 8, pp. 952-984, 2011. [8] G. Kortemeyer, E. Kashy, W. Benenson, and W. Bauer, "Expe-rienčes using the open-sourče learning čontent management and assessment system lon-čapa in introdučtory physičs čourses," American Journal of Physics, vol. 76, no. 4, pp. 438-444, 2008. [9] A. Rane, A. Kumar, H. Saini, M. Sasikumar, and R. Marg, "Extending moodle to support offline assessments," in Proceedings of national seminar on e-learning and e-learning technologies (ELELTECH), 2009, pp. 31-39. [10] J. A. Fisteus, A. Pardo, and N. F. Garcia, "Grading multiple čhoiče exams with low-čost and portable čomputer-vision tečh-niques," Journal of Science Education and Technology, vol. 22, no. 4, pp. 560-571, 2013. [11] A. Berkopeč, S. Penič, and M. Fošnarič, "Havoč - sistem za izdelavo, razpoznavo in očeno preizkusov znanja," in Zbornik sedemnajste mednarodne Elektrotehniške in računalniške konference ERK 2008, V. B. Z. in A. Trost, Ed. Slovenska sekčija IEEE, Sep. 2008, pp. 360-363. [12] S. Penič, M. Fošnarič, and A. Berkopeč, "Sistem za izdelavo, razpoznavo in očeno pisnih preizkusov znanja," in Informacijska komunikacijska tehnologija v pedagosških sštudijskih programih Univerze v Ljubljani, 2019 (v tisku). [13] Wikipedia čontributors, "Open-sourče software — Wikipedia, the free enčyčlopedia," 2019, [Online; aččessed 14-June-2019]. [Online]. Available: https://en.wikipedia.org/wiki/Open-sourče_ software [14] K. J. Millman and M. Aivazis, "Python for sčientists and engineers," Computing in Science & Engineering, vol. 13, no. 2, pp. 9-12, 2011. [15] The Django Software Foundation, "Django," 2019, [Online; aččessed 18-July-2019]. [Online]. Available: https://www.djangoproječt.čom Samo Penič je leta 2015 doktoriral s podrocja elektrotehnike na Univerzi v Ljubljani. Je asistent na Fakulteti za elektrotehniko Univerze v Ljubljani. Med letoma 2007 in 2011 je razvijal sistem za avtomatsko ocenjevanje HaVoC na Fakulteti za elektrotehniko. Izkušnje pri nastajanju sistema je uporabil za nacšrtovanje in izvedbo sistema SIZiF na Zdravstveni fakulteti Univerze v Ljubljani.