SLOVNIČNA PREGLEDOVALNIKA ZA SLOVENŠČINO - PREDSTAVITEV IN ANALIZA UPORABE Mario JURIŠIC Ljubljana, Slovenija Jurišic, M. (2015): Slovnična pregledovalnika za slovenščino - predstavitev in analiza uporabe. Slovenščina 2.0,3 (1): 28-58. URL: http://www.tr0jina.0rg/sl0venscina2.0/arhiv/2015/1/Sl02.0_2015_1_02.pdf. V prispevku smo na kratko predstavili dva obstoječa slovnična pregledovalnika za slovenščino, Besano in LanguageTool, in analizirali njuno uporabo z vidika natančnosti, zanesljivosti in praktične uporabnosti. Prav tako smo preverili hipotezo, da uporabniki danih orodij pogosteje upoštevajo predloge popravkov omenjenih orodij pri prevajanju v tuji jezik kot pri prevajanju v materni jezik. Izpostavili smo tudi izsledke, pridobljene pri proučevanj u veljavnosti ene dodatnih predpostavk, ki se posredno nanaša na učinkovitost uporabe slovničnih pregledovalnikov. Prispevek ponuja možne odgovore na vprašanja o učinkovitosti in smiselnosti uporabe tovrstnih orodij, ki temeljijo na izsledkih praktičnega poskusa, v okviru katerega smo pričujoča orodja z vidika omenjenih parametrov proučevali pri prevajanju iz slovenščine v angleščino in iz angleščine v slovenščino. Za namen obdelave izsledkov smo razvili tipologijo posameznih kategorij napak, ki predstavlja enega od možnih pristopov za kvantitativno obdelavo izsledkov, pridobljenih pri raziskavah tovrstnih orodij z vidika parametrov natančnosti in zanesljivosti ter odnosa uporabnikov do predlogov popravkov. Izsledki danega poskusa upravičujejo uporabo obeh slovničnih pregledovalnikov za slovenščino, vendar obenem opozarjajo na posamezne možnosti za izboljšave teh orodij. Ključne besede: slovnični pregledovalnik, Besana, LanguageTool, slovenščina, analiza 1 UVOD V zadnjem času smo priča hitremu razvoju tako raziskovalno kot tudi tržno zanimivih jezikovnih tehnologij, kot so na primer strojno prevajanje, razpoznavanje in sinteza govora ter mnoge druge, med katere spada tudi slovnično pregledovanje besedil. Številne med njimi so med seboj tesno povezane, saj se njihovi temeljni sestavni deli v veliki meri prekrivajo. Strojni prevajalniki denimo za dodeljevanje in izbiranje najverjetnejših oblikoskladenjskih oznak besed uporabljajo označevalnike in stavčne analizatorje, na podlagi katerih so zgrajeni tudi slovnični pregledovalniki (Holozan 2013). Izboljšave slovničnih pregledovalnikov so zato precej odvisne tudi od razvoja drugih tehnologij za računalniško obdelavo jezika. Preverjanje slovnične ustreznosti besedil zajema prepoznavanje primerov napačne rabe jezika in - do določene mere - tudi predlaganje popravkov pri ustrezno zaznanih napakah (Grammar Checker - Definition and Examples of Grammar Checkers; Helfrich in Music 2000). Ob tem je treba poudariti, da so slovnični pregledovalniki omejeni na odkrivanje nepravilnosti na pravopisni in skladenjski ravni jezika, kajti ta orodja trenutno še niso zmožna zaznati pomenskih napak, ki segajo preko meja povedi (Burston 1996: 106). Kljub temu je mogoče trditi, da slovnični pregledovalniki verjetno predstavljajo skupino najpogosteje uporabljanih pripomočkov za pisanje besedil. To ne velja samo v prevajalski panogi, temveč tudi v drugih gospodarskih panogah, kot je na primer trženje, kjer je uspešnost komunikacije odvisna tudi od slovnične ustreznosti besedil. 2 NAMEN IN ZGRADBA PRISPEVKA Ob splošni razširjenosti pisarniških paketov za urejanje besedil do vse večjega izraza prihajajo tudi orodja za slovnično pregledovanje. Slednja uporabljajo tako poklicni kot tudi drugi uporabniki jezika. Med njimi so tudi šolarji in študentje, ki ta orodja pogosto uporabljajo kot obliž za pomanjkljivo slovnično in pravopisno znanje (Wei in Davies 1997). Tovrstni načini uporabe teh orodij odpirajo tehtno vprašanje, v kolikšni meri je mogoče slovničnim pregledovalnikom zaupati in kdaj je njihova uporaba smiselna oziroma kdaj postane moteča. V sorodnih raziskavah s področja proučevanja slovničnih pregledovalnikov je mogoče opaziti, da so pogosto v ospredju nematerni govorci jezika. Iz tega razloga se nam je zdelo smiselno preveriti tudi učinkovitost tovrstnih orodij z vidika različnih ravni jezikovega znanja uporabnika. V ta namen smo oblikovali hipotezo, da uporabniki obravnavanih slovničnih pregledovalnikov pogosteje zaupajo predlaganim popravkom pri prevajanju v tuji jezik kot pri prevajanju v materni jezik. Z veliko verjetnostjo lahko namreč trdimo, da so uporabniki jezika pri izražanju v tujem jeziku manj suvereni kot v maternem jeziku. Prav tako so domnevno dojemljivejši za upoštevanje popravkov, ki jim jih predlaga navidezno zanesljiva avtoriteta, kot je orodje za slovnično pregledovanje. V prispevku je predstavljen del obsežne magistrske raziskave o uporabi slovničnih pregledovalnikov za slovenščino, Besane in LanguageToola, z vidika natančnosti, zanesljivosti in praktične uporabnosti. Prav tako so predstavljeni tudi izsledki preverjanja hipoteze, da uporabniki slovničnih pregledovalnikov pogosteje zaupajo predlaganim popravkom teh orodij pri prevajanju v tuji jezik kot pri prevajanju v materni jezik. Osvetljeni so tudi izsledki proučevanja veljavnosti ene od petih dodatnih predpostavk v magistrski raziskavi, ki posredno izraža učinkovitost uporabe orodij za slovnično pregledovanje. Zaradi prostorske omejitve so bili v prispevku izpostavljeni zgolj vsebinsko pomembnejši sklopi te raziskave. Opredelitvi raziskovalnega problema in posameznih pričakovanih ugotovitev sledi kratka predstavitev najnovejših1 različic obeh obravnavanih orodij v 3. razdelku. Ob tem so izpostavljene tudi ključne razlike med obema slovničnima pregledovalnika z vidika njunega časovnega razvoja ter finančne in strokovne podpore. V 4. razdelku sta opisana zasnova praktičnega poskusa in uporabljeno gradivo, s pomočjo katerih smo poskusili uresničiti postavljene raziskovalne cilje. 1 V času izvedbe magistrske raziskave sta bili kot najnovejši različici obeh programskih orodij upoštevani različici Amebis Besana 3.34 in LanguageTool 2.0. V 5. razdelku smo obrazložili enega od možnih načinov za kvantitativno obdelavo izsledkov, pridobljenih pri tovrstnih raziskavah, in sicer z vidika parametrov natančnosti in zanesljivosti ter z vidika odnosa uporabnikov do predlaganih popravkov. Tej razlagi v 6. razdelku sledi preverjanje uvodoma postavljene hipoteze in predstavitev analize izsledkov, medtem ko smo v zaključku na podlagi zbranih ugotovitev podali predloge za izboljšave obravnavanih orodij in priporočila za nadaljnje raziskovalno delo na tem področju. 3 OBRAVNAVANA SLOVNIČNA PREGLEDOVALNIKA Slovnični pregledovalnik Besana,2 ki ga že od leta 1988 razvija podjetje Amebis, je namenjen odkrivanju pravopisnih in slovničnih napak v slovenskih besedilih (Amebis Besana - Kratka zgodovina Besane; Holozan 2012: 101). Deluje v sklopu programskega paketa Amebis Besana, ki ga sestavljajo štirje programi (Amebis Besana - Datoteka s pomočjo). Med njimi bomo izpostavili zgolj dva, ki sta relevantna v dani raziskavi, to sta Amebis Besana Mini in Amebis Besana za Word. Prvi predstavlja samostojni program za slovnično in slogovno pregledovanje (Slika 1), medtem ko lahko drugega uporabljamo v obliki programskega dodatka za urejevalnik besedil Microsoft Word (Slika 2; Holozan 2012: 101). 2 http://besana.amebis.si/ Slika 1: Primer poprave v najnovejši različici programa Amebis Besana Mini (Amebis Besana - Datoteka s pomočjo). Slika 2: Primer poprave z najnovejšo različico programskega dodatka Amebis Besana za Word (Amebis Besana - Datoteka s pomočjo). Drugo v prispevku proučevano orodje je odprtokodni slovnični pregledovalnik [32] LanguageTool, ki ga je leta 2003 v okviru svoje diplomske raziskave na Univerzi v Bielefeldu v Nemčiji razvil Daniel Naber in trenutno podpira slogovno in slovnično pregledovanje besedil v 31 jezikih (Naber 2003: 3; LanguageTool Supported Languages). Podpora za slovenski jezik v danem orodju je bila zagotovljena šele leta 2007, ko je Martin Srebotnjak zasnoval prva odprtokodna pravila za preverjanje slovnice in sloga v slovenskih besedilih (LanguageTool Changelog). Slovnični pregledovalnik LanguageTool je podobno kot Besano mogoče uporabljati kot samostojni program (Slika 3) ali kot programski dodatek k odprtokodnemu urejevalniku besedil Apache OpenOffice (Slika 4). Slika 3: Primer poprave v najnovejši različici samostojnega programa LanguageTool. Slika 4: Primer poprave z najnovejšo različico LanguageToolovega programskega dodatka k urejevalniku besedil OpenOffice Writer. Iz navedenih podatkov so razvidne tri ključne razlike med obema slovničnima pregledovalnikoma za slovenščino, ki Besani že v izhodišču dajejo določeno prednost pred LanguageToolom. Prva razlika se nanaša na časovni razvoj posameznega orodja, pri čemer je očitno, da ima Besana precej daljšo tradicijo pregledovanja besedil v slovenskem jeziku, saj jo razvijalci izboljšujejo že dobri dve desetletji, medtem ko je LanguageTool podlago za tovrstno delovanje prejel šele leta 2007. Poleg tega je slovnični pregledovalnik Besana del lastniške programske opreme, ki je za razliko od prosto dostopnega odprtokodnega slovničnega pregledovalnika LanguageToola plačljiva (Naber 2003: 3). Teoretično so sicer odprtokodna orodja dostopna širokemu krogu razvijalcev, ki lahko pomembno prispevajo k njihovim izboljšavam (Vse o Odprti kodi - COKS - Center odprte kode Slovenije). V praksi sodelovanje pri razvoju tovrstne programske opreme običajno temelji na prostovoljni osnovi, kar pomeni, da lahko pomanjkanje zanimanja za projekt povzroči zastoj v razvoju ali celo opustitev projekta (Primožič 2005: 34). Prav tako lahko trdimo, da Besana kot plačljivo orodje v primerjavi z odprtokodnim LanguageToolom uživa precej večjo finančno in strokovno podporo, ki bo verjetno opazna tudi na ravni učinkovitosti obeh obravnavanih orodij. 4 PRAKTIČNI POSKUS Pri opazovanju uporabe slovničnih pregledovalnikov za slovenščino z vidika omenjenih parametrov smo izhajali iz sorodnih raziskav o učinkovitosti tovrstnih orodij (Burston 1996; Wei in Davies 1997; Domeij, Knutsson in Severinson Eklundh 2002). Na podlagi teh raziskav smo najprej opredelili zgoraj navedene raziskovalne cilje. Nato smo v skladu s cilji zasnovali praktični poskus, v okviru katerega smo udeležence poskusa prosili, naj v 90 minutah prevedejo dve 150 besed dolgi in tematsko manj zahtevni publicistični besedili. Prvo besedilo so udeleženci poskusa morali prevesti iz slovenščine v angleščino, drugo pa iz angleščine v slovenščino. Skupino udeležencev poskusa je sestavljalo 21 študentov 1. letnika dodiplomskega študijskega programa Medjezikovno posredovanje na Oddelku za prevajalstvo Filozofske fakultete v Ljubljani, z jezikovno kombinacijo slovenščina-angleščina-nemščina. Izbira dane skupine je temeljila na predpostavkah, da imajo ti študentje v primerjavi s študenti višjih letnikov iste študijske smeri manj pravopisnega in slovničnega znanja ter manj izkušenj s prevajanjem besedil iz maternega v tuji jezik in obratno. S tem smo namreč želeli zagotoviti čim večji vzorec napak, na katerem smo pozneje preverj ali natančnost in zanesljivost Besane in LanguageToola. Izbira ustreznega gradiva za prevajanje je bila ključnega pomena za uspešno izvedbo poskusa, saj smo pričakovali, da bo število slovničnih napak, ki jih bodo [35] udeleženci zagrešili, v veliki meri odvisno tako od pravopisne in slovnične kot tudi od pomenske in slogovne zahtevnosti izvirnega besedila. Prvo, slovensko izvirno besedilo je bilo del daljše zgodbe, objavljene v reviji slovenskega letalskega prevoznika Adria Airways, medtem ko je bilo drugo, angleško izvirno besedilo vzeto iz članka, objavljenega v spletni izdaji britanskega časnika The Guardian. Besedili sta se s tematskega vidika razlikovali do te mere, da se njuna nabora besedišča nista prekrivala (prim. Prilogi: Izvirni besedili_SLO/AN). Ob tem je treba poudariti, da smo besedili za potrebe poskusa prilagodili tako, da smo določene dele besedila izbrisali, spremenili ali dodali, s čimer smo v oba izvirnika vnesli določene težje pravopisne in slovnične zagate (prim. Prilogi: Prilagojeni izvirni besedili_SLO/AN). Med tovrstne primere t. i. umetno vstavljenih slovničnih pasti smo denimo uvrstili zapis števila (angl.: »2,800«; slov.: »2.800«), zapis enote (angl.: »90%«; slov.: »90 %«), sklanjanje lastnega imena (angl.: »talking to Russell«; slov.: »pogovor z Russllom«) in zapis imena kraja (angl.: »Bydgoszcz«; slov.: »Bidgošč«). Te slovnične pasti smo črpali deloma iz nekaterih sorodnih raziskav o slovničnih pregledovalnikih, deloma pa iz gradiva za določene dodiplomske in podiplomske predmete pri študiju prevajanja na Oddelku za prevajalstvo (prim. Kies 2008; Connors in Lunsford 1992: 398; Uvod v študij slovenskega jezika, Prevajalski seminar I in II - prevajanje iz slovenščine v angleščino ter prevajanje iz angleščine v slovenščino). Tudi s tem smo želeli povečati število morebitnih napak in tako zagotoviti čim reprezentativnejši vzorec za nadaljnjo analizo učinkovitosti obeh orodij . Udeleženci poskusa so bili med poskusom razdeljeni v dve skupini, pri čemer je ena skupina besedili prevajala v urejevalniku besedil Microsoft Word 2010, druga pa v urejevalniku besedil Apache OpenOf^ce Writer 3.4.1. Na ta način smo zagotovili, da je imela ena skupina udeležencev ob prevajanju v slovenščino na razpolago slovnični pregledovalnik Amebis Besana 3-34,3 druga pa sorodno odprtokodno orodje LanguageTool 2.O.4 Obe orodji sta v tem primeru delovali v obliki programskih dodatkov k urejevalnikoma besedil, kar se je izkazalo za pomanjkljivost, ki jo bomo izpostavili v 6. razdelku. Ključni element opisanega praktičnega poskusa je predstavljalo snemanje zaslona vseh udeležencev poskusa - brez njihove vednosti - s pomočjo snemalnika zaslona TechSmith SnagIt 11.0.0.5 S tem smo pridobili vpogled tako v dejansko uporabo posameznega slovničnega pregledovalnika, kot tudi v sam prevajalski proces vsakega udeleženca poskusa. Med obdelavo posnetkov smo namreč lahko opazovali, katere vrste napak je orodje zaznalo in katere spregledalo, katere predloge popravkov je zanje podalo ter kako so se udeleženci poskusa odzivali na omenjene zaznave napak in predlagane popravke pri posameznem slovničnem pregledovalniku. Pridobljene izsledke smo s pomočjo tipologije posameznih kategorij napak, podrobneje razložene v naslednjem razdelku, in opažanj, zabeleženih med pregledovanjem posnetkov, obdelali kvantitativno in kvalitativno. 5 TIPOLOGIJA POSAMEZNIH KATEGORIJ NAPAK ZA OBDELAVO IZSLEDKOV POSKUSA Zasnova te tipologije napak ob upoštevanju ciljev raziskave temelji na opazovanju uporabe slovničnih pregledovalnikov z vidika natančnosti, zanesljivosti in odnosa uporabnikov do predlaganih popravkov. V tipologiji uporabljeno razlikovanje med mehanskimi in slovničnimi napakami smo uvedli na podlagi sorodnih raziskav o uporabi orodij za slovnično pregledovanje. Med mehanske napake smo uvrstili vse napake v črkovanju, saj odkrivanje tovrstnih napak poteka na podlagi preverjanja posameznih besed s pomočjo 3 http://besana.amebis.si/ 4 https://languagetool.org/ 5 http://www.techsmith.com/snagit.html enostavnih algoritmov iskanja in ujemanja (Trost 2004: 37; Voutilainen 2004: 228). Nasprotno pa preverjanje slovnične ustreznosti temelji na preverjanju skupine besed, ki so med seboj povezane na različne načine in med katerimi veljajo zapletene slovnične zakonitosti, zato razvoj tovrstnih orodij od razvijalca zahteva dobro poznavanje slovnice in metod za njeno formalizacijo (Burston 1996: 106). Zato je mogoče trditi, da preverjanje črkovanja v besedilu poteka na mehanski ravni, medtem ko slovnično preverjanje poteka na višji, zahtevnejši ravni obdelave naravnega jezika. Kot temeljne kategorije opazovanja smo opredelili Zaznavo napak, Zanesljivost nasvetov in popravkov ter Odnos do nasvetov in popravkov (prim. Tabela 1 in Tabela 2). Ob tem je treba opozoriti, da smo najprej razvili zgolj ogrodje tipologije napak - temeljne kategorije in podkategorije -, medtem ko smo posamezne vrste napak dodajali postopoma in po potrebi med samo analizo izsledkov (prim. Jurišic 2013, Priloge: Vrste posameznih mehanskih in slovničnih napak_SLO; Vrste posameznih mehanskih in slovničnih napak_AN). Poudariti je treba tudi to, da vse opredelitve temeljnih kategorij in podkategorij z izjemo posameznih vrst napak veljajo za celotno obdelavo izsledkov, ki se nanaša tako na angleške kot na slovenske primere napak. Zaznava napak Mehanske napake Slovnične napake Ustrezno zaznane Napačno zaznane Nezaznane Pravilen popravek Uporaben nasvet Napačen vir napake Nejasen nasvet Zanesljivost nasvetov in Pravilen popravek (sprejet) Napačen vir napake popravkov Napačen popravek Uporaben nasvet (sprejet) (sprejet) Napačen nasvet (sprejet) Odnos do nasvetov in popravkov Končni pregled napak Posredno upoštevanje Neposredno upoštevanje Tabela 1: Delitev temeljnih kategorij in podkategorij obdelave izsledkov. Podkategorije določenih temeljnih kategorij napak se v veliki meri prekrivajo, s čimer smo želeli zagotoviti čim večjo enotnost in doslednost pri analizi izsledkov. Na obeh ravneh smo namreč proučevali napake, ključna razlika v njihovi obravnavi pa je razvidna iz načina zaznave napak na posamezni ravni. Obe orodji, Besana in LanguageTool, mehansko napako (npr. napačen zapis besede) označita takoj, ko uporabnik konča s pisanjem dane besede in pritisne preslednico, medtem ko slovnično napako (npr. manjkajočo vejico) praviloma podčrtata šele potem, ko uporabnik poved dokonča s končnim ločilom in nadaljuje s pisanjem nove enote besedila. Skladno s tovrstnimi zakonitostmi delovanja posameznega slovničnega pregledovalnika smo oblikovali tudi pristop k razvrščanju primerov napak v posamezne kategorije in podkategorije. Ustrezno zaznane mehanske napake smo denimo lahko zabeležili takoj po uporabnikovem pritisku na preslednico, medtem ko smo pri zapisovanju slovničnih napak morali vedno počakati, da je uporabnik poved dokončal, saj ga je program šele tedaj opozoril na obstoječo slovnično napako. Če je uporabnik napako pred opozorilom že popravil, te napake nismo zabeležili. Podobno v sklopu podkategorij Nezaznane mehanske/slovnične napake nismo beležili napak, ki jih tovrstna orodja še ne morejo zaznati, temveč zgolj tiste, ki so dejansko - ali vsaj teoretično - znotraj njihovega dosega. Prav tako pri zaznavi napak in odnosu do popravkov nismo zapisovali popravkov, ki jih je urejevalnik Word izvedel v okviru funkcije Samopopravki, saj večina uporabnikov teh popravkov ni niti opazila. Zaznava napak Ustrezno zaznane mehanske/slovnične napake Napačno zaznane mehanske/slovnične napake Nezaznane mehanske/slovnične napake Orodje v dani enoti besedila prepozna ustrezno vrsto mehanske/slovnične napake. Orodje v dani enoti besedila, ki ne vsebuje napak, prepozna določeno vrsto mehanske/slovnične napake (lažni alarm). Orodje v dani enoti besedila ne prepozna obstoječe mehanske/slovnične napake. Nasveti in popravki (mehanske napake) Pravilen popravek Napačen popravek Napačen VIR napake Pravilen popravek (sprejet) Napačen popravek (sprejet) Orodje predlaga pravilen popravek za ustrezno zaznano mehansko napako. Orodje zaradi napačne zaznave mehanske napake (lažni alarm) predlaga napačen popravek. Orodje zazna obstoj določene mehanske napake, vendar poda predlog popravka za napačno vrsto napake. Sprejme pravilen popravek za ustrezno zaznano mehansko napako (popravi sam ali s pomočjo orodja). Sprejme napačen popravek zaradi napačnega vira napake ali napačne zaznave (popravi sam ali s pomočjo orodja)._ Nasveti in popravki (slovnične napake) Uporaben nasvet Nejasen nasvet Napačen nasvet Orodje poda uporaben nasvet, ki omogoča pravilno popravljanje ustrezno zaznane slovnične napake. Orodje poda nejasen nasvet, ki oteži pravilno popravljanje ustrezno zaznane slovnične napake. Orodje zaradi napačne zaznave slovnične napake (lažni alarm) poda napačen nasvet. Napačen VIR napake Uporaben nasvet (sprejet) Napačen nasvet (sprejet) Orodje zazna obstoj določene slovnične napake, vendar poda nasvet za napačno vrsto napake. Sprejme uporaben nasvet za ustrezno zaznano slovnično napako (popravi sam ali s pomočjo orodja). Sprejme napačen nasvet zaradi napačnega vira napake ali napačne zaznave (popravi sam ali s pomočjo orodja)._ Odnos do nasvetov in popravkov Neupoštevanje popravkov (neznana beseda) Ni končnega pregleda napak (število primerov) Posredno upoštevanje mehanskih/slovničnih popravkov Neposredno upoštevanje mehanskih/slovničnih popravkov Ne upošteva predloga popravka za neznano besedo (lastno ime, kraj ipd.). Ne pregleda zaznanih napak ob koncu prevajanja (v kolikšnem številu primerov?). Posredno upošteva predlog popravka za ustrezno zaznano mehansko/slovnično napako, pri čemer sam vnese popravek. Neposredno upošteva predlog popravka za ustrezno zaznano mehansko/slovnično napako, pri čemer orodje vnese popravek._ Tabela 2: Razlage podkategorij po sklopih posameznih kategorij. Uporabo dane tipologije je lažje ponazoriti s pomočjo primerov, zato bomo v nadaljevanju navedli tri primere razvrščanja napak. V prvem, enostavnem primeru se je udeleženec med prevajanjem v slovenščino zatipkal in namesto besede »pričakovati« zapisal »špričakovati«. Program je tipkarsko napako nemudoma prepoznal in podčrtal, udeleženec pa je z desnim klikom na besedo odprl ustrezen predlog popravka ter z levim klikom zatipkano besedo zamenjal z ustreznim zapisom. Ta izsek njegovega prevajalskega procesa smo na podlagi opisane tipologije obdelali v 4 logičnih korakih: 1. Udeleženec poskusa je besedo napačno zapisal, torej govorimo o mehanski napaki (vrsta napake: »napačen zapis besede (zatipkano)«). 2. Program je to mehansko napako zaznal, kar je razvidno iz podčrtave, ustreznost zaznave pa potrjuje predlog popravka. 3. Program je za to ustrezno zaznano mehansko napako podal pravilen predlog popravka (druga možnost bi bila, da orodje zaradi napačnega vira napake izpiše neustrezen predlog popravka). 4. Z levim klikom ponujenega predloga je udeleženec popravek sprejel, torej lahko v zadnjem koraku zabeležimo, da je udeleženec neposredno upošteval predlog popravka za dano mehansko napako. Drugi primer obdelave je težavnejši, saj smo se morali odločiti med uvrščanjem napake v eno od navidezno podobnih podkategorij Napačna zaznava napake in Napačen vir napake. Udeleženec poskusa je med prevajanjem izpustil piko pri navedbi datuma v slovenščini (primer: »Ljubljana, 17[.] september 2004«; krepki tisk označuje mesto napake, oglati oklepaji pa vsebujejo manjkajoče znake). Program je to mehansko napako zaznal, vendar jo je opredelil kot »neujemanje s pridevnikom«. To pomeni, da je program sicer ustrezno prepoznal obstoj določene vrste napake, vendar je napačno določil njen izvor. Na podlagi tega smo dano napako opredelili kot Ustrezna zaznava napake in Napačen vir napake. V tretjem primeru smo prikazali način uvrščanja napake v podkategorijo Napačna zaznave napake. Program je v naslednji enoti besedila »Morda je to zato, ker je bolj univerzitetno mesto kot pa prestolnica, saj kar okoli 27 % populacije predstavljajo študentje.« podčrtal krepko označeni zaimek in s tem nakazal domnevni obstoj slovnične napake. Iz predlaganega nasveta smo lahko razbrali, da program zaradi določenega pravila v podredjih pred »kar« predvideva vejico. To je jasen primer Napačne zaznave slovnične napake, ki posledično vodi v Napačen nasvet, kar lahko v skladu z ustaljenim strokovnim izrazjem tovrstnih raziskav poimenujemo »lažni alarm«. 6 ANALIZA IZSLEDKOV Na podlagi izsledkov, pridobljenih med izvedbo praktičnega poskusa, smo najprej preverili veljavnost hipoteze, da uporabniki slovničnih pregledovalnikov pogosteje upoštevajo predlagane popravke teh orodij pri prevajanju v tuji jezik v primerjavi s prevajanjem v materni jezik. Ob tem smo opazovali razmerje med številom popravkov, ki so jih udeleženci poskusa v času [42] prevajanja pri posameznem jeziku upoštevali, in številom vseh popravkov, ki so jih v poskusu uporabljena orodja ponudila. To razmerje smo ponazorili z naslednjima grafikonoma (N v vseh prikazih označuje velikost vzorca): 23 % □Vsi neupoštevani popravki □Vsi upoštevani popravki 77 % Grafikon 1: Upoštevanje predlaganih popravkov pri prevajanju v angleščino v odstotkih (N = 212). 44 % □Vsi neupoštevani popravki ■Vsi upoštevani popravki 56 % Grafikon 2: Upoštevanje predlaganih popravkov pri prevajanju v slovenščino v odstotkih (N = 177). Statistični podatki iz pričujočih grafikonov so potrdili veljavnost omenjene hipoteze, saj so udeleženci poskusa pri prevajanju v angleščino v dobrih 20 % več primerov upoštevali predloge popravkov kot pri prevajanju v slovenščino. Tudi deleža napačnih popravkov sta bila pri obeh jezikih primerljiva, s čimer smo ovrgli morebitne domneve, da je stopnja sprejemanja popravkov pri določenem jeziku nižja zaradi večjega števila neustreznih predlogov popravkov (prim. Grafikon 3 in Grafikon 4). 2 % 4 % £ 11 % 83 % □ Vsi nejasni nasveti □ Vsi napačni viri napak □ Vsi napačni popravki □ Vsi pravilni popravki Grafikon 3: Delitev predlaganih popravkov glede na njihovo ustreznost pri prevajanju v angleščino (N = 212). 0% 10% 11% 79% □ Vsi nejasni nasveti □ Vsi napačni viri napak □ Vsi napačni popravki ■ Vsi pravilni popravki Grafikon 4: Delitev predlaganih popravkov glede na njihovo ustreznost pri prevajanju v slovenščino (N = 177). Pri proučevanju uporabe slovničnih pregledovalnikov se kot objektivni merili za ugotavljanje učinkovitosti tovrstnih orodij najpogosteje uporabljata natančnost in priklic. Parameter natančnosti smo opredelili kot razmerje med ustrezno zaznanimi napakami in vsemi v besedilu zaznanimi napakami, medtem ko parameter priklica v dani raziskavi podaja razmerje med zaznanimi napakami in vsemi obstoječimi napakami v besedilu (Domeij, Knutsson in Severinson Eklundh 2002: 263). Izmerjene vrednosti obeh parametrov so prikazane v Grafikonu 5 in Grafikonu 6. 7 % □ Vse napačno zaznane napake □ Vse ustrezno zaznane napake 93 % Grafikon 5: Natančnost slovničnega pregledovalnika Besana v odstotkih (N = 122). 22 % □ Vse napačno zaznane napake ■ Vse ustrezno zaznane napake 78 % Grafikon 6: Natančnost slovničnega pregledovalnika LanguageTool v odstotkih (N = 55). Iz teh grafikonov je razvidno, da je bila Besana pri ustreznem popravljanju napak v danem primeru bistveno natančnejša od LanguageToola, saj je ta v primerjavi z Besano zaznane napake ustrezno popravil v 15 % manj primerov. Na ravni odkrivanja napak med obema orodjema ni bilo opaziti večjih razlik, saj sta obe zaznali dobri dve tretjini vseh napak, ki so jih vsebovali prevodi udeležencev (prim. Grafikon 7 in Grafikon 8). 32 % 68 % □ Vse nezaznane obstoječe napake □ Vse zaznane napake Grafikon 7: Priklic slovničnega pregledovalnika Besana v odstotkih (N = 180). 39 % □ Vse nezaznane obstoječe napake ■ Vse zaznane napake 61 % Grafikon 8: Priklic slovničnega pregledovalnika LanguageTool v odstotkih (N = 90). Razliko v natančnosti in priklicu med obema pregledovalnikoma je mogoče pripisati temu, da je Besana kot plačljivo orodje pri razvoju deležna precej večje finančne in strokovne podpore kot prosto dostopno odprtokodno orodje LanguageTool. Poleg tega je mogoče domnevati, da bi LanguageTool ob večjem vzorcu napak verjetno pridobil nekaj več odstotkov na ravni natančnosti in priklica. Čeprav je slovnične pregledovalnike zaradi razlik v slovničnih zakonitostih med jeziki, sestavi in velikosti vzorca ter stopnji zahtevnosti posameznih napak težko primerjati med seboj, je vseeno mogoče trditi, da tako Besana kot tudi LanguageTool v primerjavi s tovrstnimi orodji za druge jezike dosegata zadovoljivo raven natančnosti in priklica. Slovnični pregledovalnik BonPatron za francoščino ima na primer 91-% natančnost in 88-% priklic, Granska za švedščino 82-% natančnost in 63-% priklic, medtem ko ima slovnični pregledovalnik za švedščino v Wordu 2000 le 47-% natančnost in 66-% priklic (Burston 2008: 341; Carlberger idr. 2004: 14). Parameter zanesljivosti smo pri opazovanju uporabe omenjenih slovničnih pregledovalnikov za slovenščino opredelili kot razmerje med predlogi popravkov, ki uporabnika tako posredno kot tudi neposredno vodijo do ustrezne rešitve, in vsemi predlogi popravkov, ki jih je posamezno orodje ponudilo (prim. Grafikon 9 in Grafikon 10). 15 % 85 % □ Vsi napačni predlogi popravkov □ Vsi ustrezni predlogi popravkov Grafikon 9: Zanesljivost slovničnega pregledovalnika Besana v odstotkih (N = 122). 36 % 64 % □ Vsi napačni predlogi popravkov IVsi ustrezni predlogi popravkov Grafikon 10: Zanesljivost slovničnega pregledovalnika LanguageTool v odstotkih (N = 55). Izsledki te primerjave so pokazali, da je bila Besana v tem primeru precej zanesljivejša od LanguageToola, saj je napake uspešno zaznala in popravila v dobrih 20 % primerov več kot LanguageTool. Možne razloge smo navedli v predhodnem odstavku. Z vidika učinkovitosti orodij za slovnično pregledovanje smo proučevali tudi način uporabe tovrstnih orodij. Domnevali smo, da bodo nekateri uporabniki orodij med svojim prevajalskim delom v okviru poskusa predloge popravkov večkrat upoštevali neposredno, drugi pa pogosteje posredno. Ob tem smo se opirali tudi na lastne izkušnje pri pregledovanju besedil s pomočjo tovrstnih orodij, saj smo običajno pogosteje sami vnašali popravke, čeprav so bili predlogi orodij večinoma ustrezni. V določeni meri smo s tem verjetno želeli okrepiti zaupanje v lastni jezikovni čut, v večji meri pa se nam je zdelo pregledovanje predlogov popravkov z desnim klikom zamudnejše od neposrednega popravljanja posameznih napak. Pridobljeni podatki prikazujejo razmeroma veliko odstopanje v načinu uporabe slovničnih pregledovalnikov glede na posamezni jezik (prim. Grafikon 11 in Grafikon 12). 5 3 % r——-4' % □ Vsi neposredno upoštevani popravki □ Vsi posredno upoštevani popravki Grafikon 11: Način upoštevanja popravkov pri prevajanju v angleščino v odstotkih (N = 163). 17 % 83 % □ Vsi neposredno upoštevani popravki ■ Vsi posredno upoštevani popravki Grafikon 12: Način upoštevanja popravkov pri prevajanju v slovenščino v odstotkih (N = 99). Izsledki, predstavljeni v zgornjih grafikonih, potrjujejo veljavnost omenjene predpostavke, pri čemer je treba poudariti, da so udeleženci poskusa pri prevajanju v angleščino v kar 30 % manj primerov kot pri prevajanju v slovenščino samostojno vnašali popravke posameznih napak. Ta podatek lahko pripišemo nižji ravni jezikovnega znanja angleščine pri posameznih udeležencih, ki bi jim samostojno popravljanje ustrezno zaznanih napak, zlasti tistih, povezanih z napačnim zapisom angleških izrazov, vzelo precej več časa pri prevajanju kot pa neposredno upoštevanje ustreznih predlogov slovničnega pregledovalnika. Poleg tega so udeleženci poskusa v skladu s pričakovanji pri prevajanju v materni jezik bolj zaupali v svoje jezikovne sposobnosti, zato so pogosteje sami popravljali zaznane napake. Na podlagi te ugotovitve lahko potrdimo pogosto omenjeno spoznanje v sorodnih raziskavah, da je učinkovitost uporabe slovničnih pregledovalnikov v veliki meri odvisna od načina uporabe in jezikovnega znanja uporabnika (Wei in Davies 1997; Tschichold idr. 1997). Posredni način dela z orodjem je primernejši za uporabnike z jezikovno ravnijo maternih govorcev, medtem ko lahko uporabniki z nizko ravnijo jezikovnega znanja s pridom izrabijo neposredni način pregledovanja in vnašanja popravkov. Praktično uporabnost obeh slovničnih pregledovalnikov za slovenščino, Besane in LanguageToola, smo proučevali med obdelavo izsledkov poskusa in preverjanjem načinov delovanja različnih programskih oblik obeh orodij, dodatne informacije pa smo pridobili tudi s pomočjo intervjujev z glavnima razvijalcema obeh orodij. Obe orodji je mogoče uporabljati v obliki dodatkov k urejevalnikom besedil ali kot samostojna programa, pri čemer imata oba načina uporabe svoje prednosti in slabosti. Pri obeh orodjih je namreč raven natančnosti in zanesljivosti višja, če ju uporabljamo kot samostojna programa, saj se stavčna analiza, na kateri temelji preverjanje, v tem primeru izvede na dokončanih povedih (Jurišic 2013: 37). Med pisanjem besedil v urejevalniku orodji slovnično ustreznost preverjata sproti - na nedokončanih povedih -, zato je število možnih interpretacij posameznih kombinacij besed neprimerno večje, kar zmanjša natančnost analize in s tem tudi ustrezno zaznavo napak (Jurišic 2013: prav tam). Kljub temu je sprotno preverjanje slovnice za uporabnika časovno ugodnejše, saj je pri uporabi orodja v obliki samostojnega programa popravke v besedilo treba vnesti ročno, kar je pri daljšem besedilu precej zamudno. Ena od vidnejših šibkosti obeh orodij je tudi ta, da lahko slovnično manj veščega uporabnika hitro zavedeta z lažnim alarmom (to pomeni, da orodje javi napako v popolnoma pravilni povedi). Ti primeri so pogosto vodili v dejanske napake, ki so jih uporabniki zagrešili med tem, ko so poskušali popraviti domnevno napako. LanguageTool je na primer v stavku »saj je kar 27 % prebivalcev univerzitetnih študentov« napačno predlagal manjkajočo vejico, ker je členek »kar« interpretiral kot veznik. Udeleženec poskusa je njegov predlog popravka upošteval in s tem storil dejansko napako. Kljub omenjenim šibkostim na ravni delovanja in uporabe posameznih programskih oblik obeh orodij je mogoče trditi, da uporaba obeh orodij udeležencem poskusa ni povzročala večjih težav, temveč je v številnih primerih pripomogla k višji kakovosti njihovega prevajalskega dela. 7 ZAKLJUČEK V pričujočem prispevku smo predstavili obstoječi orodji za slovnično pregledovanje v slovenščini, Besano in LanguageTool, ter njuno uporabo analizirali z vidika parametrov natančnosti, zanesljivosti in praktične uporabnosti. Ob tem se je Besana izkazala za natančnejšo in zanesljivejšo od LanguageToola, medtem ko na ravni praktične uporabnosti med obema orodjema ni bilo mogoče zaznati bistvenih razlik. Prav tako smo potrdili pomembnost razlik na ravni uporabe slovničnih pregledovalnikov, ki so povezane z ravnijo jezikovnega znanja uporabnika. Preverili in potrdili smo hipotezo, da uporabniki obeh obravnavanih orodij pogosteje zaupajo predlaganim popravkom pri prevajanju v tuji jezik v primerjavi s prevajanjem v materni jezik. Poleg tega smo razvili tipologijo posameznih kategorij napak, ki je lahko v pomoč pri nadaljnjih raziskavah o uporabi slovničnih pregledovalnikov z vidika empirično lažje ali težje izmerljivih parametrov. Obravnavana slovnična pregledovalnika bi bilo mogoče izboljšati s prilagajanjem njunih pristopov k prepoznavanju napak in predlaganju [50] popravkov za uporabnike z različnimi ravnmi jezikovnega znanja (na primer manjša natančnost in večji priklic za materne govorce jezika in obratno za nematerne govorce). Prav tako bi metodo izvedbe poskusa lahko nadgradili z uvedbo vprašalnikov za udeležence, s čimer bi parametre opazovanja, kot sta na primer odnos uporabnikov do popravkov in praktična uporabnost, dopolnili z dejanskimi uporabniškimi izkušnjami. Poleg tega bi lahko v poskusu uporabljeno vsebinsko splošnejše gradivo nadomestili s strokovnimi besedili. Ob tem bi lahko proučevali učinkovitost obeh obravnavanih orodij pri odkrivanju in popravljanju napak v besedilih na (predvidoma) višji ravni rabe jezika. Ob koncu želimo izpostaviti, da je metodo snemanja zaslona mogoče uporabiti tudi za proučevanje dejanskega prevajalskega procesa. Ob tem je na primer mogoče opazovati iskanje prevodnih ustreznic pri težjih delih izvirnika in načine uporabe slovarjev ter s tem povezano raven informacijske pismenosti v povezavi s hitrostjo in kakovostjo prevajanja. LITERATURA Amebis Besana - Datoteka s pomočjo. Priloga programskemu paketu Amebis Besana (26. 3. 2013). Burston, J. (1996): A comparative evaluation of French grammar checkers. CALICO Journal, 13 (2-3): 104-111. Burston, J. (2008): BonPatron: An Online Spelling, Grammar, and Expression Checker. CALICO Journal, 25 (2): 337-347. Carlberger, J., Domeij, R., Kann, V., in Knutsson, O. (2004): The development and performance of a grammar checker for Swedish: A language engineering perspective. Natural Language Engineering, 1 (1): 1-17. Connors, R., in Lunsford, A. (1992): Frequency of Formal Errors in Current College Writing, or Ma and Pa Kettle Do Research. V Connors, R., in Glenn, C. (ur.): The St. Martin's Guide to Teaching Writing. 2. izdaja. New York: St. Martin's. Izvorno objavljeno v: Connors, R., in Lunsford, A., 1988: Frequency of Formal Errors in Current College Writing, or Ma and Pa Kettle Do Research. College Composition and Communication, 39 (4): 395-409. Domeij, R., Knutsson, O., in Severinson Eklundh, K. (2002): Different ways of evaluating a Swedish grammar checker. Proceedings of the 3rd International Conference Language Resources and Evaluation (LREC 2002): 262-267. Las Palmas. Helfrich, A., in Music, B. (2000): Design and evaluation of grammar checkers in multiple languages. COLING '00 Proceedings of the 18th conference on Computational linguistics. Zvezek 2: 1036-1040. Stroudsburg, Pensilvanija: Association for Computational Linguistics. Holozan, P. (2012):. Kako dobro programi popravljajo vejice v slovenščini. V Erjavec, T., in Žganec Gros, J. (ur.): Zbornik Osme konference Jezikovne tehnologije: 101-106. Ljubljana: Inštitut Jožef Stefan. Holozan, P. (24. 1. 2013): Osebni pogovor. Kamnik. Jurišic, M. (2013): Slovnični pregledovalniki za slovenščino - pregled in uporaba: Magistrsko delo. Ljubljana: Filozofska fakulteta. Kies, D. (2008): Evaluating Grammar Checkers. A Comparative Ten-Year Study. Proceedings of the 6th International Conference on Education and Information Systems, Technologies and Applications: EISTA 2008. Dostopno prek: http://papyr.com/hypertextbooks/grammar/gramchek.htm (26. 2. 2013). Naber, D. (2003): A Rule-based Style and Grammar Checker. Bielefeld: Technische Fakultät, Universität Bielefeld. Primožič, P. (2005): Uporaba odprte kode kot osnova za razvoj programske opreme: Diplomsko delo. Ljubljana: Fakulteta za računalništvo in Slovenščina 2.0, 1 (2015) informatiko. Tschichold, C., Bodmer, F., Cornu, E., Grosjean, F., Grosjean, L., Kübler, N., Lewy, N., in Tschumi, C. (1997): Developing a New Grammar Checker for English as a Second Language. Proceedings of the From Research to Commercial Applications: Making NLP Work in Practice Workshop: 7-12. Madrid. Trost, H. (2004): Morphology. V Mitkov, R. (ur.): The Oxford Handbook of Computational Linguistics: 25-47. Oxford: Oxford University Press. Wei, Y. H., in Davies, G. (1997): Do grammar checkers work? V Kohn, J., Rüschoff, B., in Wolff, D. (ur.): New horizons in CALL: Proceedings of EUROCALL 96. Szombathely: Daniel Berzsenyi College. Dostopno prek: http://www.camsoftpartners.co.uk/euro96b.htm (21. 12. 2012). Voutilainen, A. (2004): Part-of-speech Tagging. V Mitkov, R. (ur.): The Oxford Handbook of Computational Linguistics: 219-239. Oxford: Oxford University Press. SPLETNI VIRI Amebis Besana - Kratka zgodovina Besane. Dostopno prek: http://web. archive.org/web/20080708234252/http://besana.amebis.si/zgodovina (4. 3. 2013). LanguageTool Changelog. Dostopno prek: http://www.languagetool.org/ download/CHANGES.txt (26. 2. 2013). LanguageTool Supported Languages. Dostopno prek: https://languagetool. org/languages/ (26. 2. 2013). Vse o Odprti kodi - COKS - Center odprte kode Slovenije. Dostopno prek: http://www.coks.si/index./Vse_o_Odprti_kodi (30. 1. 2013). Slovenščina 2.0, 1 (2015) PRILOGI PRILOGA 1: IZVIRNI BESEDILI_SLO/AN Slovensko izvirno besedilo "Preseli se v Ameriko, in to čim prej," mi je med poletom iz Londona proti Vancouvru v zanosu svetoval zgovoren Američan, ki je po zunanjem videzu še najbolj spominjal na Davida Hasselhofa. "Spet nekdo, kije prepričan, da v Slovenijijemo ščurke," sem dejal Maretu in Silvu, ko sem se vrnil na svoj sedež. Menda tega ne bomo poslušali cela dva meseca, ko bomo prek zahodnega dela Združenih držav kolesarili od Kanade do Mehike?! Niti ta bojazen niti ona, da nas bodo na poti na primer oropali ali celo pobili, se ni uresničila. Med 7-tedenskim kolesarjenjem smo se znova in znova lahko prepričali, da ZDA kot nevarna država slovijo predvsem po zaslugi filmov. Vsaj v redko poseljenih državah smo se počutili varne kot doma. Če ljudje niti stanovanj ne zaklepajo, zakaj bi mi kolesa in zakaj ne bi noči preživljali v najbolj luksuznem hotelu na svetu - pod zvezdami? Angleško izvirno besedilo It isn't what you would expect from a former communist country (drab with pockets of faded grandeur). A couple of distant tower blocks mar the skyline east along the Ljubljanica, but most of the 50s and 60s architecture is surprisingly good. And no other ex-communist state has such an air of affluence, although it is hard to work out where the affluence comes from. There is not much evidence of money making. Much of the country is forest, and agriculture is picturesque rather that intensive. People seem to spend a lot of their time talking and laughing in cafes. You would also expect a post-communist country to be enthusiastically embracing materialism, but Ljubljana has a nicely old-fashioned radicalism, almost a 60s bohemian air. Perhaps this is because it is more a university town than a capital, with nearly a quarter of the 250,000 population being Slovenščina 2.0, 1 (2015) university students. Opomba k besediloma: Krepko označena mesta so bila med prilagajanjem besedila za potrebe poskusa izpuščena, ležeče označena mesta pa spremenjena. PRILOGA 2: PRILAGOJENI IZVIRNI BESEDILI_SLO/AN Slovensko prilagojeno izvirno besedilo BESEDILO 1 »Dovoli mi, da ti dam nasvet - preseli se v Ameriko,« mi je med poletom v Vancouver dejal zgovoren Američan, ki me je po videzu spominjal na Davida Hasselhofa. »Še en tipični Američan,« sem dejal prijateljema, ko sem se vrnil na svoj sedež. Menda tega ne bomo poslušali cel avgust, ko bomo prek zahodnega dela Združenih držav kolesarili od Kanade do Mehike (kar 2.800 km)? Niti ta strah niti oni, da nas bodo na poti na primer oropali ali celo pobili, se ni uresničil. Med 7-tedenskim kolesarjenjem smo se lahko prepričali, da ZDA kot nevarna država slovi predvsem zaradi filmov. Podobno kot doma smo se tudi tu počutili varne. Če ljudje niti stanovanj ne zaklepajo, zakaj bi mi kolesa? Zakaj ne bi toplih noči (v 90 % primerov nad 16 °C) preživljali v najbolj razkošnem hotelu na svetu - pod zvezdami? Angleško prilagojeno izvirno besedilo BESEDILO 2 Ljubljana, 17 September 2004 - After talking to Russell who has already been to Slovenia, I decided to visit Ljubljana on my way to Bydgoszcz. It isn't what you would expect from a former communist country. A couple of distant tower blocks mar the skyline east along the Ljubljanica, but most of the 50s and 60s architecture is surprisingly good. And no other ex-communist state has such an air of affluence, although it is hard to work out where the affluence comes from, as there is not much evidence of money making. Around 58% of the country is covered in forest, and agriculture is picturesque rather than intensive. You would expect a post-communist country to be enthusiastically embracing materialism, but Ljubljana has a nicely old-fashioned radicalism. Perhaps this is because it is more a university town than a capital, with nearly 27% of the 250,000 population being university students. GRAMMAR CHECKERS FOR SLOVENIAN: INTRODUCTION AND USE ANALYSIS The widespread application of word processors entails the use of grammar checkers. These tools are frequently employed by professional as well as unskilled language users. Some of the unskilled users, including pupils and students, tend to use such tools as an aid for their poor grammar knowledge. Therefore, questions are to be addressed concerning the efficiency and practical usefulness of such tools. The paper focuses on the analysis of the existing grammar checkers for Slovenian, namely Besana and LanguageTool, in terms of their precision, reliability, and practical usefulness. Firstly, both grammar checkers are briefly introduced emphasizing the crucial differences between them in terms of duration in their development as well as with regard to their financial and technical support. This is followed by a detailed description of the methods and materials used to design a practical experiment. In the experiment, the tools are examined from the point of view of the listed parameters when translating from Slovenian into English and from English into Slovenian. In addition, a hypothesis is also assessed claiming that the users of these tools trust the suggested error corrections more often when translating into a foreign language compared to translating into their mother tongue The findings are analysed using a typology of individual error categories developed specifically for this purpose. The results confirm the hypothesis tested and indicate a relatively high level of precision and reliability of both Besana and Languagetool, thus justifying the use of both grammar checkers for Slovenian. Nevertheless, they also suggest some possible upgrades to the tools discussed concerning their approach to error detection and their ability to suggest errors for users with varying levels of language competence. Keywords: grammar checker, Besana, LanguageTool, Slovenian, analysis To delo je ponujeno pod licenco Creative Commons: Priznanje avtorstva-Deljenje pod enakimi pogoji 2.5 Slovenija. This work is licensed under the Creative Commons Attribution ShareAlike 2.5 License Slovenia. http://creativecommons.org/licenses/by-sa/2.5/si/