Generative AI in pragmatics : assessing the accuracy of automated speech act classification in Pinter’s The birthday party

angleški

2025

letnik 22, številka 1

analiza govornih dejanj   ChatGPT   DeepSeek   Gemini   pragmatika   umetna inteligenca

Univerza v Ljubljani, Filozofska fakulteta
(Obvezni izvod spletne publikacije)

Študija raziskuje smiselnost rabe generativne umetne inteligence (ChatGPT, Gemini in DeepSeek) za avtomatizacijo anotacije govornih dejanj v Pinterjevi drami Zabava za rojstni dan. Trije klepetalni roboti - ChatGPT, Gemini in DeepSeek - so bili testirani v treh scenarijih, ki so se razlikovali glede na obseg predloženega teoretičnega gradiva. Rezultati vsakega klepetalnega robota so bili primerjani z ročno anotirano različico s pomočjo Python skripte, ki je izmerila natančnost klasifikacije. Scenarij 2 je na splošno dosegel najvišjo natančnost (75-82 %), medtem ko je bil scenarij 1 zaradi neustreznega zanašanja na tuje tipologije preslab, scenarij 3 pa je kazal znake preprileganja (angl. overfitting). ChatGPT o1 se je izkazal za najnatančnejši model, saj je v scenariju 2 dosegel 82-odstotno zanesljivost. Ugotovitve kažejo, da lahko klepetalni roboti GEN-UI služijo kot koristni predhodni anotatorji, če so na voljo dobro zasnovani pozivi in dobro pripravljeno teoretično gradivo. Prihodnje raziskave bi lahko to metodologijo razširile na besedila, ki so bolj odvisna od konteksta, nadalje izpopolnile strategije inženiringa pozivov in raziskale večje jezikovne korpuse.

12.02.2026