Relativna entropija kot mera presenečenja - Virk, Žiga (Obzornik za matematiko in fiziko, 2023)
Skozi interpretacijo teorije informacij razložimo, kako merimo količino informacij, povprečno količino informacij (entropijo) ter presenečenja, ki izhajajo iz dolžin sporočil. Mera presenečenja je poznana pod različnimi imeni: relativna entropija, Kullback-Leiblerjeva divergenca...
Keywords: coding theory; measure of surprise; mera presenečenja; relative entropy; relativna entropija; teorija informacij