Teoria de la Informació publicada per Shannon (1948)
Vídeo que ho introdueix de la millor manera possible
Fórmules
Informació condicional
Propietats
Divergència de Kullback-Leibler
Quan nosaltres tenim 1 distribució de probabilitat, podem fer servir diverses “mesures matemàtiques” per saber com d’ample és la distribució, la més coneguda i la que sol ser convenient en la majoria de casos és la “Desviació Estàndard”, però en hi ha d’altres
Al mateix temps, quan enlloc de 1 distribució de probabilitat, en tenim 2, i volem saber quina “distància” hi ha entre elles, ho podem fer de diverses maneres. La més coneguda i útil en la teoria de la informació és la divergència de “Kullback-Leibler”.
Ens ajudarà a mesurar una “Entropia relativa” entre dos sistemes.
Cas discret
Cas continu
Propietats
Visualització
Al final dels següents apunts hi ha una visualització interactiva
KL divergence - 공돌이의 수학정리노트 (Angelo's Math Notes)KL divergence - 공돌이의 수학정리노트 (Angelo's Math Notes)
What KL divergence tells you: The Discrepancy Between Reality and ExpectationsprerequisitesIn order to understand the contents of this post, it is recommende...