Divergencia de Kullback-Leibler

Definición

---

Se puede entender como la diferencia entre la Entropía de shannon y la Entropía cruzada. Pero también se puede calcular como

También se puede entender como una cierta distancia entre dos distribuciones pero donde no es simetrica, es decir