Divergence de Kullback–Leibler

Une mesure dirigée de divergence entre deux distributions de probabilité définie comme l'espérance selon la première distribution du logarithme du rapport de leurs densités ; quantifie la perte d'information logarithmique attendue lors de l'approximation d'une distribution par une autre.