Kullback–Leibler‑Divergenz

Ein gerichtetes Maß für die Diskrepanz zwischen zwei Wahrscheinlichkeitsverteilungen, definiert als Erwartungswert unter der einen Verteilung des Logarithmus des Verhältnisses ihrer Dichten; quantifiziert den erwarteten Log‑Verlust beim Approximieren einer Verteilung durch eine andere.