Shannon–McMillan–Breiman-Theorem

Für einen diskreten, stationären und ergodischen stochastischen Prozess {X_i} über einem endlichen Alphabet mit Wahrscheinlichkeitsmaß P konvergiert der normalisierte Logarithmus der Wahrscheinlichkeit einer Länge-n-Ausprägung fast sicher gegen die Entropierate H: lim_{n→∞} -(1/n) log P(X1..Xn) = H. Dies ist die asymptotische Equipartitionseigenschaft für stationäre ergodische Quellen.