Théorème de Shannon–McMillan–Breiman

Pour un processus stochastique discret stationnaire et ergodique {X_i} à alphabet fini et mesure de probabilité P, le logarithme normalisé de la vraisemblance des réalisations de longueur n converge presque sûrement vers le taux d'entropie H : lim_{n→∞} -(1/n) log P(X1..Xn) = H. Cette formulation exprime la propriété d'équipartition asymptotique pour les sources stationnaires ergodiques.