Teorema de Shannon–McMillan–Breiman

Para un proceso estocástico discreto, estacionario y ergódico {X_i} sobre un alfabeto finito con medida de probabilidad P, el logaritmo normalizado de la probabilidad de realizaciones de longitud n converge casi seguro hacia la tasa de entropía H: lim_{n→∞} -(1/n) log P(X1..Xn) = H. Esta es la forma de la propiedad de equipartición asintótica para fuentes estacionarias ergódicas.