Taux D'Entropie

La moyenne à long terme d'information de Shannon produite par symbole d'un processus stochastique, définie classiquement comme la limite H = lim_{n→∞} (1/n) H(X1,...,Xn) ou équivalente H = lim_{n→∞} H(Xn | X1,...,Xn−1) lorsque la limite existe.

Information de Shannon moyenne asymptotique par symbole produit par une source stochastique de langage : formellement la limite de l'entropie conditionnelle par symbole H(X_n | X_{n-1}, X_{n-2}, ...) pour un processus stochastique stationnaire ou, plus généralement, l'information attendue par symbole sous le modèle de source et le régime d'échantillonnage spécifiés.