Informationstheorie

Mathematisches Rahmenwerk, das den Gehalt und die Unsicherheit stochastischer Datenquellen quantifiziert und die fundamentalen Grenzen für Kompression, Übertragung und Rekonstruktion dieser Daten unter gegebenen probabilistischen Modellen angibt (z. B. Entropie für Quellunvorhersehbarkeit; wechselseitige Information und Kanalkapazität für Kommunikationsgrenzen).