Entropierate

Die Entropierate (englisch entropy rate) ermöglicht in der Informationstheorie unabhängig von der Länge einer Nachricht eine Messung der Entropie bezogen auf ein Zeichen.

Formal lässt sie sich folgendermaßen definieren:

${\displaystyle H_{\mathrm {Rate} }={\frac {1}{n}}H(X_{1},...,X_{n})}$ ${\displaystyle =-{1 \over n}\sum _{x_{1},...,x_{n}}p(x_{1},...,x_{n})\log p(x_{1},...,x_{n})}$.

Hierbei ist ${\displaystyle n}$ die Anzahl der Zeichen der Nachricht bzw. die Anzahl der Zufallsvariablen.

Die Entropierate ermöglicht einen Vergleich der Entropien von Nachrichten unterschiedlicher Länge.