Entropia

Le entropia^[1] es un mesura del disordine de un systema. Un systema tende a transformar se spontaneemente de un stato de ordine, o de basse entropia, ad un stato de maxime disordine, o de alte entropia. Le entropia de un systema es connexe al quantitate de information que illo contine. Un systema multo ordinate pote esser describite con minus de bits de information que un systema disordinate. Per exemplo, un serie continente dece 0s (zeros) pote esser describite usante un codice tanto simple como (0,10). Ma un serie de symbolos qualcunque, e.g. bits o typos, esserea plus difficile, si non impossibile, a comprimer de iste maniera. Per exemplo, un serie continente tres 1s e septe 0s requirerea additional etiquettas pro esser codificate, assi (0011001000) esserea codificate in (0,2,1,2,1,2,1,1,1,2) con nulle avantage. Isto es assi proque il ha solmente un combination pro le prime serie, e.g. (0000000000), ma il ha ${\displaystyle {\frac {10!}{3!7!}}}$ = 120 combinationes pro le secunde serie, e.g. (1110000000), (1101000000), etc.

Le formula de Shannon

${\displaystyle S(M)=-\log _{2}p(M)}$

da le entropia ${\displaystyle S(M)}$ de un message ${\displaystyle M}$ in bits, essente ${\displaystyle p(M)}$ le probabilitate del message ${\displaystyle M}$. Assi, le probabilitate del message prime ${\displaystyle M_{1}}$' constituente de un serie de dece 0s es equal al unitate e ${\displaystyle S(M_{1})=\log _{2}(1)=0}$. Le probabilitate del message ${\displaystyle M_{2}}$ constituite de tres 1s e septe 0s es ${\displaystyle p(M_{2})={1 \over 120}}$, e le entropia de iste message es ${\displaystyle S(M_{2})=-\log _{2}\left({\frac {1}{120}}\right)=6,9}$.

In un verso traditional anglese, Humpty Dumpty es un ovo anthropomorphe que non pote esser restaurate a un stato de ordine post un cadita

1. ↑ Derivation (in ordine alphabetic): (ca) Entropia || (de) Entropie || (en) Entropy || (es) Entropía || (fr) Entropie (thermodynamique) || (it) Entropia || (pt) Entropia || (ro) Entropie || (ru) Энтропия