Formula lui Shannon

În cazul general. entropia H și numărul obținut prin eliminarea informațiilor incertitudine I depind de cantitatea inițială considerate variante de N și o probabilitățile apriorice ale fiecărei implementare P.

. și anume H = F (N. P). Calculul entropiei în acest caz, se bazează pe o formulă de Shannon. el a propus în 1948, în lucrarea „Teoria matematică a comunicării.“

În cazul particular. atunci când toate opțiunile sunt la fel de probabile. depinde numai de numărul de opțiuni avute în vedere, de exemplu, H = F (N). În acest caz, formula Shannon este mult simplificată și coincide cu formula Hartley. care a fost propus pentru prima dată de către inginerul american Ralfom Hartli în 1928, și anume, nu 20 de ani mai devreme.

Shannon Formula este următoarea:

Semnul minus în formula (1) nu înseamnă că entropia - negativ. Acest lucru se explică prin faptul că pi £ 1 prin definiție, iar logaritmul numărului de unități mai mici - negativ. Conform logaritmul proprietății. Prin urmare, această formulă poate fi scrisă în al doilea exemplu de realizare, fără semnul minus înainte de suma.

Acesta este interpretat ca numărul de informații private. obținută în cazul exemplului de realizare al i-lea. Shannon entropie în formula este o caracteristică secundară - speranța matematică a unei distribuții variabile aleatoare .

Un exemplu de calcul al formulei entropiei Shannon. Să într-o anumită parte a unității de angajați distribuite după cum urmează: ¾ - femeie, ¼ - bărbați. Apoi incertitudinea, de exemplu, dacă te întâlnești prima, care merg la instituția va fi calculată lângă cea prezentată în tabelul 1.