Formula Hartley și Shannon - studopediya

Diferite metode de evaluare a cantității de informații.

În 1928, un inginer american Ralf Hartli a văzut procesul de obținere a informațiilor ca o alegere a unui mesaj dintr-un set preasignată finit de N mesaje la fel de probabile, iar cantitatea de informație conținută în I. Mesajul selectat este definit ca un logaritm binar de N.

Ca un exemplu, ia în considerare problema Formula Hartley. Să presupunem că trebuie să ghicească numărul de unul dintr-un set de numere una la sută. Conform formulei Hartley vă puteți calcula cantitatea de informație necesară pentru acest lucru: I = log2 100 = 6.644. Astfel, pentru ghicitul corect numărul mesajului conține cantitatea de informații de aproximativ 6.644 de unități de informații.

Acum, ia în considerare o altă problemă: sunt mesaje la fel de probabile „primul venit din ușile femeii de construcție“ și „primul care a ieșit din ușile clădirii unui om.“ răspunsul la această întrebare nu poate fi clar. Totul depinde de ce fel de clădire este în cauză. Dacă este, de exemplu, stația de metrou, atunci probabilitatea este aceeași pentru bărbați și femei, iar în cazul în care este o cazarmă militară, pentru bărbați, această probabilitate este mult mai mare decât în ​​cazul femeilor.

Pentru aceste sarcini, savantul american Klod Shennon a propus în 1948 o formulă diferită pentru determinarea cantității de informații care să ia în considerare posibila probabilitatea inegală a mesajelor în set.

unde pi - probabilitatea ca exact al i-lea mesaj este alocat la setul de mesaje N.

Este ușor de observat că în cazul în care p1 de probabilitate. pN egale, atunci fiecare dintre ele este de 1 / N. și Shannon Formula este transformata in formula Hartley.