Shannon Formula 3

În 1928, inginerul american R. Hartley a propus abordare științifică pentru evaluarea mesajelor. formula propusă de el a fost după cum urmează:

I = log2 K. unde K - numărul de evenimente la fel de probabil; I - numărul de biți în mesaj, astfel încât oricare dintre evenimente K se întâmplă. Uneori Hartley formula scrisă ca:

I = log2 K = log2 (1 / p) = - .. Log2 p, pentru fiecare dintre K evenimentelor asociate echiprobabile are p = 1 / K, K = 1 / p.

Mingea este într-una din cele trei cutii: A, B sau C. Pentru a determina cât de multe biți de informație conține un mesaj care este în urnă B.

Acest mesaj conține I = log2 3 = 1585 biți de informație.

Dar nu toate situațiile au aceeași probabilitate de realizare. Există mai multe astfel de situații în care probabilitatea de punere în aplicare variază. De exemplu, dacă arunci o monedă sau asimetric „regula de tip sandwich.“

„O dată în copilărie am scăzut un sandwich uitam mi șterge pata de ulei rămasă cu vinovatie pe podea, fratele mai mare ma mângâiat .:

- nu vă faceți griji, aceasta va funcționa legea sandwich.

- Ce fel de lege e asta? - l-am întrebat.

- Legea, care prevede: „Un sandwich cade întotdeauna partea de unt în jos.“ Cu toate acestea, a fost o glumă, - a continuat brat.- nici o lege nr. Prsto tip sandwich într-adevăr se comportă destul de ciudat: cea mai mare parte de ulei este în partea de jos.

- Să luăm câteva ori a scăzut sandwich, verifica - am sugerat. - Tot la fel, pentru că va trebui să arunce afară.

Am verificat. Opt din zece ori sandwich a scăzut cu unt în fața în jos.

Și apoi m-am gândit: este posibil să se cunoască în prealabil, așa cum este acum va cădea unt de tip sandwich în sus sau în jos?

Experimentele noastre întrerupt de mama ... „(Extras din cartea“ Secretul mari generali „V.Abchuk).

În 1948, un inginer american și matematician Shannon a propus o formulă de calcul cantitatea de informații pentru evenimente cu diferite probabilități. Dacă I - cantitatea de informații K - numărul de evenimente posibile, pi - probabilități ale evenimentelor individuale, cantitatea de informații pentru evenimente cu diferite probabilități pot fi determinate conform formulei:

I = - Suma pi log2 pi. unde i ia valorile 1 K.

Formula Hartley poate fi acum privit ca un caz special cu formula Shannon:

I = - Suma 1 / log2 (1 / K) = I = log2 K.

În evenimente echiprobabile a primit suma maximă de informații.

Sarcini. 1. Se determină cantitatea de informații obținute prin punerea în aplicare a unuia dintre evenimentele dacă aruncarii a) o piramidă tetraedrică asimetric; b) o piramidă cu patru laturi simetrică și uniformă. Decizie. a) Vom arunca o piramida asimetric cu patru laturi. Probabilitatea de evenimente individuale va fi după cum urmează: p1 = 1/2, p2 = 1/4, p3 = 1/8 P 4 = 1/8, în timp ce cantitatea de informații obținute după punerea în aplicare a unuia dintre aceste evenimente sunt calculate conform formulei: I = - ( 1/2 log2 1/2 + 1/4 log2 1/4 + 1/8 log2 1/8 + 1/8 log2 1/8) = 1/2 + 2/4 + 3/8 + 3/8 = 14/8 = 1,75 (biți). b) Acum calcula cantitatea de informație care se obține atunci când aruncarea piramida tetraedric simetrică și uniformă: I = log2 4 = 2 (biți). 2. Probabilitatea evenimentului porului este de 0,5, iar a doua și a treia de 0,25. Cât de mult informațiile pe care le obține, după punerea în aplicare a unuia dintre ele? 3. Cât de multe informații vor fi obținute în jocul de ruletă cu 32 de sectoare?

Fiziologii și psihologii au învățat cum să se determine cantitatea de informații pe care oamenii pot percepe prin simțuri, pentru a păstra în minte și să fie tratate. Informațiile pot fi în diferite forme. Sunet, semn și altele considerate mai sus, metoda de determinare a cantității de informații primite în mesajele care reduc incertitudinea cunoștințelor noastre, luând în considerare informațiile referitoare la poziție din conținutul său de noutate și inteligibilitate pentru individ. Din acest punct de vedere, în experiența de zaruri turnate aceeași cantitate de informații conținute în mesajele, „doi“, „cu fața în sus a scăzut la care două puncte“ în cubul căzut imagine vizuală.

Având în vedere că alfabetul (setul de caractere sistem de semne) - un eveniment, apariția unuia dintre caracterele din mesajul poate fi privit ca fiind unul dintre statele evenimentului. În cazul în care apariția de caractere cu probabilitate egală, este posibil să se calculeze câți biți de informație efectuate de către fiecare simbol. Capacitatea de informare este determinată de numărul de caractere din alfabetul. Decât mai multe caractere include alfabetul, cu atât mai mare cantitatea de informații poartă o marcă. Numărul total de caractere alfanumerice se numește puterea alfabetului.

Moleculele de ADN (acid dezoxiribonucleic), compus din patru componente diferite (nucleotid), care formeaza alfabetul genetic. Capacitatea de informare a mărcii alfabet este:

I. 4 = 2, adică I = 2 biți.

Fiecare literă a alfabetului românesc (presupunând că e = f) conține informații de 5 biți (32 = 2 I).

În această abordare, un rezultat raportat prin aruncarea zarurilor. Obținem o cantitate diferită de informații pentru a calcula, înmulțiți numărul de caractere pe cantitatea de informații transportate printr-un singur caracter.

Cantitatea de informații care conține un mesaj codificat cu un sistem de semn, egală cu cantitatea de informații transportate de un singur caracter, înmulțit cu numărul de caractere din mesaj.