Abordarea probabilistă la evaluarea cantității de informații

În centrul lumii noastre se bazează pe trei componente: materie, energie și informare. La fel ca mulți din lumea de materie, energie și informație? Este posibil să le măsoare și cum? Suntem conștienți de metodele de măsurare a cantității de materie și energie. Dar ce putem spune despre informațiile? O putem masura?

Am observat deja că există mai multe abordări pentru evaluarea cantității de informații. Acum avem o privire mai atentă la unul dintre ei.

Orice mesaj va fi informativ, în cazul în care umple un om al cunoașterii, și anume, Acesta reduce incertitudinea cunoștințelor sale.

evenimente echiprobabile

De exemplu, tragerea la sorti, încercăm să ghicească ce fel cade. Posibila una dintre următoarele rezultate: moneda ar fi în „vulturul“ sau „cozi“. Fiecare dintre aceste două evenimente vor fi la fel de probabile, adică. E. Nici una dintre ele are avantaje față de celălalt. Înainte de a arunca o monedă, nimeni nu poate ști cum se cade, și anume există o incertitudine de cunoștințe. După producerea evenimentului, dimpotrivă, există o certitudine completă ca aruncatorului devine un mesaj vizual cu privire la starea monedelor, care, la rândul său, reduce incertitudinea cunoștințelor sale de două ori din cauza a două evenimente la fel de probabil acolo a fost una.

Un alt exemplu este situația cu cub hexagon, adică înainte de a arunca nu se poate ști ce fel va cădea. În acest caz, există o oportunitate de a obține un rezultat de la șase la fel. Astfel, până la exprimate de incertitudine aruncător de cunoștințe va fi egal cu 6 după împușcat, acesta va scădea în exact 6 ori de la 6 la fel pot să apară evenimente probabile.

Să considerăm un exemplu, în cazul în care examenul a fost pregătit pentru 40 de bilete. Probabilitatea de evenimente care se va întâmpla atunci când trage biletul, va fi egal cu 40. Și aceste evenimente sunt la fel de probabile. În acest caz, incertitudinea de cunoaștere a studentului de a alege biletul, va fi egal cu 40. În consecință, incertitudinea cunoașterii după ce elevul a luat biletul să fie redus de 40 de ori. Să ne întrebăm dacă această cifră cu privire la numărul biletului trase depinde. Nu, pentru că evenimentele sunt la fel de probabile.

După analiza toate exemplele discutate mai sus, putem concluziona că o mai mare numărul inițial de evenimente posibile echiprobabile, cu atât mai mare numărul de ori scade incertitudinea cunoașterii, iar mai multe informații vor fi cuprinse în raportul privind rezultatele experienței.

Rezolvarea controlului în toate subiectele. 10 ani de experiență! Preț de la 100 de ruble. Perioada de la 1 zi!

evenimente nonequiprobable

Luați în considerare exemplul limbilor vorbite. Să ne întoarcem la faptele dovedite studii care arată că, în toate limbile vorbite unele litere sunt mult mai frecvente decât altele. Rezultatele cercetării sugerează că scrisorile 1.000 $ $ în diferite limbi vorbite reprezintă un număr diferit de repetiții. Ca exemple, tabelul de mai jos prezintă câteva dintre scrisorile în limba engleză și română:

În plus, probabilitatea de apariție a literelor individuale va depinde de ce litere sunt folosite pentru a le. Deci, în limba română, după o vocală nu poate fi niciodată semn moale, iar cuvintele nu sunt utilizate patru vocalele consecutive, etc. Limbi vorbite sunt, de regulă, caracteristicile și modelele lor. De aceea, cantitatea de informație conținută în mesajele orice limbă vorbită este inacceptabilă evaluată folosind formula Hartley, care este utilizat în abordarea alfabetică a estimarea și caracteristice informații de exemple cu evenimente echiprobabile (exemple de monede și un cub).

Rezolvarea controlului în toate subiectele. 10 ani de experiență! Preț de la 100 de ruble. Perioada de la 1 zi!

Cum de a determina cât de multe informații conține, de exemplu, textul romanului „Război și Pace“ sau fresce și picturi ale marilor artisti italieni, sau codul genetic? Răspunsurile la aceste întrebări, și altele nu sunt încă cunoscute de știință, și, după toate probabilitățile, nu va fi în curând cunoscut. Cu toate acestea, toată lumea este interesat de, este posibil să se evalueze în mod obiectiv cantitatea de informații? Pe problema de acest tip pot include următorul exemplu.

Cum de a determina dacă mesajele sunt la fel de probabil „primul venit din femeie de construcție“ și „primul care a ieșit din clădire un om“? Răspunsul fără echivoc la această întrebare este nu. Totul va depinde de ce fel de clădire este în cauză. Dacă este, de exemplu, construirea unei clinici ginecologice, șansa de a merge mai întâi la femei este foarte mare, în cazul în care este o cazarmă militară, probabilitatea de a merge mai întâi pentru bărbați este mai mare decât în ​​cazul femeilor, dar, în cazul în care această clădire cinema, probabilitatea de a merge mai întâi pentru bărbați și femeile sunt la fel.

Estimarea cantitatea de informații. formula Shannon

Pentru a rezolva problemele de acest tip se utilizează evaluarea globală a cantității de informații oferite de American Scientist Claude Shannon în 1948. El a creat formula pentru determinarea cantității de informații în măsură să ia în considerare posibila probabilitatea inegală a mesajelor conținute în setul. Shannon atunci când creați formula utilizată în matematică aplicată și măsura probabilitate hidrodinamică de incertitudine (numită entropie) pentru a evalua pe deplin starea sistemului în studiu și pentru a obține cele mai bune informații cu privire la procesele actuale din sistem. Această estimare este cantitatea de informații este, în esență, o măsură de probabilitate. și cum să estimeze incertitudinea, aceasta reflectă capacitatea de orice putere de a exercita mai mult de stat și să ofere astfel informații.

Rezolvarea controlului în toate subiectele. 10 ani de experiență! Preț de la 100 de ruble. Perioada de la 1 zi!

Shannon entropie definit ca funcția logaritmică medie a setului de probabilități de posibile stări ale sistemului (rezultatele posibile ale experimentului). Pentru a calcula Shannon entropia a propus următoarea ecuație:

$ H = - (. P_1log_2p_1 + p_2log_2p_2 + + p_Nlog_2p_N) $,

în cazul în care $ p_i $ - probabilitatea de $ i $ eveniment -lea în setul de $ N $ de evenimente.

Apoi, cantitatea de informații obținute în urma experienței, nu este pur și simplu diferența dintre entropia sistemului la ($ H_0 $) și după ($ H_1 $) experiență:

și dacă incertitudinea în rezultatul experienței este complet exclusă, avem:

$ I = \ Sigma (p_ilog_2p_i), i = 1, \ puncte, N $.

Să considerăm un exemplu care confirmă utilizarea teoriei Shannon în practică.

Lacul este acasa, la minnows și biban. Contoriza numărul de indivizi din fiecare populație (minnows - $ 1500 $ si biban - $ 500 $). Este necesar să se determine cât de mult informații sunt conținute în rapoartele pe care pescarii prins minnows, biban, toți peștii?

Decizie. Evenimentele prind pești mici și biban nu sunt la fel de probabil, pentru că biban în lac trăiește mult mai puțin decât minnows.

Numărul total de pești mici și biban care trăiesc în lac:

Se determină probabilitatea de minnows de captură:

Se determină captura probabilitate biban:

în cazul în care I_1 $ $ și $ $ I_2 - minnows de captură de probabilitate și, respectiv, biban.

Cantitatea de informații conținute într-o declarație de captură minnows:

$ I_1 = log_2 (\ Frac) »0,43 biți $

Cantitatea de informații conținute într-o declarație de captură biban:

$ I_2 = log_2 (\ frac) »2 $ biți.

Cantitatea de informație conținută în mesajul de captură de pește (Carassius sau sebaste) se calculează cu formula Shannon:

$ I = - p_1log_2p_1 - p_2log_2p_2 $

$ I = -0,75 \ cdot log_20,75- 0,25 \ cdot log_20,25 = -0,75 \ cdot (\ frac) -0,25 \ cdot (\ frac) = 0,604 biți „$ 0,6 biți.

Raspuns: mesajul include $ 0,6 $ biți de informații