Sarcinile de lucru independent de entropie

Probleme pe tema: „Cantitatea de informații“

A se vedea. Prelegere 1_SPD și 1_SPD_dopolnenie

Exemplul 0. Luați în considerare evaluarea școală pentru a determina care este probabilitatea fiecărei evaluări, trebuie să contoriza numărul total de estimări diferite de la un elev pe o perioadă suficient de lungă de timp, și pentru a determina cât de multe câte doi, câte trei, patru labe și cinciari.

Să presupunem că am decis ca timp de doi ani au primit 100 de evaluări ale studenților. Dintre acestea, 60 - "5" Cinci probabilitate P5 = 60/100 = 0,6% 60 25 - «4» P4 = 25/100 = 0.25 25% 10 - «3» P3 = 10/100 = 0, gerar 10% 5 - «2» P2 = 5/100 = 0,05% Descrierea 5: N - este numărul total de rezultate posibile ale unui protsessan - din care suntem sobytiep interesați = n N acum, cunoscând probabilitatea evenimentului poate fi determinată / cantitatea de informații în raportul despre fiecare dintre ele. Conform teoriei, ea are nevoie pentru a rezolva o ecuație exponențială

I «5» = log2 (1 / 0,6) = log2 (5/3) = 0,737 biți I «4» = log2 (1 / 0,25) = log2 (4) = 2 biți I «3» = log2 (1 / 0,1) = log2 (10) = 3,322 biți I «2» = log2 (1 / 0,05) = log2 (20) = 4.322 biți mai mici, probabilitatea unui eveniment, mai multe informații transporta un mesaj. Cantitatea de informații în raportul cu privire la un eveniment depinde de probabilitatea acestui eveniment. Este mai mică probabilitatea, mai multe informații.

Exemplul 0. Cele trei litere alfabet A, B și C) Creați un număr maxim de mesaje, prin combinarea cel puțin trei litere ale mesajului. b) cantitatea de informații necesare cu privire la unul dintre aceste rapoarte? c) Care este cantitatea de informații cu privire la caracterul alfabetului primar?

Decizie. a) m2 = 3; n = 3; N == 03 martie = 27

b) I = log2 N = log2 27 = 4.75489 biți;

c) H = log2 m1 = log2 = log2

Exemplul 1. Student livreaza offset. El nu poate trece un test și să treacă cu probabilitate egală. Se determină cantitatea de informații cuprinse în raportul pe care el a trecut clasamentul. Deoarece evenimentele din „offsetul a trecut“ și „nu a trecut de offset“ la fel, vom folosi formula pentru mesaje la fel de Hartley, și obține mesajul conține log2 2 = 1 bit de informație.

Exemplul 2: Un bărbat se gândește la un număr între 0 și 15. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, trebuie să ghicească numărul? Din nou Hartley formula: I = log2, bit

log2 16 = 4 întrebări

EXEMPLUL 3 Casa de 16 de apartamente fiecare locuiesc în medie de 2 persoane. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, este necesar să se găsească în mod clar pe cap de locuitor?

Numărul total de persoane din casa 16 * 2 = 32.

Da / nici o întrebare - 1 bit de informație, care este, folosind logaritmul în baza 2.

Prin aplicarea formulei Hartley log2 număr m logirifm de stări care este egală cu 32.

Rezultă că numărul minim de întrebări care urmează să fie cerut să găsească un locuitor se calculează prin formula și încă Hartley log2 32 = 5

Exemplul 4 în același timp, aruncă două zaruri. Se determină cantitatea de informație conținută într-un mesaj că produsul a numărului scăzut de puncte este impar.

Nebhodimo pentru a conta probabilitatea de bucăți și chiar ciudat.

Total fațete pe cele două zaruri 36, eveniment impar (1,3, 5) pentru două Cupica 3 * 3 = 9.

Probabilitatea unui produs impar = 1/4. chiar 3/4

Folosind formula Shannon

Exemplul 5 aruncă două zaruri în același timp. Se determină cantitatea de informație conținută în mesajul că suma punctelor scăzut nu este egal cu 6.

Nebhodimo pentru a conta probabilitatea sumei egală cu 6.

Exemplul 5.1. Cât de multe moduri pot trece poziția de cifre pe o tablă de șah? Care este cantitatea de informații în fiecare caz?

Decizie. Este posibil să se enumera toate celulele din tabla de șah și transmite numărul de celule. Acest lucru va necesita 64 calitative m caracteristică = 64, dar pentru transmiterea numerelor de celule suficiente bude un mesaj.

În acest caz, cantitatea de informații

Specificați placa celulară dorită poate, prin trecerea coordonatelor pe orizontală și pe verticală. Este destul de calitativă are opt (opt camere în orizontală și verticală opt), dar va trebui să treacă două mesaje. În acest caz, cantitatea de informații

Dacă numărul de transfer orizontal și vertical codul binar va necesita două trăsături calitative care combină trei elemente în mesaj. În acest caz, cantitatea de informații

Exemplul 6: Cât de multe informații (Shannon) este obținut, în cazul în care a devenit cunoscut cu exactitate ce domeniu tablă de șah, ce culoare și ce figura set?

Negru rege pe teren 7 h.

Noi folosim formula: I = -log p. unde

pchkph7 - probabil să fie negru rege pe câmpul h 7. Această probabilitate este obținută de la producerea simultană a trei evenimente: alege piesele negre (PCH = 1/2), Rege (PKR = 1/16) și câmpul h 7 (pH7 = 1/64) .

Argumentând în mod similar, este posibil să se calculeze cantitatea de informații pentru orice figura, având în vedere faptul că probabilitatea de a selecta un pion - 1 \ 2; elefanți și Tura cal -1 \ 8; o regină și rege -1 \ 16.

Calculați-vă cantitatea de informații pentru diferite cifre și cantitatea medie de informații cu privire la o singură cifră.

Răspunsul ar trebui să fie - 9.125 [pic].

Exemplul 7. Alfabetul este format din literele A, B, C, D. Probabilitatea de apariție a literelor sunt, respectiv = pA pB = 0,25; pc = 0,34; PD = 0,16. Se determină cantitatea de informații cu privire la caracterul mesajului, alcătuit din astfel de scrisori.

Decizie. Cantitatea de informații privind alfabete au entropia a alfabetului. Deoarece literele alfabetului la fel de probabile, atunci entropia este

Sarcini pentru activitatea independentă (pentru protecția colocviului)

Pune mai departe o celulă pe o tablă de șah. Cât de multe întrebări să se răspundă „da“ sau „nu“, trebuie să ghicească cușcă?

Casa are 16 apartamente, fiecare de zi într-o medie de 2 persoane. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, este necesar să se găsească în mod clar pe cap de locuitor?

Casa are 16 apartamente, fiecare acasa, la exact o singură persoană. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, este necesar să se găsească în mod clar pe cap de locuitor?

Aruncări două zaruri în același timp. Se determină cantitatea de informație conținută într-un mesaj că produsul numărului de puncte a scăzut chiar.

Aruncări două zaruri în același timp. Se determină cantitatea de informație conținută în mesajul că suma punctelor scăzut este egal cu 6.

Aruncări două zaruri în același timp. Se determină cantitatea de informație conținută în mesajul că suma punctelor scăzut nu este egal cu 6.

Aruncări două zaruri în același timp. Se determină cantitatea de informație conținută în mesajul că suma punctelor scăzut nu este egal cu 6.

Aruncări două zaruri în același timp. Se determină cantitatea de informație conținută într-un mesaj că produsul a numărului scăzut de puncte este impar.

Ceasul a oprit și a arătat 15:23. Se determină cantitatea de informații în mesaj.

Sursa generează un semn cu o probabilitate z1 și z2 p1 cu probabilitate p2. Se determină cantitatea medie de informații în mesajul de n caractere ale alfabetului, presupunând că legătura dintre simboluri consecutive este absent.

Sursa generează un semn cu o probabilitate z1 și z2 p1 cu probabilitate p2. Care este sursa de entropie?

Student la fel de probabil pentru a ajunge pe orice test de evaluare. Se determină cantitatea de informație conținută în mesajul pe care el a predat, dar nu 5.

Student la fel de probabil pentru a primi evaluarea lubuyu a examinării. Se determină cantitatea de informații cuprinse în raportul pe care a trecut examenul.

Student la fel de probabil pentru a ajunge pe orice test de evaluare. Se determină cantitatea de informații cuprinse în raportul pe care el a trecut pe 4.

Student ia de credit. El nu poate trece un test și să treacă cu probabilitate egală. Se determină cantitatea de informații cuprinse în raportul pe care el a trecut clasamentul.

Student ia de credit. Probabilitatea de trecere p1, nu mână - p2. Se determină cantitatea de informație conținută în mesajul că el nu a dat de credit.

Student ia de credit. Probabilitatea de trecere p1, nu mână - p2. Se determină cantitatea de informații cuprinse în raportul pe care el a trecut clasamentul.

Două săgeată pentru care probabilitatea de a lovi o țintă sunt respectiv egale cu p1 și p2, produs de un singur foc. Rezultatul a fost că ținta este lovit. Cât de multe informații sunt conținute în acest mesaj?

Două săgeată pentru care probabilitatea de a lovi o țintă sunt respectiv egale cu p1 și p2, produs de un singur foc. Rezultatul a fost că ținta nu a fost impresionat. Cât de multe informații sunt conținute în acest mesaj?

Există n monede identice, dintre care unul este mai ușor. Câte cântăriri pe un echilibru fascicul este necesară și suficientă pentru a găsi?

Un bărbat se gândește la un număr între 0 și 15. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, trebuie să ghicească numărul?

O persoană se gândește la un număr care variază de la 0 la 15. Este cunoscut faptul că ghicitul cu precizie prin timp dă adevărat, răspunsul greșit. Care este numărul minim de întrebări care au nevoie de a răspunde „da“ sau „nu“, trebuie să ghicească numărul?

Sarcina 1.12. Care este entropia sistemului, a cărui stare este descrisă de o valoare discretă cu următoarea distribuție de probabilitate:

Care este cantitatea de informații într-un mesaj trimis în combinație binar de combinații de cinci cifre și cinci cifre, dintre cele două, în cazul în care caracterele sunt codificate alfabet la fel?

Care este cantitatea de informații în pregătirea de 8 mesaje chiar și cod de patru ternară?