Entropie (teoria informației), știință, fandomului alimentat de Wikia
În teoria informației. Shannon entropie. sau informații entropie - o măsură a incertitudinii asociate variabilei aleatoare (rv); determină cantitatea de informație conținută în mesajul (de obicei, bitul sau biți per simbol); lungimea minimă de posturi necesare pentru transmiterea informațiilor; ca o limită absolută cea mai posibilă compresie fără pierderi de orice comunicare: prezentarea unui număr de posturi caractere cel mai scurt de reprezentare necesare pentru a trimite mesajul - este Shannon entropia în biți pe simbol este înmulțită cu numărul de caractere în mesajul original.
O monedă echitabil are o entropie. egală cu un bit. Cu toate acestea, în cazul în care moneda nu este corect, incertitudinea de mai jos (în cazul în care am avut de a paria pe rezultatul aruncarea unei monede, am prefera să parieze pe rezultatul mai frecvente), și, astfel, entropia Shannon este la fel de mai jos. Un lung șir de caractere repetate este entropia 0, deoarece fiecare caracter este previzibil. Entropia textului englezesc este între 1,0 și 1,5 biți per literă. [1] Mai mult sau mai puțin de 0,6 până la 1,3 biți per literă, potrivit estimărilor lui Shannon bazate pe experimente cu oameni [2]
Echivalent, Shannon entropiei - o măsură a conținutului mediu de informare dm care observatorul (destinatarul mesajului) devine. atunci când aceasta nu cunoaște valoarea (rezultatul) D.S.
Conceptul a fost introdus de Claude Shannon Elwood (1948) în lucrarea Teoria matematică a comunicării (O teorie matematică a comunicării) [3].
anumite drepturi
Shannon entropia de variabile aleatoare discrete Care poate lua valoarea egală cu valoarea
caracterizarea Editare
Definirea și măsurarea entropie informații
măsură continuă ar trebui să fie continuă - adică, modificarea valorii uneia dintre probabilitățile de o magnitudine foarte mică ar trebui să se schimbe entropia ca o cantitate mică. Simetria măsurii nu ar trebui modificat în cazul în care rezultatele sunt reordonate: etc. măsură maximă trebuie să fie maximă în cazul în care toate rezultatele sunt la fel de probabile (incertitudinea este mai mare atunci când toate evenimentele posibile sunt echiprobabile). Pentru evenimente de entropie echiprobabile ar trebui să crească cu număr tot mai mare: Numărul de aditivitate de entropie nu depinde de evenimentele ca sistemul este împărțit în mai multe părți (subsisteme). Aceasta este ultima relație funcțională caracterizează entropia sistemului și a subsistemelor necesită ca entropia unui sistem poate fi calculată prin entropia subsistemele sale, dacă știm cum subsisteme interacționează unele cu altele. Având în vedere ansamblul elementelor distribuite uniform, care sunt împărțite aleator în cadre (subsistem) cu elemente respectiv; entropia întregului ansamblu ar trebui să fie egală cu suma entropia de sistem și cutii individuale cutiile de carton entropiile probabilitate ponderată în caseta element de detectare a sootvetstuvuyuschey. Pentru numere întregi pozitive Alegerea implică faptul că entropia unui anumit rezultat este zero:
Se poate demonstra că orice definiție a entropiei care îndeplinesc aceste ipoteze are forma
unde - constantă, care corespunde alegerea unităților de măsură.
explicaţie Editare
exemplu Editare
Alte proprietăți Editare
aspecte Editare
Comunicarea cu termodinamic entropiei Edit
Comprimarea datelor Editare
Date ca un proces Markov Editare
b-ary entropie Editare
Regulamentul de lucru
Propagarea entropia discretă exemplului de realizare continuă: diferențială de entropie Edit
Referințe Editare
- ↑ Schneier, B: Criptografie Aplicată. A doua ediție, pagina 234. John Wiley and Sons.
- ↑ Shannon, Claude E. Predicția și entropia de limba engleză imprimate, Jurnalul tehnic al sistemului Bell. 30: 50-64, 1950.
- ↑ Claude E. Shannon: O teorie matematică a comunicării. Bell System Jurnalul tehnice, vol. 27, pp. 379-423, 623-656, 1948.