Home - Rasfoiesc.com
Educatie Sanatate Inginerie Business Familie Hobby Legal
Doar rabdarea si perseverenta in invatare aduce rezultate bune.stiinta, numere naturale, teoreme, multimi, calcule, ecuatii, sisteme




Biologie Chimie Didactica Fizica Geografie Informatica
Istorie Literatura Matematica Psihologie

Retele calculatoare


Index » educatie » » informatica » Retele calculatoare
Proprietatile entropiei


Proprietatile entropiei


Proprietatile entropiei

Functia H(S), are o serie de proprietati, mai importante fiind:

H(S)>0; entropia este pozitiva;

Prin diversificarea unei surse discrete, complete si fara memorie entropia creste.

Daca se considera sursa S cu distributia :



Sa consideram in continuare mesajul sn, de exemplu, se diversifica in alte m mesaje disjuncte, adica    sn = y1 y2 y3 ym

Deoarece mesajele yj, s-au propus disjuncte sau incompatibile, rezulta ca: (1.13) unde, prin p(yj) se intelege probabilitatea mesajului yj se intelege probabilitatea yj.

In felul acesta, sursa diversificata, pe care o vom nota cu S', va avea distributia:

Conform relatiei generale de calcul a entropiei rezulta ca entropia sursei diversificate se calculeaza cu o relatie similara, adica:

(1.14)

Proprietatea 2 afirma ca : H(S') H(S)

Ecuatia (1.14) se mai scrie:

T

Din ultima relatie se constata, conform (1.13), ca , ceea ce inseamna ca acest raport este o probabilitate, si tot conform (1.13), , asta inseamna ca, conform primei proprietati.

Tinand cont de aceasta constatare, rezulta ca:

(deci, prin diversificare entropia creste).

Entropia unei surse discrete, complete si fara memorie, isi atinge valoarea maxima cand mesajele sunt furnizate echiprobabil.

Pentru entropia data de (1.11) in care se stie ca (1.15)

Pentru a determina extremul functiei H(S) (data de 1.11) cu legatura data de (1.15), se va folosi metoda multiplicatorilor lui Lagrange, adica determinarea extremului unei functii cu legaturi. Pentru aceasta se construieste functia F

unde l este multiplicatorul lui Lagrange iar extremul lui F(pk) va avea loc pentru aceleasi valori pk ca si o functie H(S).

Conditia necesara de extrem:

se poate determina pk:

Deci extremul are loc pentru probabilitati egale cu , furnizate de sursa. Daca in (1.11) se inlocuieste , rezulta .Pentru a demonstra ca acest extrem este maxim trebuie sa aratam ca H(S) log n sau

H(S) - log n 0. Inlocuind in ultima inegalitate relatia (1.11) T



. Deci:

Se cunoaste ca: ln z <z - 1, z 1, z > 0 si

ln z = z - 1, z = 1 (se observa din grafic )


Figura 1.2.

Daca se noteaza , atunci

Deci o sursa discreta, completa si fara memorie isi livreaza mesajele echiprobabil, entropia acestora devine maxima si

max[H(S)] = log n (1.17)

Daca, de exemplu s-ar considera o sursa S cu distributia S.

Conform ecuatiei (1.11), rezulta ca:

Reprezentand grafic ultima relatie ,s-ar obtine:


Figura 1.3.

Adica, daca p=1, inseamna ca sursa S va furniza cu certitudine mesajul s1,seexistand nici o incertitudine, entropia va fi nula.

In mod similar, daca p=0, sursa va livra cu certitudine mesajul s2, neexistand nici o incertitudine , entropia va fi nula.

Cea mai mare incertitudine asupra sursei o vom avea atunci cand mesajele s1 si s2 sunt furnizate echiprobabil, adica atunci cand , in acest caz entropia devenind:

Inseamna deci, ca de la o sursa care poate furniza numai doua mesaje, informatia medie pe mesaj, adica entropia acesteia nu poate depasi valoarea de un bit. Da ca dorim a transmite pe mesaj o informatie medie mai mare de un bit, va trebui sa construim o sursa formata din mai multe mesaje. Se atrage atentia ca cresterea numarului de mesaje dintr-o sursa, nu determina o crestere proportionala a informatiei medie pe acestea.

Intotdeauna, daca, de exemplu, o sursa lineara echiprobabil n mesaje, conform (1.17), informatia medie pe mesaj este log n.

Pentru ca informatia pe mesaj sa se dubleze, ar trebui ca sursa furnizeze n2 mesaje: log n2 =2 log n.

(0,1 -> nu se poate transmite o informatie medie mai mare de 1 bit.







Politica de confidentialitate





Copyright © 2023 - Toate drepturile rezervate