Lungimea medie a cuvantului de cod

Lungimea medie a cuvantului de cod

Cu cat lungimea este mai mica, cu atat durata de transmisie este mai scurta. Vom face o evaluare privind informatia transportata de un mesaj (ex-cuvant) si respectiv informatia asociata unui    simbol din alfabet codului.

Daca avem un cuvant de cod s, informatia ce o transporta acesta este i(s) s i(s) . Acestui cuvant de cod ii corespunde o succesiune de simboluri si putem calcula informatia transportata e un simbol (informatia transportata de un simbol e chiar entropia).

l= i- informatia transportata de un mesaj

H- informatia transportata de un simbol

Pornind de la aceasta expresie daca inmultim membrii inegalitatii cu probabilitatea p si se sumeaza de la 1 la N se obtine:

l= l = (lungimea medie a unui cuvant)

Pornind de la evaluarea eficientei unei transmisiuni in functie de lungimea cuvintelor de cod se poate realiza o analogie considerand duratele de transmisie a simbolurilor in locul lungimilor.

Pe baza consideratiilor facute se poate observa ca =

- lungimea medie minima a unui cuvant de cod

Entropia isi atinge maximul cand simbolurile sunt furnizate echi . .

max notam cu log unde M - numarul de simboluri

Aceasta expresie este foarte importanta deoarece putem evalua lungimea minima a unui cuvant de cod.

Ex:    H=2 = H(s) si H(s)