Entropia - ca masura a informatiei medii

Entropia - ca masura a informatiei medii

In cadrul surselor reale de informatie, entropia pe mesaj nu este sugestiva, urmarindu-se de fapt evaluarea informatiei medii pe un mesaj al sursei. Informatia medie, poarta denumirea de entropie a sursei =H(S). Avand in vedere ca informatiile sunt variabile, aleatoare, discrete, entropia va fi calculata :

Consideram ca :

, unde " tau)

Se defineste o valoare medie a timpului de transmisie

caz in care se defineste debitul de informatii a unei surse, raportul dintre entropia medie ca masura a informatiei si timpul mediu de transmitere a unui symbol "