Eksamiküsimused ja vastused 2009
saamisel, eelduselt et suuruse X tegelik väärtus on juba teada. (Y tingimusel X).
Kui X ja Y on sõltumatud, siis: H(Y | X) = H(Y)
Tingliku entroopia põhimõte: Oletame, et on vaja teada H(X,Y) bitti informatsiooni, kui
teame X väärtust on meil H(X) bitti informatsiooni teada ning H(Y/X) bitti infot on teadmata.
H(Y/X) leidmisel saame ülejäänud H(Y/X) bitti infot ka teada.
6. Diskreetse kahese allika infotekkekiirus ja liiasus.
(Slaididelt paragrahv 2 slaid 2,7)
Diskreetne kahendallikas annab välja vaid sümboleid null ja üks.
Tema entroopia avaldub: H(X) = -[P(x1)*log2P(x1) + P(x2)*log2P(x2)], kus P(x1)=P(0) on
esimese sümboli esinemise tõenäosus ja P(x2)=P(1) on teise sümboli esinemise tõenäosus.
!!! Liiasus - sümbolite esinemise tõenäosused ei ole võrdsed, kui liiasus on nullist erinev
Liiasus avaldub:
U(x) = [Hmax(X) H(X)] / Hmax(X) = 1 - H(X)
Hmax(X) on infoallika maksimaalne entroopia ehk entroopia juhul kui kõik sümbolid esinevad
annaabi.ee 
