"lognn" - 1 õppematerjal

Kodeerimine ja krüpteerimine

Arvutada: a) Liht- ja liitallika entroopiad b) Liht- ja liitallika maksimaalsed entroopiad c) Liht- ja liitallika liiasused d) Infotekkekiirus allikast e) Arvutada koodi liiasus Lahendus: a) Lihtallika entroopia H(X): H(X) = - ja N = 4 H2(X) = -[0,45*log20,45 + 0,15*log20,15 + 2*(0,2*log20,2)] = ­ (­0,5184 ­ 0,4106 ­ 0,9288) = ­ (­1,8578) = 1,858 bitti b) Lihtallika maksimaalne entroopia Hmax(X): Hmax(X) = lognN = log24 = 2 c) Lihtallika liiasus U(X): U(X) = = 0,071*100% = 7% d) Lihtallika infotekkekiirus R(X): R(X) = = = 1858000 = 1,858 e) Liitallika entroopia H2(X+X): H2(X+X) = 2*H2(X) = 2*1,858 = 3,716 bitti f) Liitallika maksimaalne entroopia HMAX(X): HMAX(X) = 2*Hmax(X) = 2*2 = 4 g) Liitallika liiasus U(X): U(X) = = 0,071*100% = 7% h) Liitallika infotekkekiirus R(X): R(X) = = = 3716000 = 3,716 i) Liitallika sümbolid (juba variatsioonritta panduna):