Ülesanne 1: On antud infoallikas X, mille · statistiliselt sõltumatute tähtede pikkused on samad ja võrdsed = 1µsek · infoallika X elementaartähtede esinemiste tõenäosused on: a = 0,45 b = 0,15 c = 0,2 d = 0,2 Moodustada antud allikast piisavalt suur liitallikas ja kodeerida see liitallikas Sannon Fano koodiga. Kodeerida selle koodiga järjestus: abdbcbdacbdabcdacbcda Arvutada: a) Liht- ja liitallika entroopiad b) Liht- ja liitallika maksimaalsed entroopiad c) Liht- ja liitallika liiasused d) Infotekkekiirus allikast e) Arvutada koodi liiasus Lahendus: a) Lihtallika entroopia H(X): H(X) = - ja N = 4 H2(X) = -[0,45*log20,45 + 0,15*log20,15 + 2*(0,2*log20,2)] = (0,5184 0,4106 0,9288) = (1,8578) = 1,858 bitti b) Lihtallika maksimaalne entroopia Hmax(X): Hmax(X) = lognN = log24 = 2 c) Lihtallika liiasus U(X): U(X) = = 0,071*100% = 7%
Teadur Tallinn 2016 2 Ülesanne 1. On antud diskreetne infoallikas, mille tähed on statistiliselt sõltumatud ja tähtede pikkused on samad ja võrdsed τ1. Allikas on väljastanud tähtede jada X: (vt. lisa) a) Koostada allika seisundite tabel. Arvutada : b) Liht- ja liitallika entroopiad c) Liht- ja liitallika maksimaalsed entroopia d) Liht- ja liitallika liiasused e) Infotekkekiirus allikast. f) Moodustada antud allikast M tähest koosneva liitallika ja kodeerida see liitallikas K koodiga. Leida koodipuu. g) Arvutada koodi liiasus h) Kodeerida selle koodiga kolmandik esimesest reast. Ülesanne 2. Leida sümmeetrilise kahendkanali läbilaskevõime (Binary Symmetric Channel), kui sümboli vigasuse
a b c d a b c a 0,2025 0,09 0,045 0,1125 0,45 0,2 0,1 b 0,09 0,04 0,02 0,05 c 0,045 0,02 0,01 0,025 d 0,1125 0,05 0,025 0,0625 Liitallika entroopia: -0,466561 -0,312654 -0,201327 -0,3546 -0,312654 -0,185754 -0,112877 -0,216096 -0,201327 -0,112877 -0,066439 -0,133048 -0,3546 -0,216096 -0,133048 -0,25 Summa -1,335142 -0,827382 -0,513691 -0,953745 -3,62996 d 0,25 a b c d a b c a 0,0625 0,0625 0,0625 0,0625 0,25 0,25 0,25
esimese sümboli esinemise tõenäosus ja P(x2)=P(1) on teise sümboli esinemise tõenäosus. !!! Liiasus - sümbolite esinemise tõenäosused ei ole võrdsed, kui liiasus on nullist erinev Liiasus avaldub: U(x) = [Hmax(X) H(X)] / Hmax(X) = 1 - H(X) Hmax(X) on infoallika maksimaalne entroopia ehk entroopia juhul kui kõik sümbolid esinevad võrdsete tõenäosustega. Hmax(X) = -(0.5*log20.5 + 0.5*log20.5 ) = 1 !!! infotekkekiirus? 7. Diskreetse liitallika infotekkekiirus ja liiasus. (Slaididelt paragrahv 5 slaid 12; paragrahv 5, slaid 5) Diskreetse liitallika entroopia avaldub H(X + Y) = H(Y) + HY(X). Tingimusel, et kõigi sümbolite tekkeaeg on samasugune ühe allika jaoks x ja teise allika jaoks y , siis infotekkekiirus avaldub: !!!R(X) = H(X + Y) /(x +y ) Liitallika liiasus: U(X) = [Hmax(X + Y) - H(X + Y)] / Hmax(X + Y), kus maksimaalne entroopia leitakse, kui kõigi võimalike sümbolite esinemise tõenäosused on võrdsed. 8
annaabi.ee 
