2.2 居住某地區(qū)的女孩子有 25%是大學生，在女大學生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占總數(shù)的一半。假如我們得知“身高 160 厘米以上的某女孩是大學生”的消息，問獲得多少信息量？ 解：

　設隨機變量 X 代表女孩子學歷 X x 1 （是大學生）

　x 2 （不是大學P(X) 0.25 0.75

　設隨機變量 Y 代表女孩子身高 Y y 1 （身高>160cm）

　y 2 （身高<160cm）

　P(Y) 0.5 0.5

　已知：在女大學生中有 75%是身高 160 厘米以上的 即：

　bit x y p

　 75 . 0 ) / (1 1?

　求：身高 160 厘米以上的某女孩是大學生的信息量 即 ：b i ty px y p x py x p y x I

　 415 . 15 . 075 . 0 25 . 0log) () / ( ) (log ) / ( log ) / (11 1 11 1 1 1??? ? ? ? ? ? 2.4 設離散無記憶信源?????? ? ? ? ????????8 / 1 4 / 13 24 / 1 8 / 31 0) (4 3 2 1x x x xX PX，其發(fā)出的信息為(

　02120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符號攜帶的信息量是多少？ 解：

　(1) 此消息總共有 14 個 0、13 個 1、12 個 2、6 個3，因此此消息發(fā)出的概率是：

　6 25 14814183??????? ??????? ??????? p 此消息的信息量是：bit p I

　 811 . 87 log ? ? ? (2) 此 消 息 中 平 均 每 符 號 攜 帶 的 信 息 量 是 ：bit n I

　 951 . 1 45 / 811 . 87 / ? ?

　 2.9 設有一個信源，它產(chǎn)生 0，1 序列的信息。它在任意時間而且不論以前發(fā)生過什么符號，均按P(0) = 0.4，P(1) = 0.6 的概率發(fā)出符號。

　(1) 試問這個信源是否是平穩(wěn)的？ (2) 試計算 H(X2 ) , H(X3 /X 1 X 2 ) 及 H ∞ ；

　(3) 試計算 H(X4 ) 并寫出X4 信源中可能有的所有符號。

　解：

　(1)

　這個信源是平穩(wěn)無記憶信源。因為有這些詞語：“它在任意時間．．．．而且不論以前發(fā)生過什么符號．．．．．．．．．．．……” (2)

　symbol bit X H X X X X H Hsymbol bit x p x p X H X X X Hsymbol bit X H X HN N NNii i/

　 971 . 0 ) ( ) ... / ( lim/

　 971 . 0 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( ) ( log ) ( ) ( ) / (/

　 942 . 1 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 2 ) ( 2 ) (1 2 13 2 1 32? ? ?? ? ? ? ? ? ?? ? ? ? ? ??? ? ??? (3)

　1111 1110 1101 11001011 1010 1001 10000111 0110 0101 01000011 0010 0001 0000的所有符號：/

　 884 . 3 ) 6 . 0 log 6 . 0 4 . 0 log 4 . 0 ( 4 ) ( 4 ) (44Xsymbol bit X H X H ? ? ? ? ? ? 2.10 一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源 X 的符號集為{0, 1, 2}。

　(1) 求平穩(wěn)后信源的概率分布； (2) 求信源的熵 H ∞ 。

　20 1PPPPP P 解：

　(1) ???????????? ? ?? ????????? ? ? ?? ? ? ?? ? ? ??????? ?? ?? ?3 / 1 ) (3 / 1 ) (3 / 1 ) (1 ) ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) ( ) () ( ) ( ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) () / ( ) ( ) / ( ) ( ) (3213 2 13 2 11 3 33 2 22 1 11 3 1 3 3 3 33 2 3 2 2 2 22 1 2 1 1 1 1e pe pe pe p e p e pe p e p e pe p p e p p e pe p p e p p e pe p p e p p e pe e p e p e e p e p e pe e p e p e e p e p e pe e p e p e e p e p e p ????????????????????? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?3 / 123 / 113 / 10) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (3 / 1 3 / ) ( ) ( ) ( ) / ( ) ( ) / ( ) ( ) (1 3 1 3 1 3 3 3 33 2 3 2 3 2 2 2 22 1 2 1 2 1 1 1 1X PXp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x pp p e p p e p p e x p e p e x p e p x p

　 (2)

　 2.12 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為 1/6，求：

　(1) “3 和 5 同時出現(xiàn)”這事件的自信息； (2) “兩個 1 同時出現(xiàn)”這事件的自信息； (3) 兩個點數(shù)的各種組合（無序）對的熵和平均信

　 息

　量； (4) 兩個點數(shù)之和（即 2, 3, … , 12 構成的子集）

　的熵； (5) 兩個點數(shù)中至少有一個是 1 的自信息量。

　解：

　(1) bit x p x Ix pi ii

　170 . 4181log ) ( log ) (18161616161) (? ? ? ? ?? ? ? ? ?

　(2) bit x p x Ix pi ii

　170 . 5361log ) ( log ) (3616161) (? ? ? ? ?? ? ? (3) 兩個點數(shù)的排列如下：

　11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

　共有 21 種組合：

　其中 11，22，33，44，55，66 的概率是3616161? ?

　其他 15 個組合的概率是18161612 ? ? ?

　symbol bit x p x p X Hii i/

　 337 . 4181log18115361log3616 ) ( log ) ( ) ( ? ??????? ? ? ? ? ? ?? (4) 參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：

　symbol bitx p x p X HX PXii i/

　 274 . 3

　61log61365log365291log912121log1212181log1812361log3612

　) ( log ) ( ) (36112181111211091936586173656915121418133612) (???????? ? ? ? ? ? ? ? ? ? ? ?? ??????????????????? (5) bit x p x Ix pi ii

　710 . 13611log ) ( log ) (3611116161) (? ? ? ? ?? ? ? ?

　 3.1 設信源?????????????4 . 0 6 . 0 ) (2 1x xX PX通過一干擾信道，接收符號為 Y = { y1, y2 }，信道轉(zhuǎn)移矩陣為，求：??????????43416165 (1) 信源 X 中事件 x 1 和事件 x 2 分別包含的自信息量； (2) 收到消息 y j (j=1,2) 后，獲得的關于 x i

　(i=1,2)的信息量； (3) 信源 X 和信宿 Y 的信息熵； (4) 信道疑義度 H(X/Y) 和噪聲熵 H(Y/X) ； (5) 接收到信息 Y 后獲得的平均互信息量。

　解：

　1) bit x p x Ibit x p x I

　 322 . 1 4 . 0 log ) ( log ) (

　 737 . 0 6 . 0 log ) ( log ) (2 2 2 22 1 2 1? ? ? ? ?? ? ? ? ? 2) bity px y py x Ibity px y py x Ibity px y py x Ibity px y py x Ix y p x p x y p x p y px y p x p x y p x p y p

　 907 . 04 . 04 / 3log) () / (log ) ; (

　 263 . 16 . 04 / 1log) () / (log ) ; (

　 263 . 14 . 06 / 1log) () / (log ) ; (

　 474 . 06 . 06 / 5log) () / (log ) ; (4 . 0434 . 0616 . 0 ) / ( ) ( ) / ( ) ( ) (6 . 0414 . 0656 . 0 ) / ( ) ( ) / ( ) ( ) (222 22 2 2212 12 1 2221 22 2 1211 12 1 12 2 2 1 2 1 22 1 2 1 1 1 1? ? ?? ? ? ?? ? ? ?? ? ?? ? ? ? ? ? ?? ? ? ? ? ? ? 4)

　? ? symbol bit p p p pp p p p p p p p p p p pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e e p e e p e e p e e pe e p e e p e p Hi ji j i j i/

　 log log

　log31log31log31log31log31log31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / (31) / ( log ) / (31) / ( log ) / (31

　 ) / ( log ) / ( ) (3 3 3 3 3 2 3 2 3 1 3 12 3 2 3 2 2 2 2 2 1 2 11 3 1 3 1 2 1 2 1 1 1 13 3? ? ? ? ???????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????? ? ?? ? ????? ? ? ?? ? ???symbol bit y p y p Y Hsymbol bit x p x p X Hjj jii i/

　971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (/

　971 . 0 10 log ) 4 . 0 log 4 . 0 6 . 0 log 6 . 0 ( ) ( log ) ( ) (22? ? ? ? ? ?? ? ? ? ? ???

　 5) symbol bit Y X H X H Y X I /

　256 . 0 5 . 0 971 . 0 ) / ( ) ( ) ; ( ? ? ? ? ? 3.2 設二元對稱信道的傳遞矩陣為??????????32313132 (1) 若 P(0)

　= 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X) 和 I(X;Y) ； (2) 求該信道的信道容量及其達到信道容量時的輸入概率分布； 解：

　1) symbol bit Y X H X H Y X Isymbol bit X Y H Y H X H Y X HX Y H Y H Y X H X H Y X Isymbol bit y p Y Hx y p x p x y p x p y x p y x p y px y p x p x y p x p y x p y x p y psymbol bitx y p x y p x p X Y Hsymbol bit x p X Hjji ji j i j iii/

　062 . 0 749 . 0 811 . 0 ) / ( ) ( ) ; (/

　749 . 0 918 . 0 980 . 0 811 . 0 ) / ( ) ( ) ( ) / () / ( ) ( ) / ( ) ( ) ; (/

　980 . 0 ) 4167 . 0 log 4167 . 0 5833 . 0 log 5833 . 0 ( ) ( ) (4167 . 032413143) / ( ) ( ) / ( ) ( ) ( ) ( ) (5833 . 031413243) / ( ) ( ) / ( ) ( ) ( ) ( ) (/

　918 . 0

　 10 log )32lg324131lg314131lg314332lg3243(

　 ) / ( log ) / ( ) ( ) / (/

　811 . 0 )41log4143log43( ) ( ) (2 22 2 2 1 2 1 2 2 2 1 22 1 2 1 1 1 1 2 1 1 122 2? ? ?? ? ?? ? ? ? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?????

　2) 21) (/

　082 . 0 10 log )32lg3231lg31( 2 log log ) ; ( max2 2 2?? ? ? ? ? ? ? ?imix psymbol bit H m Y X I C

　3.19 在 圖 片 傳 輸 中 ， 每 幀 約 有2.25?106 個像素，為了能很好地重現(xiàn)圖像，能分 16 個亮度電平，并假設亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為 30dB）。

　解：

　s bittICbit NH Isymbol bit n Ht/

　10 1.56010 910

　 10 9 4 10 25 . 2/

　4 16 log log566 62 2? ??? ??? ? ? ? ? ?? ? ? z

　15049) 1000 1 ( log10 5 . 11 log1 log25HPPCWPPW CNXtNXt??????????????????????? ? 5.1 設信源

　 (1) 求信源熵 H(X) ； (2) 編二進制香農(nóng)碼； (3) 計算平均碼長和編碼效率。

　解：

　(1) symbol bitx p x p X Hii i/ 609 . 2) 01 . 0 log 01 . 0 1 . 0 log 1 . 0 15 . 0 log 15 . 017 . 0 log 17 . 0 18 . 0 log 18 . 0 19 . 0 log 19 . 0 2 . 0 log 2 . 0 () ( log ) ( ) (2 2 22 2 2 2712?? ? ? ? ? ?? ? ? ? ? ? ? ? ?? ? ?? (2) x i

　p(x i ) p a (x i ) k i

　碼字 x 1

　0.2 0 3 000 x 2

　0.19 0.2 3 001 x 3

　0.18 0.39 3 011 x 4

　0.17 0.57 3 100 x 5

　0.15 0.74 3 101 x 6

　0.1 0.89 4 1110 x 7

　0.01 0.99 7 1111110 (3) % 1 . 8314 . 3609 . 2 ) ( ) (14 . 301 . 0 7 1 . 0 4 15 . 0 3 17 . 0 3 18 . 0 3 19 . 0 3 2 . 0 3 ) (? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?KX HRX Hx p k Kii i? 5.2 對 信 源?????????????01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PX編二進制費諾碼，計算編碼效率。

　解：

　x i

　p(xi編碼 碼k i

　x 1

　0.2 0 0

　 00 2 x 2

　0.19 1 0

　 013 x 3

　0.18 1

　 01 3 ?????????????01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PXsymbol bitY H X Y H X H Y X HY X H Y H X Y H X Hsymbol bitx y p x y p x p X Y Hi ji j i j i/

　715 . 0 971 . 0 715 . 0 971 . 0

　) ( ) / ( ) ( ) / () / ( ) ( ) / ( ) (/

　715 . 0

　10 log )43log434 . 041log414 . 061log616 . 065log656 . 0 (

　) / ( log ) / ( ) ( ) / (2? ? ? ?? ? ? ?? ? ??? ? ? ? ? ? ? ? ? ?? ? ???

　x 4

　0.17 1 0

　 10 2 x 5

　0.15 1 0

　 113 x 6

　0.1 1 0 114 x 7

　0.01 1 114 % 2 . 9574 . 2609 . 2 ) ( ) (74 . 201 . 0 4 1 . 0 4 15 . 0 3 17 . 0 2 18 . 0 3 19 . 0 3 2 . 0 2 ) (? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?KX HRX Hx p k Kii i? 5.3 對 信 源?????????????01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 2 . 0 ) (7 6 5 4 3 2 1x x x x x x xX PX編 二進制和三進制哈夫曼碼，計算各自的平均碼長和編碼效率。

　解：

　二進制哈夫曼碼：

　x i

　p(x i ) 編碼 碼字 k i

　s 6

　 1

　s 5

　0.61 0

　s 4

　 0.39

　 1

　s 3

　0.35

　 0

　s 2

　 0.26

　 1

　x 1

　0.2

　 0

　10 2 x 2

　0.19

　 1

　11 2 x 3

　0.18

　 0

　 000 3 x 4

　0.17

　 1

　 001 3 x 5

　0.15

　 0

　010 3 s 1

　0.11 1

　 x 6

　0.1 0

　 0110 4 x 7

　0.01 1

　 0111 4 % 9 . 9572 . 2609 . 2 ) ( ) (72 . 201 . 0 4 1 . 0 4 15 . 0 3 17 . 0 3 18 . 0 3 19 . 0 2 2 . 0 2 ) (? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?KX HRX Hx p k Kii i?

　三進制哈夫曼碼：

　x i

　p(x i ) 編碼 碼字 k i

　s 3

　 1

　s 2

　0.54 0

　s 1

　 0.26

　1

　x 1

　0.2

　 2 2 1 x 2

　0.19

　0

　00 2 x 3

　0.18

　1

　01 2 x 4 0.17

　2

　02 2 x 5

　0.15 0

　 10 2 x 6

　0.1 1

　 11 2 x 7

　0.01 2

　 12 2 % 4 . 913 log 8 . 1609 . 2log) ( ) (8 . 1) 01 . 0 1 . 0 15 . 0 17 . 0 18 . 0 19 . 0 ( 2 2 . 0 1 ) (22??? ? ??? ? ? ? ? ? ? ? ? ? ?mLKX HRX Hx p k Kii i?

相關熱詞搜索：信息論 課后 答案