信息論
發(fā)布時(shí)間:2020-11-23 來源: 演講稿 點(diǎn)擊： 
信號(hào)論考試溫習(xí)題 一、填空題。
1. 香農(nóng)信息論中定義的信息是“ 事物運(yùn)動(dòng)狀態(tài)和存在方式不確定性的描述”。
2. 消息是信息的 載體。構(gòu)成消息的兩個(gè)條件是能被通信雙方所理解和可以在通信中 傳遞和交換。
3. 信源編碼的作用是根據(jù) 失真度準(zhǔn)則對(duì)信源的輸出消息進(jìn)行編碼,用 碼字表示消息。
4. 信息論研究的主要問題是如何提高信息傳輸系統(tǒng)的 有效性和 可靠性。
5. 如果信源輸出的消息的隨機(jī)變量,可以在某一離散集合內(nèi)取值,也可以在某一連續(xù)區(qū)間內(nèi)取值,相應(yīng)的信源就分別稱為
和
。——[ 答案：1. 連續(xù)信源
離散信源] 6. 當(dāng)條件概率分布 p（y∣x）給定時(shí),平均互信息量 I（X;Y）是輸入概率分布 p(x)的
。
——【上凸函數(shù)】
7. 八進(jìn)制脈沖的平均信息量為
,八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖信息量的
倍。
——【3
3】
8. 熵函數(shù)的數(shù)學(xué)特性有
、
、
、確定性、可加性、極值性、上凸性。——【對(duì)稱性
非負(fù)性
擴(kuò)展性】
9. 平均互信息量 I（X;Y）與信源熵和條件熵之間的關(guān)系是
。
【I（X;Y）=H（X）—H(X/Y)】
10. 設(shè)信源 X 包含 4 個(gè)不同的離散信息,當(dāng)且僅當(dāng) X 中各個(gè)信息出現(xiàn)的概率為
時(shí),信源熵達(dá)到最大值為
,此時(shí)各個(gè)信息的自信息量為
。
【1/4
2
2】
11. 自信息量表征信源中各個(gè)符號(hào)的不確定度,信源符號(hào)的概率越大,其自信息量越
�！拘 �
12. 信源的冗余度來自兩個(gè)方面,一是信源符號(hào)之間的
,二是信源符號(hào)分布的
�！鞠嚓P(guān)性
不均勻性】
13. 離散信道是 輸入和輸出的隨機(jī)變量的取值都是離散的信道。
14. 信道可依據(jù)輸入輸出的隨機(jī)變量類型分成離 離 散信道 、 連續(xù)信道 、 半離散或 半連續(xù)信道。
15. 單符號(hào)離散信道的輸入符號(hào)是 X,取之于｛a1、a2…… an｝;輸出符號(hào)為 Y,取值為｛b1、b2、……bn｝,并有條件概率 P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m),這一組條件概率稱為信道的 傳遞概率或 轉(zhuǎn)移概率。
16. 由香農(nóng)公式 可知：提高信噪比 S/N 能提高 信道容量 C 17. 若輸入概率為 P(X=ai)=P(ai)稱為輸入符號(hào)的先驗(yàn)概率,此時(shí),對(duì)應(yīng)地把 P(ai/bj)稱為輸入符號(hào)的 后驗(yàn)概率。
18. 若離散信道對(duì)任意長(zhǎng)為 N 上的輸入和輸出符號(hào)序列有 則稱它為 離散無記憶信道簡(jiǎn)記 DMC。
19. 準(zhǔn)對(duì)稱信道的性質(zhì)：
每一行都是第一行的置換, 每一列都是第一列的置換。
20. 實(shí)現(xiàn)準(zhǔn)對(duì)稱離散無記憶信道的信道容量的輸入分布為 等概率分布。
21. 信道剩余度定義為：
信道剩余度=C-I(x,y)。
22. 信道容量又稱為 最大的信息傳輸率。
23. 信道組合有兩大基本方式：
級(jí)聯(lián)信道和 并聯(lián)信道 24. 信源編碼是研究在不失真或允許一定失真的條件下,如何用盡可能 少的符號(hào)來傳送信源信息,以便提高 信息傳輸率。
25. 碼字含有的碼符號(hào)個(gè)數(shù)都相同的碼叫
等長(zhǎng)碼, 碼中含有的所有碼字都不相同的碼叫
非奇異碼。
26. 對(duì)于二進(jìn)制等長(zhǎng)唯一可譯碼,共有 q 個(gè)符號(hào)需要被編碼,每個(gè)信源符號(hào)至少需要用 log q 個(gè)碼符號(hào)來變換。
27. 等長(zhǎng)編碼定理表述了,只要碼字傳輸?shù)男畔⒘?大于信源序列攜帶的的信息量,總能實(shí)現(xiàn)幾乎無失真編碼。
28. 香農(nóng)第一定理的物理意義：對(duì)離散信源進(jìn)行適當(dāng)?shù)淖儞Q,使變換后新的碼符號(hào)信源盡可能 等概率分布,使新信源的每個(gè)碼符號(hào)平均所含的信息量達(dá)到最 大,從而使信息傳輸速率達(dá)到信道容量。
29. 信息傳輸?shù)男嗜Q于 平均碼長(zhǎng)。
30. 在譯碼時(shí)無需參考后續(xù)的碼符號(hào)就能立即做出判斷的碼稱為 即時(shí)碼。
31. 信源編碼解決的是通信系統(tǒng)的 有效性。
32. 編碼定理,又稱___ 香農(nóng)第二定律__,主要研究怎樣使消息通過__ 有噪信道___傳輸后發(fā)生的錯(cuò)誤最少,即研究通信的____ 可靠性__問題。
33.
信道的統(tǒng)計(jì)特征可由__ 信道的傳遞矩陣___來描述。
34. 在有噪信道中,傳輸?shù)钠骄e(cuò)誤概率與各種編、譯碼方法有關(guān)。在___ 最大似然譯碼準(zhǔn)則__下,使錯(cuò)誤概率減小的編碼方法就是使___ 碼間的最小距離_____增大。
35. 在確定譯碼規(guī)則 F(bj)=ai 后,若信道輸出端接受的符號(hào)為 bj,發(fā)送的不是 ai,就認(rèn)為有錯(cuò)誤,那么錯(cuò)誤概率 P（e| bj）稱為____ 條件錯(cuò)誤 概率______。
36. 已知信道矩陣
b1
b2
b3
a1
0.5
0.3
0.2
a2 1
0.2
0.3
0.5
a3
0.3
0.3
0.4 37. 根據(jù)最大似然譯碼準(zhǔn)則可得信道平均錯(cuò)誤概率最小為：__0.567____。
38. 費(fèi)諾不等式解釋了 PE 與信道疑義度 H(X|Y)是有一定關(guān)系的,其關(guān)系是：_____________ H(X|Y) ≦H(PE)+ PElog(r-1)_________
39. 長(zhǎng)度為 n 的兩個(gè)二進(jìn)制序列（碼字）ai 和 bj 之間的距離是 ai 和 bj 之間對(duì)應(yīng)位置上碼元取值不同的個(gè)數(shù)用符號(hào) D(ai, bj)表示,這種碼間距離通常稱為__ 漢明距離_________。
40. Dmin 越大,PE 越__ 小__,Dmin 越__ 小__,PE 越__ 大__。
41. 由信道逆定理可得：
要使信息傳輸率大于信道容量而又無錯(cuò)誤地傳輸消息是不可能的_____ 。
42. 對(duì)于組合 000、001、010、011、100、101、110、111。選用 000、001、010、011 為許用碼,其它碼為__ 禁用碼組______。
43. 信道編碼的目的是為減少差錯(cuò),提高可靠性,信道編碼根據(jù)其不同效用,可分為____ 檢錯(cuò)碼、糾錯(cuò)碼______________。
44. 在信道編碼中,定義碼組中_ 非零____碼元的數(shù)目為碼組的重量,簡(jiǎn)稱碼重。
45. 一種編碼的最小碼距直接關(guān)系到這種碼的___ 檢錯(cuò)和糾錯(cuò)能力____________。
46. 奇偶校驗(yàn)只能發(fā)現(xiàn)_ 單個(gè)或奇數(shù)個(gè)_________錯(cuò)誤,而不能檢測(cè)出_ 偶數(shù)____個(gè)錯(cuò)誤。
47. 碼字能糾、檢錯(cuò)的充要條件：
是碼字的一些碼元發(fā)生錯(cuò)誤后, 這個(gè)錯(cuò)的碼字還碼元變成其他碼字____ 。
48. 無論是無噪信道還是有噪信道,只要信息速率 R（
�。┬诺廊萘� C,總能找到 一種編碼,使在信道上能以任意小的概率,以任意接近 C 的傳輸率來傳送信息,-- （ 小于)
49. 無論是無噪信道還是有噪信道,無失真的離散信源編碼和有噪信道編碼傳輸率 R 大于信道容量 C,總不能實(shí)現(xiàn)（
）的傳輸,----（ 無失真). 50. 在允許一定失真 D 的情況下,信源輸出信道傳輸率可壓縮到（
）。－－ Ｒ（Ｄ); 51. 當(dāng)信源給定后,無失真信源壓縮的極限值是（
�。�；而失真信源壓縮的極限值是（
�。�-［ 信源熵Ｈ（Ｕ);; 失真函數(shù)Ｒ（Ｄ)］ 52. （
�。┦怯脕頊y(cè)量信號(hào)發(fā)出符號(hào)Ｕｉ而在接收端再現(xiàn)成接收符號(hào)集中的符號(hào)ＶＪ所引起的失真或誤差；－－（ 失真函數(shù)／失真度）； 53. 允許失真Ｄ是否能達(dá)到其下線值零,則只有當(dāng)失真矩陣中（
）有一個(gè)零元素是信源的平均失真才能達(dá)到下線值；－（ 至少）
54. 當(dāng)Ｄｍｉｎ＝０時(shí),表示心愿不允許任何失真存在,則只有當(dāng)時(shí)真矩陣每行至少有一個(gè)零,并且每列（
�。┲挥幸粋�(gè)零,才能使Ｒ（０）＝Ｈ（ｎ）成立。－－（最 最多）
55. 當(dāng)Ｄ＝０時(shí),Ｒ(Ｄ) ,這點(diǎn)說明在連續(xù)信源情況下,要（
�。┑妮敵鍪遣荒軌虻�；－ －（無失真的傳送信源）
56. 根據(jù)率失真函數(shù)Ｒ(Ｄ),的性質(zhì),我們可以知道Ｒ(Ｄ）函數(shù)具有單調(diào)遞減性和連續(xù)性,Ｒ（Ｄ）是Ｄ的（
）；－－（ 下凸函數(shù)）
57. 在噪聲信道中,對(duì)于同一失真Ｄ,Ｒ越大,Ｒ(Ｄ)就（
�。�,信源壓縮特性越小,分層越多；－－（ 越大）
58. 設(shè)Ｒ(Ｄ)為一離散無記憶信源的率失真函數(shù),如果編碼后平均每個(gè)信源符號(hào)的信息傳輸Ｒ">Ｒ(Ｄ),則一定存在一種（
�。�,使編碼后的平均失真度ｄ(Ｃ) Ｄ。－－（ 信源編碼）
59. 當(dāng)編碼后平均每個(gè)信源符號(hào)的信息傳輸率Ｒ"小于率失真函數(shù)Ｒ(Ｄ)時(shí),無論采用什么編碼方式,一定有（
�。�；－－（ 平均失真度 （ｃ）＞Ｄ ）
60. 在允許失真Ｄ確定后,總存在一種編碼方式,使編碼后的信息傳輸率Ｒ"大于Ｒ(Ｄ)且可任意接近于Ｒ(Ｄ),而（
�。┬∮谠试S失真Ｄ。－－（ 平均失真）
61. 比較香農(nóng)第一定理和第三定理可知,當(dāng)信源給定后,信源的（
�。┖瘮�(shù)可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種尺度。－－（ ( Ｄ) ) 62. 根據(jù)香農(nóng)第二定理,由存在一種信道編碼,使壓縮后的信源通過信道傳輸后,錯(cuò)誤概率趨于零。因此在接收端再現(xiàn)信源的消息時(shí),總的失真或錯(cuò)誤不會(huì)超過（
�。�。－－（ 允許失真）
選擇題 單項(xiàng)選擇題 1.下面表達(dá)式中正確的是（A
�。�。
A.
B.
C.
D.
2.彩色電視顯像管的屏幕上有 5×10 5
個(gè)像元,設(shè)每個(gè)像元有 64 種彩色度,每種彩度又有 16 種不同的亮度層次,如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn),并且各個(gè)組合之間相互獨(dú)立。每秒傳送 25 幀圖像所需要的信道容量（C
）。
A. 50?10 6
B. 75?10 6
C. 125?10 6
D. 250?10 6
3.已知某無記憶三符號(hào)信源 a,b,c 等概分布,接收端為二符號(hào)集,其失真矩陣為 d= ,則信源的最大平均失真度 為（ D ）。
A. 1/3
B. 2/3
C. 3/3
D. 4/3
4.線性分組碼不具有的性質(zhì)是（ C
）。
A.任意多個(gè)碼字的線性組合仍是碼字 B.最小漢明距離等于最小非 0 重量 C.最小漢明距離為 3 D.任一碼字和其校驗(yàn)矩陣的乘積 c m H T =0 5.率失真函數(shù)的下限為（ B）。
A .H(U)
B.0
C.I(U; V)
D.沒有下限 6.糾錯(cuò)編碼中,下列哪種措施不能減小差錯(cuò)概率（ D ）。
A. 增大信道容量
B. 增大碼長(zhǎng)
C. 減小碼率
D. 減小帶寬 7.一珍珠養(yǎng)殖場(chǎng)收獲 240 顆外觀及重量完全相同的特大珍珠,但不幸被人用外觀相同但重量?jī)H有微小差異的假珠換掉 1 顆。一人隨手取出 3 顆,經(jīng)測(cè)量恰好找出了假珠,不巧假珠又滑落進(jìn)去,那人找了許久卻未找到,但另一人說他用天平最多 6 次能找出,結(jié)果確是如此,這一事件給出的信息量（ A ）。
A. 0bit
B. log6bit
C. 6bit
D. log240bit 8.下列陳述中,不正確的是（ D
）。
A.離散無記憶信道中,H（Y）是輸入概率向量的凸函數(shù) B.滿足格拉夫特不等式的碼字為惟一可譯碼 C.一般地說,線性碼的最小距離越大,意味著任意碼字間的差別越大,則碼的檢錯(cuò)、
糾錯(cuò)能力越強(qiáng) D.滿足格拉夫特不等式的信源是惟一可譯碼 9.一個(gè)隨即變量 x 的概率密度函數(shù) P(x)= x /2, ,則信源的相對(duì)熵為（ C ）。
A . 0.5bit
B. 0.72bit
C. 1bit
D. 1.44bit 10.下列離散信源,熵最大的是（ D ）。
A. H（1/3,1/3,1/3）；
B. H（1/2,1/2）；
C. H（0.9,0.1）；
D. H（1/2,1/4,1/8,1/8) 11.下列不屬于消息的是（ B ）。
A.文字
B.信號(hào)
C.圖像
D.語(yǔ)言 12.為提高通信系統(tǒng)傳輸消息有效性,信源編碼采用的方法是（ A ）。
A.壓縮信源的冗余度
B.在信息比特中適當(dāng)加入冗余比特 C.研究碼的生成矩陣
D.對(duì)多組信息進(jìn)行交織處理 13.最大似然譯碼等價(jià)于最大后驗(yàn)概率譯碼的條件是（ D ）。
A.離散無記憶信道
B.無錯(cuò)編碼
C.無擾信道
D.消息先驗(yàn)等概 14.下列說法正確的是（
C
�。�
A.等重碼是線性碼
B.碼的生成矩陣唯一 C.碼的最小漢明距離等于碼的最小非 0 重量
D.線性分組碼中包含一個(gè)全 0 碼字 15.二進(jìn)制通信系統(tǒng)使用符號(hào) 0 和 1,由于存在失真,傳輸時(shí)會(huì)產(chǎn)生誤碼,用符號(hào)表示下列事件,u0:一個(gè) 0 發(fā)出
u1:一個(gè) 1 發(fā)出
v0 :一個(gè) 0 收到
v1:一個(gè) 1 收到
則已知收到的符號(hào),被告知發(fā)出的符號(hào)能得到的信息量是（
A
�。�。
A. H(U/V)
B. H(V/U)
C. H(U,V)
D. H(UV) 16. 同時(shí)扔兩個(gè)正常的骰子,即各面呈現(xiàn)的概率都是 1/6,若點(diǎn)數(shù)之和為 12,則得到的自信息為（ B ）。
A. －log36bit
B. log36bit
C. －log (11/36)bit
D. log (11/36)bit 17.下列組合中不屬于即時(shí)碼的是（ A
�。�。
A. { 0,01,011}
B. {0,10,110}
C. {00,10,11}
D. {1,01,00} 18.已知某（6,3）線性分組碼的生成矩陣 ,則不用計(jì)算就可判斷出下列碼中不是該碼集里的碼是（
D
�。�。
A. 000000
B. 110001
C. 011101
D. 111111 19.一個(gè)隨即變量 x 的概率密度函數(shù) P(x)= x /2, ,則信源的相對(duì)熵為（
C
�。�。
A. 0.5bit/符號(hào)
B. 0.72bit/符號(hào)
C. 1bit/符號(hào)
D. 1.44bit/符號(hào) 20.設(shè)有一個(gè)無記憶信源發(fā)出符號(hào) A 和 B,已知 ,發(fā)出二重符號(hào)序列消息的信源,無記憶信源熵
為（
A
）。
A.0.81bit/二重符號(hào)
B.1.62bit/二重符號(hào)
C.0.93 bit/二重符號(hào)
D .1.86 bit/二重符號(hào) 21.下列哪一項(xiàng)不屬于最簡(jiǎn)單的通信系統(tǒng)模型（ ）
A.信源 B.加密 C.信道 D.信宿 22.同時(shí)擲一對(duì)均勻的骰子,骰子的各面呈現(xiàn)的概率都是 1/6,則“3 和 5 同時(shí)出現(xiàn)”這個(gè)事 件的自信息量是 （
B
）
A 4.17 tet
B 4.17 bit
C 4.17 tet
D 5.17 bit 23.信道剩余度與下列哪個(gè)變量無關(guān) （
C
�。�
A 信道容量 C
B 信源通過信道實(shí)際傳輸?shù)钠骄畔⒘?I(x;y) C 信源的熵 H(X)
D 以上都不對(duì) 24.下列說法錯(cuò)誤的是 (
A
) A 條件熵 隨著 N 的增加是遞增的 B
C 隨著 N 的增加是非遞增的
D 存在,且
25.在傳輸圖片時(shí),每幀有 2.25 個(gè)像素,每個(gè)像素有 12 個(gè)等概率出現(xiàn)的亮度等級(jí),信噪比為 30dB,若每 3min 傳送一張圖片,則所需的信道帶寬為 （
A
�。�
A
4.5kHz
B
5.5kHz C
8.96kHz
D
44.81kHz 26.輸入和輸出存確定的在一一對(duì)應(yīng)關(guān)系的信道稱為 （
D
�。�
A 有噪有損信道
B 無噪有損信道 C 有噪無損信道
D 無噪無損信道 27.設(shè)信源 S={ },碼符號(hào)集為 X={ },又設(shè)碼字為 ,其分別對(duì)應(yīng)的碼長(zhǎng)為 ,則下列說法正確的是 （
A
�。�
A 唯一可譯碼一定滿足不等式
B 滿足不等式 的碼一定是唯一可譯碼 C 如果滿足不等式 ,則不一定能構(gòu)成唯一可譯碼 D 以上說法都不對(duì) 28.下列編碼方法中,不屬于變長(zhǎng)編碼的是 （
C
�。�
A 莫爾斯電報(bào)碼
B 費(fèi)諾碼 C BCD 碼
D 霍夫曼碼 29.設(shè)信源 ,則其信源剩余度為 （
B
�。�
A 0
B 1/4
C 1/2
D 3/4 30.下列說法中,正確的是 （
B
）
A 在任一碼中,碼的最小距離 與該碼的譯碼錯(cuò)誤概率無關(guān) B 在任一碼中,碼的最小距離 與該碼的譯碼錯(cuò)誤概率有關(guān) C 在有噪信道中,傳輸?shù)钠骄e(cuò)誤概率 與編碼方法有關(guān)而與譯碼方法無關(guān) D 在有噪信道中,傳輸?shù)钠骄e(cuò)誤概率 與編碼方法無關(guān)而與譯碼方法有關(guān) 判斷題 1.信息就是一種消息。（
�。�
2.互信息量可正可負(fù),也可為零。（
�。�
3.當(dāng)隨機(jī)變量相互獨(dú)立時(shí),條件熵等于信源熵。（
�。�
4.信源熵具有嚴(yán)格的下凸性。（
�。�
5.連續(xù)信源和離散信源的平均互信息量都具有非負(fù)性。（
）
6.一維高斯分布的連續(xù)信源,其信源熵只與其均值和方差有關(guān)。（
）
7.所謂信道容量就是信道中能夠傳送的最大信息量。（
�。�
8.信道的信息傳輸速率就是平均互信息量,即
bit/符號(hào)。（
�。�
9.信道容量 C 不僅與信道統(tǒng)計(jì)特性有關(guān),還與輸入信源的概率分布有關(guān)（
�。�
10.求信道容量是互信息量 求極大值的問題。（
�。�
11.對(duì)于無損信道,其信道容量為 。（
�。�
12.高斯白噪聲信道是平均功率受限條件下的最差信道。（
�。�
13、唯一可譯碼是一個(gè)碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被唯一地譯成所對(duì)應(yīng)的信源符號(hào)序列,等長(zhǎng)非奇異碼一定是唯一可譯碼。（
�。�
14、一個(gè)熵為 H（S）的離散無記憶信源。若對(duì)信源長(zhǎng)為 N 的符號(hào)序列進(jìn)行等長(zhǎng)編碼,設(shè)碼字是從 r 個(gè)符號(hào)組成的碼符號(hào)集中選取 L 個(gè)碼符號(hào)組成的,若對(duì)于任意 ＞0,只要滿足 ≥ ,幾乎可實(shí)現(xiàn)無失真編碼。（
�。�
15、信源編碼的目是提高傳輸有效性,即用盡可能短的碼符號(hào)序列代表信源符號(hào)。（
�。�
16、無失真信源編碼定理證明,如果對(duì)信源序列進(jìn)行編碼,當(dāng)序列長(zhǎng)度足夠長(zhǎng)時(shí) ,存在無失真編碼使得傳送每個(gè)信源符號(hào)所需的比特?cái)?shù)接近信源的熵。（
�。�
17、對(duì)于定長(zhǎng)碼, 只要非奇異就唯一可譯。這就要求碼字的數(shù)目不少于被編碼的信源序列的個(gè)數(shù)。（
�。�
18、滿足 Kraft 不等式并不一定唯一可譯,因?yàn)槠娈惔a可能滿足 kraft 不等式。（
）
19.信源的熵為無限大,而信道容量總是有限的,所以不可能實(shí)現(xiàn)無失真?zhèn)鬏�。�?/p>
）
20.在一定失真度 D 的條件下,盡可能用最少的碼符號(hào)來傳送信源消息,使信源的消息盡快地傳送出去,以提高通信的可靠性。（
�。�
21.只有當(dāng)失真矩陣中至少有一個(gè)零,并且每列最少有一個(gè)零時(shí) R(0)=H(u)才成立。（
�。�
22.對(duì)連續(xù)平穩(wěn)信源,無法進(jìn)行無失真信源編碼,因而必然是限失真信源編碼。（
）
23.率失真函數(shù) R(D)表示當(dāng)失真不超過 D 時(shí)傳輸所需要的平均互信息量。（
�。�
24.平均失真度對(duì)信源和信道都做了統(tǒng)計(jì)平均,是一個(gè)描述總體特性的參量。（
�。�
25.奇偶校驗(yàn)碼是一種常見的檢錯(cuò)碼,它不僅可以發(fā)現(xiàn)單個(gè)或奇數(shù)個(gè)錯(cuò)誤,還可以檢測(cè)出偶數(shù)個(gè)錯(cuò)誤。（
�。�
26.線性分組碼能糾、檢錯(cuò)誤的充要條件是碼子的某些碼元發(fā)生錯(cuò)誤后,錯(cuò)誤的碼子還沒有變成其他碼字。（
�。�
27.對(duì)信道進(jìn)行編碼時(shí),可使錯(cuò)誤概率降低的同時(shí)又增大信息傳輸速度。
28.碼的最小漢明距離與該碼的譯碼錯(cuò)誤概率有關(guān)。（
）
29.香農(nóng)第二定理的內(nèi)容是：在信息傳輸率 R 不大于信道容量 C 時(shí),可以找到一種編碼,可使信道輸出端的錯(cuò)誤概率任意小,而 R 仍可以無限地接近 C。（
�。�
30.最小漢明距離為 Dmin 的線性分組碼可以檢測(cè)的最大錯(cuò)誤個(gè)數(shù)為 Dmin-1 （
�。�
答案:1.錯(cuò) 2.對(duì) 3.對(duì) 4.錯(cuò) 5.對(duì) 6.錯(cuò) 7.對(duì) 8.對(duì) 9.錯(cuò) 10.對(duì) 11.錯(cuò) 12.對(duì) 13.對(duì) 14.錯(cuò) 15.對(duì) 16.對(duì) 17.對(duì) 18.對(duì) 19.對(duì) 20.錯(cuò) 21.錯(cuò) 22.對(duì) 23.錯(cuò) 24.對(duì) 25.錯(cuò) 26.對(duì) 27.錯(cuò) 28.對(duì) 29.對(duì) 30.對(duì) 簡(jiǎn)答題 1. 根據(jù)信息論的各種編碼定理和通信 系統(tǒng)指標(biāo), , 編碼問題可分解為幾類, , 分別是什么？
答：3 類,分別是：信源編碼,信道編碼,和加密編碼。
2. 對(duì)于一個(gè)一般的通信系統(tǒng), 試給出其系統(tǒng)模型框圖, 并結(jié)合此圖, 解釋數(shù)據(jù)處理定理。
答：通信系統(tǒng)模型如下：
數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出 X、Y、Z 組成一個(gè)馬爾可夫鏈,且有 , 。說明經(jīng)數(shù)據(jù)處理后,一般只會(huì)增加信息的損失。
3 3. . 什么是平均自信息量與平均互信息, , 比較一下這兩個(gè)概念的異同？
答：平均自信息為: 表示信源的平均不確定度,也表示平均每個(gè)信源消息所提供的信息量。
平均互信息: 表示從 Y 獲得的關(guān)于每個(gè) X 的平均信息量,也表示發(fā) X 前后 Y 的平均不確定性減少的量,還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。
4. 簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有 m m 個(gè)符號(hào)的離散信源, , 其最大熵是多少？
答：最大離散熵定理為：離散無記憶信源,等概率分布時(shí)熵最大。
最大熵值為 。
5. 熵的性質(zhì)什么？
答：非負(fù)性,對(duì)稱性,確定性,香農(nóng)輔助定理,最大熵定理。
6. 解釋信息傳輸率、信道容量、最佳輸入分布的概念, , 說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？
答：信息傳輸率 R 指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。
平均互信息是信源概率分布的∩型凸函數(shù),是信道傳遞概率的 U 型凸函數(shù)。
7. 信道疑義度的概念和物理含義？
答：概念：
物理含義：輸出端收到全部輸出符號(hào) Y 以后,對(duì)輸入 X 尚存在的平均不確定程度。
8. 寫出香農(nóng)公式, , 并說明其物理意義。當(dāng)信道帶寬為 5000Hz, 信噪比為 B 30dB 時(shí)求信道容量。
答：香農(nóng)公式為
,它是高斯加性白噪聲信道在單位時(shí) 間內(nèi)的信道容量,其值取決于信噪比和帶寬。
由 得 ,則
9. 解釋無失真變長(zhǎng)信源編碼定理? ?
答：只要 ,當(dāng) N 足夠長(zhǎng)時(shí),一定存在一種無失真編碼。
10. 解釋有噪信道編碼定理？
答：當(dāng) R＜C 時(shí),只要碼長(zhǎng)足夠長(zhǎng),一定能找到一種編碼方法和譯碼規(guī)則,使譯碼錯(cuò)誤概率無窮小。
11. 最佳變長(zhǎng)編碼有哪些？ 答：香農(nóng)編碼方法,費(fèi)諾編碼方法和哈夫曼編碼方法。
12. 解釋等長(zhǎng)信源編碼定理和無失真變長(zhǎng)信源編碼定理, , 說明對(duì)于等長(zhǎng)碼和變長(zhǎng)碼, , 最佳碼的每符號(hào)平均碼長(zhǎng)最小為多少？編碼效率最高可達(dá)多少？
答：等長(zhǎng)信源編碼定理：對(duì)于任意 ,只要 ,則當(dāng) L 足夠長(zhǎng)時(shí)必可使譯碼差錯(cuò) 。
變長(zhǎng)信源編碼定理：只要 ,一定存在一種無失真編碼。
等長(zhǎng)碼和變長(zhǎng)碼的最小平均碼長(zhǎng)均為 ,編碼效率最高可達(dá) 100%。
13. 解釋最小錯(cuò)誤概率譯碼準(zhǔn)則, , 最大似然譯碼準(zhǔn)則和最小距離譯碼準(zhǔn)則, , 說明三者的關(guān)系。
答：最小錯(cuò)誤概率譯碼準(zhǔn)則下,將接收序列譯為后驗(yàn)概率最大時(shí)所對(duì)應(yīng)的碼字。
最大似然譯碼準(zhǔn)則下,將接收序列譯為信道傳遞概率最大時(shí)所對(duì)應(yīng)的碼字。
最小距離譯碼準(zhǔn)則下,將接收序列譯為與其距離最小的碼字。
三者關(guān)系為：輸入為等概率分布時(shí),最大似然譯碼準(zhǔn)則等效于最小錯(cuò)誤概率譯碼準(zhǔn)則。在二元對(duì)稱無記憶信道中,最小距離譯碼準(zhǔn)則等效于最大似然譯碼準(zhǔn)則。
14. 什么是保真度準(zhǔn)則？對(duì)二元信源 , , 其失真矩陣 , ,求 求 0 a>0 時(shí)率失真函數(shù)的 和 ？
答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。
2）因?yàn)槭д婢仃囍忻啃卸加幸粋�(gè) 0,所以有 ,而 。
15. 差錯(cuò)控制系統(tǒng)分類有哪些？ 答：前向糾錯(cuò),反饋重發(fā),混合糾錯(cuò)。
16. 分別說明信源的概率分布和信道轉(zhuǎn)移概率對(duì)平均互信息的影響, , 說明平均互
均互信息的最大值為信道容量 17. 香農(nóng)第二定理的內(nèi)容和含義？
答：內(nèi)容：設(shè)有一離散無記憶平穩(wěn)信道,其信道容量為 C ,只要待傳送的信息傳輸率 R ＜ C ,則存在一種編碼,當(dāng)輸入序列長(zhǎng)度 n 足夠大,使譯碼錯(cuò)誤概率任意小. 含義：只要 R ＜ C ,就可以在有噪信道中以任意小的錯(cuò)誤概率( ＜ ? )傳輸信息. 信息與信道容量的關(guān)系。
答：平均互信息相對(duì)于信源概率分布為上凸函數(shù),相對(duì)于信道傳遞概率分布為下凹函數(shù)。平
當(dāng)輸入序列長(zhǎng)度 n 足夠大時(shí),可以以任意接近信道容量 C 的信息傳輸率傳遞信息。
計(jì)算題 1． 假設(shè)集合 ,其中 ,求集合 的熵
2.已知二維隨機(jī)變量 的聯(lián)合概率分布 為
求
解：
由 XY 的聯(lián)合概率可以知道 X 的概率為
（2）由 得
,
又由 可得
,
,
所以
.試畫出三元對(duì)稱信道在理想（無噪聲）和強(qiáng)噪聲（輸出不依賴輸入）情況下的信道模型,設(shè)信道輸入等概率分布
轉(zhuǎn)移概率全部為
在傳輸圖片時(shí),每幀有 個(gè)像素,每個(gè)像素有 12 個(gè)等概率出現(xiàn)的亮度等級(jí),信噪比為 30dB。
�、� 每 3 分鐘傳送一張圖片,求所需的信道帶寬。
�、� 若信道帶寬為 4kHz,問傳送一張圖片需多少時(shí)間。
答案：書 p89 有一離散無記憶信源
現(xiàn)在用二進(jìn)制符號(hào) 來構(gòu)造一個(gè)即時(shí)碼
求這個(gè)信息傳輸率
解：
這時(shí)平均碼長(zhǎng)
信息傳輸率
一個(gè)二進(jìn)制對(duì)稱信道如圖所示
現(xiàn)有一個(gè)信道編碼為{000,111},來傳遞{0,1}的信息 求他的信息傳輸速率 ,錯(cuò)誤概率
解：
信道矩陣為
根據(jù)最大似然規(guī)則,算出譯碼后的錯(cuò)誤概率為
科教興國(guó)
相關(guān)熱詞搜索：信息論
熱點(diǎn)文章閱讀