信息论习题一二答案参考

时间:2021-08-31

  信息论习题一、二答案参考

  1.一个随即变量x的概率密度函数P(x)= x /2,0≤x≤2V,则信源的相对熵为( )。

  A. 1.44bit/符号

  B. 1bit/符号 正确

  C. 0.5bit/符号

  D. 0.72bit/符号

  2.下列不属于消息的是( )

  A. 文字

  B. 图像

  C. 语言

  D. 信号

  3.下列哪一项不属于最简单的通信系统模型( )

  A. 信宿

  B. 加密

  C. 信道

  D. 信源

  4.下列离散信源,熵最大的是( )。

  A. H(1/2,1/2)

  B. H(1/2,1/4,1/8,1/8)

  C. H(1/3,1/3,1/3)

  D. H(0.9,0.1)

  5.下面哪一项不属于熵的性质( )

  A. 对称性

  B. 确定性

  C. 完备性

  D. 非负性

  6.同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为( )。

  A. -log36bit

  B. log36bit

  C. -log (11/36)bit

  D. log (11/36)bit

  7.对连续信源的熵的描述不正确的是( )。

  A. 连续信源的熵和离散集的熵形式一致,只是用概率密度代替概率,用积分代替求和

  B. 连续信源的熵由相对熵和无穷大项构成

  C. 连续信源的熵值无限大

  D. 连续信源的熵可以是任意整数

  9.相对熵()。

  A. 总非负

  B. 总为正

  C. 总为负

  D. 都不对

  9.英文字母有26个,加上空格共27个符号,由此H0(X)=4.76bit/符号,根据有关研究H∞(X)=1.4 bit/符号,则冗余度为() 。

  A. 0.71

  B. 0.51

  C. 0.11

  D. 0.31

  10.设信源S,若P(s1)=1/2、P(s2)=1/4、P(s3)=1/4,则其信源剩余度为 ( )。

  A. 3/4

  B. 0

  C. 1/4

  D. 1/2

  11.设有一个无记忆信源发出符号A和B,已知p(A)=1/4,p(B)=3/4,发出二重符号序列消息的信源,则二次扩展信源熵 为( )。

  A. 0.81bit/二重符号

  B. 1.86 bit/二重符号

  C. 0.93 bit/二重符号

  D. 1.62bit/二重符号

  12.H(X/X)=0。(对)

  13.一维高斯信源的熵只与其均值和方差有关;(错)

  14.一维高斯信源的相对熵只与其方差有关;(对)

  15.互信息量可正、可负亦可为零。(对)

  16.信息就是一种消息。(错)

  17.信源符号的概率越大,不确定性就越小,接受者获得的信息量就越大。(错)

  18.冗余度是表征信源信息率多余程度的物理量,它描述的是信源的剩余。(错)

  19.在信息处理过程中熵不会增加。(对)

  20.在信息处理过程中,处理的次数越多得到的信息量也就越大。(错)

  21.对平稳离散有记忆信源有:H0(X)≥H1(X)≥H2(X)……≥H∞(X)。(对)

  22.平均互信息I(X;Y)与信息熵H(Y)的关系为:I(X;Y)≤H(Y)。(对)

  23.平稳信源发出的符号序列的概率分布与时间起点无关。(对)

  24.当随机变量X和Y是确定的一一对应关系时,I(X;Y)=0。(错)

  25.相对熵为零的连续信源的平均不确定性为零(错)

  26.确定性信源的信源熵为零。(对)

  27.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。(错)

  28.离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍;(对)

  29.符号出现的概率与信息量是单调递减关系。(对)

  30.若某符号出现的概率为1,则该符号的自信息量为∞。(错)

  31.运用概率论和随机过程的理论来研究信息是香农信息论的基本点。(对)

  32.连续信源的平均不确定性为零;(错)

  33.连续信源的相对熵非负;(错)