《信息论基础》答案
一、填空题（共 15 分，每空 1 分) １、若一连续消息通过某放大器，该放大器输出得最大瞬时电压为 b,最小瞬时电压为a.若消息从放大器中输出，则该信源得绝对熵就是
无穷大
;其能在每个自由度熵得最大熵就是 。
2、高斯白噪声信道就是指
信道噪声服从正态分布,且功率谱为常数
。
3、若连续信源得平均功率为５ W，则最大熵为,达到最大值得条件就是
高斯信道
。
４、离散信源存在剩余度得原因就是
信源有记忆（或输出符号之间存在相关性)
与
不等概
. 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到
1
。
6、离散无记忆信源在进行无失真变长信源编码时,码字长度就是变化得。根据信源符号得统计特性,对概率大得符号用
短
码,对概率小得符号用
长
码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源得最小熵为
０
，最大熵为 。
８、一个事件发生概率为 0、125，则自信息量为 。
9、在下面空格中选择填入数字符号“”或“〈”
=
二、判断题（正确打√,错误打×）（共 5 分,每小题 1 分）
1) 离 散 无 记 忆 等 概 信 源 得 剩 余 度 为 0 。
（ √ ）
2) 离 散 无 记 忆 信 源 N 次 扩 展 源 得 熵 就 是 原 信 息 熵 得 N 倍
（ √ ）
3) 互 信 息 可 正 、 可 负 、 可 为 零 。
（ √ ）
4) 信源得真正功率永远不会大于熵功率,即
（ × ）
5) 信 道 容 量 与 信 源 输 出 符 号 得 概 率 分 布 有 关 。
( × ) 三、（５分）已知信源得概率密度函数如下图所示,求信源得相对熵
四、（15 分)设一个离散无记忆信源得概率空间为
它们通过干扰信道,信道输出端得接收信号集为,已知信道出书概率如下图所示。
试计算：
（1）
信源中事件得自信息量；（3 分) （2）
信源得信息熵；（３分) （3）
共熵;(3 分）
（4）
噪声熵;（3 分）
（5）
收到信息后获得得关于信源得平均信息量。（３分)
(1）
(2) （3) (４）
（5) 五、（10 分）一个平均功率受限得连续信道，信道带宽为 10ＭHｚ，信道噪声为高斯白噪声。)１(
.量蓉道信得道信该算计，３6 为值比率功均平得声噪与号信得上道信知已? （2)如果信道带宽降为２MHz，要达到相同得信道容量,信道上得信号与噪声得平均功率比值应为多少？
（1) （2）
六、（10 分)已知信源共 7 个符号信息，其概率空间为
（1）
试用霍夫曼编码法编成二进制变长码。（7 分) （2）
计算信源熵,平均码长与编码效率。（9 分) （1）
1s2s3s4s5s6s7s0.20.20.20.10.10.10.10000001111110.40.60.20.20.40.1123456700010011100101110111sssssss???????(７分）
（2）
分）
（3 分）
七、（１0 分)设给定两随机变量与,它们得联合概率密度为
求随机变量得概率密度函数，并计算变量得熵。
已知得
（2 分) 则
（２分）
所以与独立，所以 y 为高斯分布 因为
所以
（２分) 所以
（２分）
所以
(2) 八、(10 分）设某信道得传递矩阵为
计算该信道得信道容量,并说明达到信道容量得最佳输入概率分布。
解:s=４
(2 分)
(2 分) 最佳概率分布当输入概率
（2 分) 九、(1４分）设有一个马尔可夫信源,如果为时，为、、得概率为 1／3;如果为时,为、、得概率为１/3；如果为时,为、得概率为 1/2。而且后面发得概率只与有关，又。
（1)写出转移概率矩阵 (2）计算达到稳定后状态得极限概率. (3)该马尔可夫信源得极限熵 解 （1）
(4 分) (２）
（3 分) （３）
