一、填空
1. 信息论基础主要研究 、 、 等问题。
2. 必然事件的自信息量是 ，不可能事件的自信息量是 。 3. 若把掷骰子的结果作为一离散信源，则信源熵为 。 4. 当事件xi和yj彼此之间相互时，平均互信息量为 。 5. 若二维平稳信源的信源熵为3bit/sign，则其平均符号熵为 。 6. 信源熵H(X)表示信源输出后每个消息所提供的 。 7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜
色所需的信息量为 。
8. 单符号离散信源是用 来描述的，则多符号离散信源用 来
描述。
9. 平均互信息量与信息熵、联合熵的关系是 。 10. 条件熵H（x|y）和无条件熵H（X）的关系是 。 11. 对于理想信道，H（x|y）等于 ；I（x；y）= 。
12. 若YZ统计，则H（YZ）和H（Y）、H（Z）之间的关系是 。 13. 对某含有7个消息的信源，其熵的最大值为 ，对应为 分布。
14. 十六进制脉冲所含的信息量是四进制脉冲的 倍。 15. 八进制脉冲所含的信息量是二进制脉冲的 倍。 16. 十六进制脉冲所含的信息量是二进制脉冲的 倍。
17. 离散平稳无记忆信源的N次扩展信源的熵等于离散信源熵的 倍。
18. 离散信源的熵越小，则该信源消息之间的平均不确定性 。 19. 离散信源分为 和 。 20. R(D)是D的 函数。 二、解释下列名词 自信息量： 互信息量：
离散信源：离散无记忆序列信源：无记忆离散信源：有记忆离散信源：
冗余度:
信息率失真函数: 3.简答
简述信息、消息、信号及其区别。
信息量、联合自信息量和条件自信息量三者之间的关系。 简述信源熵物理含义。 描述最大离散熵定理的内容。
简答描述单符号离散信源的数学模型。
信源熵、条件熵、联合熵之间的关系。
简述香农第二定理的内容。
简述一个通信系统包括的各主要功能模块及其作用 四、大题
1.某地二月份天气的概率分布统计如下：晴天的概率是1/2，阴天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求此四种气候的自信息量分别的是多少？
2.英文字母中“e”出现的概率是0.105，“c”出现的概率是0.023,“o”出现的概率
是0.001。分别计算其自信息量。
3.一个布袋内放有100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。
4.居住某地区的女孩子有20%是大学生，在女大学生中有60%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
5.一信源有4种输出符号码，Xi(i=0,1,2,3)，且p(Xi)=1/4。设信源向信宿发
出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。于是信源再次向信宿发送该符号(X3)，信宿无误收到。问信源在两次发送中发出的信息量各是多少?信宿在两次接收中得到的信息量又各是多少?
6.画出一个通信系统包括的各主要功能模块。
7.设信源符号X∈｛0，1｝,编码器输出符号Y∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0；d(0,1)＝d(1,0)=1；d(0,2)＝d(1,2)＝0.5, 求失真矩阵d。Dmax 8.一个信源含有三个消息,概率分布为p1=0.2,p2=0.3,p3=0.5,失真函数矩阵为
420[d]032201
求:Dmax,Dmin, R(Dmax),R(Dmin)
9.设输入输出符号X=Y={0，1}，输入概率分布为p(x)={1/3,2/3}，失真矩阵为
d(x,y),d(x1,y2)0,1d11 求Dmax。Dmin d(x2,y1),d(x2,y2)1,0
