第二章曹雪虹习题答案[1].doc 22页

'2.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，，，，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由得计算可得2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。解： 于是可以列出转移概率矩阵：状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有得计算得到2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)(2)(3) 两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2-4 2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大学生的信息量即：2.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率该消息自信息量2）因圆点之和为7的概率该消息自信息量2.7设有一离散无记忆信源，其概率空间为（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：同理可以求得 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：平均每个符号携带的信息量为bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9“－”用三个脉冲“●”用一个脉冲(1)I(●)=I(－)＝(2)H=2-10(2)P(黑/黑)=P(白/黑)=H(Y/黑)=(3)P(黑/白)=P(白/白)=H(Y/白)=(4)P(黑)=P(白)=H(Y)=2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知（1）bit/符号（2）bit/符号（3）bit/符号2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率为（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率为YXy1y2y3x17/241/240x21/241/41/24x301/247/24=2.3bit/符号X概率分布Xx1x2x3P8/248/248/24bit/符号Y概率分布是=0.72bit/符号Yy1y2y3P8/248/248/24 2.13有两个二元随机变量X和Y，它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)Z=XY的概率分布如下： (2)(3) 2-14(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15P(j/i)=2.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解：（1）bit/符号P(黑|白)=P(黑) P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）＝0.512bit/符号2.17每帧电视图像可以认为是由3Í105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)2)3)2.20给定语音信号样值X的概率密度为,,求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解： 2.24连续随机变量X和Y的联合概率密度为：，求H(X),H(Y),H(XYZ)和I(X;Y)。（提示：）解： 2.25某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。解：(1)(2)(3)2-26 P(i)=P(ij)=H(IJ)=2.29有一个一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P(Xr)为，转移概率如下图所示ji1231231/22/32/31/401/31/41/30(1)求的联合熵和平均符号熵(2)求这个链的极限平均符号熵(3)求和它们说对应的冗余度解：（1）符号X1，X2的联合概率分布为12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布为那么=1.209bit/符号 X2X3的联合概率分布为12317/247/487/4825/3605/1235/365/120那么=1.26bit/符号/符号所以平均符号熵／符号（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为由得到计算得到又满足不可约性和非周期性/符号(3)/符号/符号/符号 2-30(1)求平稳概率P(j/i)=解方程组得到(2)信源熵为:2-31P(j/i)=解方程组得到W1=,W2=,W3= 2.32一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与进行比较解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W1,W2,W3得到计算得到由齐次遍历可得符号由最大熵定理可知存在极大值 或者也可以通过下面的方法得出存在极大值:又所以当p=2/3时0所以第二个实验比第一个实验好P(y1y2x)0001101101/40001001/40201/401/4（2）因为Y1和Y2相互独立，所以P(y1y2|x)000110110100010010201/201/2y1y200011011p1/41/41/41/4 bit/符号=1.5bit/符号由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。（3）=1.5-1=0.5bit/符号表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量同理可得=1.5-0.5=1bit/符号表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量'