信息论与编码课后习题答案(整合版)00000.pdf 35页

'《信息论与编码》曹雪虹（第二版）课后习题答案第二章信源与信息熵2.1一个马尔可夫信源有3个符号uuu1,2,3，转移概率为：puu11|1/2，puu21|1/2，puu31|0，puu12|1/3，puu22|0，puu32|2/3，puu13|1/3，puu23|2/3，puu33|0，画出状态图并求出各符号稳态概率。解：状态图如下1/21/2状态转移矩阵为：u1u21/31/21/201/32/3p1/302/32/31/32/30u3设状态u1，u2，u3稳定后的概率分别为W1，W2、W3111W1W2W3W110233W12512WPWW1W3W29由得23计算可得W2W1W2W31252WW2363W325W1W2W312.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出状态图，并计算各状态的稳态概率。解：pp(0|00)(00|00)0.8pp(0|01)(10|01)0.5pp(0|11)(10|11)0.2pp(0|10)(00|10)0.5pp(1|00)(01|00)0.2pp(1|01)(11|01)0.5pp(1|11)(11|11)0.8pp(1|10)(01|10)0.51 《信息论与编码》曹雪虹（第二版）课后习题答案0.80.200000.50.5于是可以列出转移概率矩阵：p0.50.500000.20.8状态图为：0.20.800010.50.50.50.50.210110.8设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有5W10.8W10.5W3W1141WPW0.2W10.5W3W2W274得0.5W20.2W4W3计算得到Wi11i10.5W20.8W4W4W37W1W2W3W415W4142.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,…,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：11111p(x)i666618(1)1I(x)logp(x)log4.170bitii18111p(x)i6636(2)1I(x)logp(x)log5.170bitii36(3)两个点数的排列如下：2 《信息论与编码》曹雪虹（第二版）课后习题答案111213141516212223242526313233343536414243444546515253545556616263646566111共有21种组合：其中11，22，33，44，55，66的概率是6636111其他15个组合的概率是266181111H(X)p(xi)logp(xi)6log15log4.337bit/symboli36361818(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：X2345678910111211115151111P(X)3618129366369121836H(X)p(xi)logp(xi)i1111111155112log2log2log2log2loglog363618181212993636663.274bit/symbol(5)1111p(x)11i663611I(x)logp(x)log1.710bitii362-4解：(1)红球，白球的个数均为50个，则随意取球得到的颜色的球是等概率事件：p=,信息量为：I()=-logp()=-log)=1bit(2)取红球所需的信息量为：I()=-logp()=-log=0.014bit取白球所需的信息量为：I()=-logp()=-log=6.64bit总信息量为：H(x)==log=0.081bit/symbol.(3)每个球取出的概率均为：p=所需的信息量：I()=-logp()=-log=2bit2-5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米3 《信息论与编码》曹雪虹（第二版）课后习题答案以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，求：获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：p(y/x)0.75bit11求：身高160厘米以上的某女孩是大学生的信息量p(x)p(y/x)0.250.75111即：I(x/y)logp(x/y)loglog1.415bit1111p(y)0.512-6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：11）因圆点之和为3的概率px()p(1,2)p(2,1)18该消息自信息量Ix()log()log184.170pxbit2）因圆点之和为7的概率1px()p(1,6)p(6,1)p(2,5)p(5,2)p(3,4)p(4,3)6该消息自信息量Ix()log()log62.585pxbitXx10x21x32x432.7设有一离散无记忆信源，其概率空间为P3/81/41/41/8（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量18解：Ix()1log2log21.415bitpx()13同理可以求得Ix()22bitIx,()23bitIx,()33bit因为信源无记忆，所以消息序列的信息量就等于该序列中各个符号的信息量之和就有：I14()13()12()6()87.81Ix1Ix2Ix3Ix4bit4 《信息论与编码》曹雪虹（第二版）课后习题答案87.81平均每个符号携带的信息量为1.95bit/symbol452.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X)lognlog42bit/symbol1八进制脉冲的平均信息量H(X)lognlog83bit/symbol2二进制脉冲的平均信息量H(X)lognlog21bit/symbol0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9解：(1)划出现的概率为：p()=，则点出现的概率p()=。所以，划出现的信息量:I()=-log=2bit,点出现的信息量:I()=-log=0.415bit(2)平均信息量：H(X)===0.811bit/symbol2-10(1)一次实验抽出白球的概率：p()==,抽出黑球的概率:p()=信息熵为:H(X)===0.918bit/symbol(2)P(黑/黑)=P(白/黑)=不确定度：H(Y/黑)=log+log=0.86bit/symbol(3)P(黑/白)=P(白/白)=不确定度：H(Y/白)=log+log=0.94bit/symbol(4)第一次取出的为白球的概率:P(黑)=,第一次取出的为白球的概率:P(白)=不确定度：H(Y)=log+log=0.914bit/symbol5 《信息论与编码》曹雪虹（第二版）课后习题答案2.11有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示，其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X={1,2,…,38}Y表示指针指向某一种颜色，则Y={绿色,红色,黑色}Y是X的函数，由题意可知pxy(ij)px()i312381838（1）HY()py()logjlog2log1.24bit/symbolj1py()j3823818（2）HXY(,)HX()log385.252bit/symbol（3）HXY(|)HXY(,)HY()HX()HY()5.251.244.01bit/symbol2.12两个实验X和Y，X={x1x2x3},Y={y1y2y3},l联合概率rxyi,jrij为:r11r12r137/241/240rrr1/241/41/24212223rrr01/247/24313233(1)如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？(2)如果有人告诉你Y的实验结果，你得到的平均信息量是多少？(3)在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率pxy(,)ij为Y1y2y3Xy1HXY(,)pxy(,)logij2ijpxy(,)ijx17/241/240724112log24log242log42x21/241/41/24247244x301/247/24=2.3bit/symbolXY的概率分布：Xx1x2x3H(X|Y)=H(X,Y)-H(Y)=2.3-1.58=0.72bit/symbolP8/248/248/241Y8/248/248/24HY()3log31.582bit/symbol3P8/248/248/242.13有两个二元随机变量X和Y，它们的联合概率为：6 《信息论与编码》曹雪虹（第二版）课后习题答案YX=01/83/8=13/81/8并定义另一随机变量Z=XY（一般乘积），试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解：(1)131311p(x)p(xy)p(xy)\p(x)p(xy)p(xy)1111222122882882H(X)p(xi)logp(xi)1bit/symboli131311p(y)p(xy)p(xy)\p(y)p(xy)p(xy)1112121222882882H(Y)p(yj)logp(yj)1bit/symboljZ=XY的概率分布如下：Zz10z2171P(Z)8827711H(Z)p(zk)loglog0.544bit/symbolk8888p(x)p(xz)p(xz)11112p(xz)012p(xz)p(x)0.5111p(z)p(xz)p(xz)1112173p(xz)p(z)p(xz)0.52111188p(z)p(xz)p(xz)212221p(xz)p(z)2228H(XZ)p(xizk)logp(xizk)ik113311logloglog1.406bit/symbol2288887 《信息论与编码》曹雪虹（第二版）课后习题答案p(y)p(yz)p(yz)11112p(yz)012p(yz)p(y)0.5111p(z)p(yz)p(yz)1112173p(yz)p(z)p(yz)0.52111188p(z)p(yz)p(yz)212221p(yz)p(z)2228113311H(YZ)p(yjzk)logp(yjzk)logloglog1.406bit/symboljk228888p(xyz)0112p(xyz)0122p(xyz)0212p(xyz)p(xyz)p(xy)11111211p(xyz)p(xy)1/811111p(xyz)p(xyz)p(xz)12111111113p(xyz)p(xz)p(xyz)12111111288p(xyz)p(xyz)p(xy)211212213p(xyz)p(xy)211218p(xyz)0221p(xyz)p(xyz)p(xy)221222221p(xyz)p(xy)222228H(XYZ)p(xiyjzk)log2p(xiyjzk)ijk11333311loglogloglog1.811bit/symbol88888888(2)11333311H(XY)p(xiyj)log2p(xiyj)loglogloglog1.811bit/symbolij88888888H(X/Y)H(XY)H(Y)1.81110.811bit/symbolH(Y/X)H(XY)H(X)1.81110.811bit/symbolH(X/Z)H(XZ)H(Z)1.4060.5440.862bit/symbolH(Z/X)H(XZ)H(X)1.40610.406bit/symbolH(Y/Z)H(YZ)H(Z)1.4060.5440.862bit/symbolH(Z/Y)H(YZ)H(Y)1.40610.406bit/symbolH(X/YZ)H(XYZ)H(YZ)1.8111.4060.405bit/symbolH(Y/XZ)H(XYZ)H(XZ)1.8111.4060.405bit/symbolH(Z/XY)H(XYZ)H(XY)1.8111.8110bit/symbol(3)8 《信息论与编码》曹雪虹（第二版）课后习题答案I(X;Y)H(X)H(X/Y)10.8110.189bit/symbolI(X;Z)H(X)H(X/Z)10.8620.138bit/symbolI(Y;Z)H(Y)H(Y/Z)10.8620.138bit/symbolI(X;Y/Z)H(X/Z)H(X/YZ)0.8620.4050.457bit/symbolI(Y;Z/X)H(Y/X)H(Y/XZ)0.8620.4050.457bit/symbolI(X;Z/Y)H(X/Y)H(X/YZ)0.8110.4050.406bit/symbol2-14(1)p(j/i)=p(i,j)=p(i/j)=p()=+=p()=+=(2)方法1:I(X;Y)=p()|I(X;)+p()|I(X;)=0.311bit方法2:I(X;Y)=log()+log()+log()+log()=0.311bit2-15由题意可得：p(j/i)=p()=p()=p()===1-I()=log()=log()=log[2(1-)]p()==信息量为：I()=log()=log()=log(2)2.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。1010解：（1）HX()0.3log220.7log0.8813bit/symbol370.70.3黑白0.70.3P(黑|白)=P(黑)9 《信息论与编码》曹雪虹（第二版）课后习题答案P(白|白)＝P(白)P(黑|黑)＝P(黑)P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）1H()XHX(2|X1)pxy(,)logij2ijpxy(,)ij1110.91430.7log20.08570.7log20.20.3log20.91430.08570.210.80.3log20.8＝0.512bit/symbol52.17每帧电视图像可以认为是由310个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：(1)H(X)lognlog1287bit/symbol22N56H(X)NH(X)31072.110bit/symbol(2)H(X)lognlog1000013.288bit/symbol22NH(X)NH(X)100013.28813288bit/symbol(3)N6H(X)2.110N158037H(X)13.2882.19解：由=1得k=1/2所以(X)==1.44bit/symbol10 《信息论与编码》曹雪虹（第二版）课后习题答案1x2.20给定语音信号样值X的概率密度为px()e,x,求2Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：1xHXc()pxx()logpxdxx()pxx()logedx21pxxx()logdxpx()(x)logedx211xloglogee(xdx)22011xx1loglogee(xdx)loge(xdx)2220112xlog2logexedx2201xlogloge(1xe)2012eloglogelog22EX()0,()DX2,1214e2e2eeHX()log2elogloglogHX()22222.24连续随机变量X和Y的联合概率密度为：1222xyr2p(x,y)r，求H(X),H(Y),H(XYZ)和I(X;Y)。0其他（提示：2logsinxdxlog2）2202解：11 《信息论与编码》曹雪虹（第二版）课后习题答案222222rxrx12rxp(x)p(xy)dydy(rxr)r2x2r2x222rrrH(X)p(x)logp(x)dxcr22r2rxp(x)logdxrr2r2r22p(x)logdxp(x)logrxdxrr2r2rr22logp(x)logrxdx2r2r1loglogr1loge2221logrlogebit/symbol222其中：r22p(x)logrxdxr22r2rx22logrxdxrr24r2222rxlogrxdxr2040令xrcosrsinlogrsind(rcos)2r24022rsinlogrsind2r2422sinlogrsind0422422sinlogrdsinlogsind0041cos241cos2logr2d2logsind020212 《信息论与编码》曹雪虹（第二版）课后习题答案2222logr2dlogr2cos2d2logsind2cos2logsind0000122logrlogr2dsin2(log2)2cos2logsind02022logr12cos2logsind01logr1loge22其中：2112cos2logsind2logsindsin2sin2logsin22sin2dlogsin0000122sincoscoslog2ed2loge2cos2d2loge21cos2d02020sin211111loge2dloge2cos2dlogelogesin22loge20202222022222222ryry12ryp(y)p(xy)dxdx(ryr)r2y2r2y2r2r2p(y)p(x)1H(Y)H(X)logrlogebit/symbolCC222H(XY)p(xy)logp(xy)dxdycR1p(xy)logdxdyr2R2logrp(xy)dxdyR2logrbit/symbol2I(X;Y)H(X)H(Y)H(XY)cccc22logrlogelogr22loglogebit/symbol222.25某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。13 《信息论与编码》曹雪虹（第二版）课后习题答案解：(1)符号的平均熵：1133H(X)p(xi)logp(xi)loglog0.811bit/symboli4444(2)自信息量的表达式为：m100m100m133p(xi)100444100m3I(x)logp(x)log41.51.585mbitii1004(3)序列的熵：100H(X)100H(X)1000.81181.1bit/symbol2-26解：p(j/i)=p(i)=p(i,j)=H(I,J)=4log(8)+2log(10)+2log(15+3×)log(36)+log(12)=3.415bit/symbol▲2.29有一个一阶平稳马尔可夫链XX1,2,,Xr,,各Xr取值于集合Aaaa1,2,3,已知起始概率P(Xr)为p11/2,p2p31/4，转移概率如下图所示j123i11/21/41/422/301/332/31/30(1)求(XXX1,2,3)的联合熵和平均符号熵(2)求这个链的极限平均符号熵(3)求HHH0,,12和它们说对应的冗余度解：（1）HXXX(1,2,3)HX(1)HX(2|X1)HX(3|XX2,1)HX(1)HX(2|X1)HX(3|X2)14 《信息论与编码》曹雪虹（第二版）课后习题答案111111HX(1)logloglog1.5bit/symbol224444X1，X2的联合概率分布为123pxx()12ijpx(2j)pxx(12ij)i11/41/81/8X2的概率分布为21/601/1212331/61/12014/245/245/24111131131HX(21|X)log4log4log4loglog3loglog348862126212=1.209bit/symbolX2,X3的联合概率分布为123pxx()23ij17/247/487/4825/3605/1235/365/120771535535HX(32|X)log2log4log4loglog3loglog3244883627236272=1.26bit/symbolHXXX(1,2,3)1.51.2091.263.969bit/符号3.969所以平均符号熵HXXX3(1,2,3)1.323bit／符号3（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1111224W1W2W31W1244233721WPW113P0由得到W1W3W2计算得到W233Wi1431421W1W2W3130W33314又满足不可约性和非周期性34111321H()XWHXWii(|)H(,,)2H(,,0)1.25bit/symboli172441433(3)H0log31.58bit/symbolH11.5bit/symbol15 《信息论与编码》曹雪虹（第二版）课后习题答案1.51.209H21.355bit/symbol21.251.2500110.2111110.6171.581.51.2522110.0781.3551/2a11/42/31/42/31/3a2a31/3▲2-30解：(1)求平稳概率P(j/i)=解方程组=+=1得到=(2)H(S/)=log()+log(3)=0.918bit/symbolH(S/)=0信源熵为:H(S)=H(S/)+H(S/)=×0.918+×0=0.688bit/symbol▲2-31解：转移矩阵P(j/i)=解方程组得到=,=,=H()=log(3)=1.585bit/symbolH()=log(3)=1.585bit/symbol16 《信息论与编码》曹雪虹（第二版）课后习题答案H()=log(2)=1bit/symbol(X)=H()+H()+H()=1.439bit/symbol▲2.32一阶马尔可夫信源的状态图如图所示，信源X的符号集为：（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求:近似信源的熵H(X)并与H进行比较1-p1-pp/201p/2p/2p/2p/2p/221-p图2-131pp/2p/2解:根据香农线图,列出转移概率距阵Pp/21pp/2p/2p/21p令状态0,1,2平稳后的概率分布分别为pp1(1pW)1W2W3W1W223WPWpp13得到W1(1pW)2W3W2计算得到WWi1223i1W1W2W311W3由齐次遍历可得:1pp12H()XWHXWii(|)3H(1p,,)(1p)logplogi3221pp,HX()log31.58bit/符号由最大熵定理可知HX()存在极大值或者也可以通过下面的方法得出存在极大值:H()X1pp21plog(1pp)(1)loglogp1p2p22(1p)17 《信息论与编码》曹雪虹（第二版）课后习题答案p11pp又01p所以0,当p=2/3时12(1pp)22(1)2(1p)2(1p)H()Xp0