信息论 基础理论与应用 (傅祖云 著) 电子工业出版社 课后答案 92页

'课后答案网您最真诚的朋友www.hackshp.cn网团队竭诚为学生服务，免费提供各门课后答案，不用积分，甚至不用注册，旨在为广大学生提供自主学习的平台！课后答案网：www.hackshp.cn视频教程网：www.efanjy.comPPT课件网：www.ppthouse.com课后答案网www.hackshp.cn 第二章课后习题【2.1】设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，1“khdaw.com12枚硬币中，某一枚为假币”该事件发生的概率为P=；121“假币的重量比真的轻，或重”该事件发生的概率为P=；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有课后答案网I=log12+log2=log24比特www.hackshp.cn1而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P=，因此天3平每一次消除的不确定性为I=log3比特因此，必须称的次数为I1log24=»9.2次Ilog32因此，至少需称3次。【延伸】如何测量？分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，111因此该种情况发生的概率为P=´=，该事件的信息量为：khdaw.com6636若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com I=log36».517比特“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5和3、6和2，概115率为P=´´5=，因此该事件的信息量为：663636I=log».285比特5111“两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3，概率为P=´´2=，6618因此该事件的信息量为：khdaw.comI=log18».417比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知课后答案网星期一至星期日的顺序）？解：如果不知www.hackshp.cn今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为1P=，因此此时从答案中获得的信息量为7I=log7=.2807比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0比特。【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示女孩是大学生，P(A)=.025；B表示女孩身高1.6米以上，P(B|A)=.075，P(B)=5.0“身高1.6米以上的某女孩是大学生”的发生概率为khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com P(AB)P(A)P(B|A).025´.075P(A|B)====.0375P(B)P(B)5.0已知该事件所能获得的信息量为1I=log».1415比特0.375éXùéa1=0a2=1a3=2a4=3ù【2.5】设离散无记忆信源êú=êú，其发出的消息为ëP(x)ûë3/8/14/14/18û（202120130213001203210110321010021032011223210），求（1）khdaw.com此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，课后答案网因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：8I(a=)0=log=.1415比特www.hackshp.cn03I(a=)1=log4=2比特1I(a=)2=log4=2比特2I(a=)3=log8=3比特3在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：I=14´.1415+13´2+12´2+6´3»87.81比特45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为87.81I==.195比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H(X)=-åP(x)logP(x)=.191比khdaw.com特/符号若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【2.6】如有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA,YA）和（XB,YB），但A和B不能落入同一方格内。（1）若仅有质点A，求A落入任一个格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量。（3）若A、B是可分辨的，求A、B同都落入的平均自信息量。解：（khdaw.com1）求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点A落入任一格的概率空间为：éXùéa1a2a3La48ùêú=ê1111úëPûêLú课后答案网ë48484848û平均自信息量为www.hackshp.cnH(A)=log48=.558比特/符号（2）已知质点A已落入，求B落入的平均自信息量，即求H(B|A)。1A已落入，B落入的格可能有47个，条件概率P(b|a)均为。平均自信息量为ji474847H(B|A)=-ååP(ai)P(bj|ai)logP(bj|ai)=log47=.555比特/符号i=1j=1（3）质点A和B同时落入的平均自信息量为H(AB)=H(A)+H(B|A)=11.13比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 男同志红绿色盲的概率空间为：éXùéa1a2ùêú=êúëPûë.007.093û问男同志回答“是”所获昨的信息量为：1I=log».3836比特/符号0.07问男同志回答“否”所获得的信息量为：1I=log».0105比特/符号0.93男khdaw.com同志平均每个回答中含有的信息量为H(X)=-åP(x)logP(x)=.0366比特/符号同样，女同志红绿色盲课后答案网的概率空间为éYùéb1b2ùêú=êúëPûë.0005.0995û问女同志回www.hackshp.cn答“是”所获昨的信息量为：1I=log».764比特/符号0.005问女同志回答“否”所获昨的信息量为：1-3I=log».723´10比特/符号0.995女同志平均每个回答中含有的信息量为H(Y)=-åP(x)logP(x)=.0045比特/符号éXùéa1a2a3a4a5a6ù【2.8】设信源êú=êú，求此信源的熵，并解释为什ëP(x)ûë2.0.019.018.017.016.017û么H(X)>log6，不满足信源熵的极值性。解：H(X)=-åP(x)logP(x)=.265>log6原因是给定的信源空间不满足概率空间的完备集这一特khdaw.com性，因此不满足极值条件。若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【2.9】设离散无记忆信源S其符号集A={a,a,...,a}，知其相应的概率分别为12q(P,P,...,P)。设另一离散无记忆信源S¢，其符号集为S信源符号集的两倍，12qA¢={a,i=2,1,...,2q}，并且各符号的概率分布满足iP¢=1(-e)Pi=2,1,...,qiiP¢=ePi=q+,1q+2,...,2qii试写出信源S¢的信息熵与信源S的信息熵的关系。解：khdaw.comH(S¢)=-åP(x)logP(x)=-1(-e)Plog(1-e)P-ePlogePåiiåii=-1(-e)åPilog(1-e)-1(-e)åPilogPi-eåPiloge-eåPilogPi=-1(-e)log(1-e)-eloge+H(S)=H(S)+课后答案网H(e1,-e)【2.10】设有一概率空间，其概率分布为{p,p,...,p}，并有p>p。若取p¢=p-e，12q1211p¢=p+e，其中0<2e£p-p，而其他概率值不变。试证明由此所得新的概率空间的22www.hackshp.cn12熵是增加的，并用熵的物理意义加以解释。解：设新的信源为X¢，新信源的熵为：H(X¢)=-plogp=-(p-e)log(p-e)-(p+e)log(p+e)-L-plogpåii1122qq原信源的熵H(X)=-åpilogpi=-p1logp1-p2logp2-L-pqlogpq因此有，H(X)-H(X¢)=(p-e)log(p-e)+(p+e)log(p+e)-plogp-plogp11221122æp1-p2ù令f(x)=(p-x)log(p-x)+(p+x)log(p+x)，xÎç,0，则1122çúè2ûp+x2f¢(x)=log£0khdaw.comp-x1若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 即函数f(x)为减函数，因此有f)0(³f(e)，即(p-e)log(p-e)+(p+e)log(p+e)£plogp+plogp11221122因此H(X)£H(X¢)成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。Lm【2.11】试证明：若åpi=1，åqj=pL，则i=1j=1khdaw.comq1q2qmH(p,p,K,p,q,q,K,q)=H(p,p,K,p,p)+pH(,,K,)12L-112m12L-1LLpppLLL并说明等式的物理意义。解：课后答案网H(p,p,K,p,q,q,K,q)12L-112m=-plogp-plogp-K-plogp-qlogq-qlogq-K-qlogq1122L-1L-11122mm=-p1logwww.hackshp.cnp1-p2logp2-K-pL-1logpL-1-pLlogpL+pLlogpL-qlogq-qlogq-K-qlogq1122mm=-plogp-plogp-K-plogp-plogp+(q+q+q+L+q)logp1122L-1L-1LL123mL-qlogq-qlogq-K-qlogq1122mm=-plogp-plogp-K-plogp-plogp1122L-1L-1LLqqq12m-qlog-qlog-K-qlog12mpppLLL=-plogp-plogp-K-plogp-plogp1122L-1L-1LLqqqqqq1122mm+p(-log-log-K-log)LppppppLLLLLLq1q2qm=H(p,p,K,p,p)+pH(,,K,)12L-1LLmpppLLL【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。5【2.12】（1）为了使电视图像获得良好的清晰度和规定的适khdaw.com当的对比度，需要用5×10个若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。解：每个像素的电平取自10个不同的电平，每一个像素形成的概率空间为：éXùéa1a2La10ùkhdaw.comêú=ê111úëPûêLúë101010û这样，平均每个像素携带的信息量为：课后答案网H(X)=log10=.332比特/像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：N56www.hackshp.cnH(X)=NH(X)=5´10´log10=.166´10比特/帧按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率为：N730´H(X)=.498´10比特/秒除满足黑白电视系统的要求外，还需30个不同的色彩度，不妨设每个色彩度等概率出现，则其概率空间为：éYùéb1b2Lb30ùêú=ê111úëPûêLúë303030û其熵为log30比特/符号，由于电平与色彩是互相独立的，因此有H(XY)=H(X)+H(Y)=log300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H(XY)log300=»5.2H(X)log10khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 5【2.13】每帧电视图像可以认为是由3×10个像素组成，所以像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约10000个汉字的字汇中选1000个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：每khdaw.com个像素的电平亮度形成了一个概率空间，如下：éXùéa1a2La128ùêú=ê111úëPûêLúë128128128û平均每个像素携带的信息量为：课后答案网H(X)=log128=7比特/像素5每帧图像由www.hackshp.cn3×10个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：N6H(X)=NH(X)=1.2´10比特/帧如果用汉字来描述此图像，平均每个汉字携带的信息量为H(Y)=log10000=13.29比特/汉字，选择1000字来描述，携带的信息量为N4H(Y)=NH(Y)=.1329´10比特如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个数为：NH(X).211065=».158´10字H(Y)13.29【2.14】为了传输一个由字母A、B、C和D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率？khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 1113（2）若每个字母出现的概率分别为p=，p=，p=，p=，试计算传输的ABCD54410平均速率？解：假设不同字母等概率出现时，平均每个符号携带的信息量为H(X)=log4=2比特每个二元码宽度为5ms，每个字母需要2个二元码，则其传输时间为10ms，每秒传送n=100khdaw.com个，因此信息传输速率为：R=nH(X)=100´2=200比特/秒当不同字母概率不同时，平均传输每个字母携带的信息量为111310H(X)=log5+log4+log4+log=.1985比特/符号课后答案网544103此时传输的平均信息速度为2www.hackshp.cnR=nH(X)=.1985´10比特/秒【2.15】证明离散平稳信源有H(X|XX)£H(X|X)，试说明等式成立的条件。31221解：H(X3|X1X2)=-åååP(x1x2x3)logP(x3|x1x2)=-ååP(x1x2)åP(x3|x1x2)logP(x3|x1x2)X1X2X3£-P(xx)P(x|xx)logP(x|x)åå12å31232X1X2X3=H(X|X)32根据信源的平稳性，有H(X|X)=H(X|X)，因此有H(X|XX)£H(X|X)。322131221等式成立的条件是P(x|xx)=P(x|x)。31232【2.16】证明离散信源有H(XXLX)£H(X)+H(X)+L+H(X)，并说明等式成立12N12N的条件。证明：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com H(XXLX)=H(X)+H(X|X)+L+H(X|XXLX)12N121N12N-1而H(X|XXLX)N12N-1=-åååLP(x1x2LxN)logP(xN|x1x2LxN-1)X1X2XN=-åååLP(x1x2LxN-1)åP(xN|x1x2LxN-1)logP(xN|x1x2LxN-1)X1X2XN-1XN£-åååLP(x1x2LxN-1)åP(xN|x1x2LxN-1)logP(xN)X1X2XN-1XN=H(X)N即khdaw.comH(X|X)£H(X)212H(X|XX)£H(X)3123课后答案网……代入上述不等式，有H(XXLX)£H(X)+H(X)+L+H(X)www.hackshp.cn12N12N等号成立的条件是：P(x|xxLx)=P(x)N12N-1NP(x|xxLx)=P(x)N-112N-2N-1……P(x|x)=P(x)212即离散平稳信源输出的N长的随机序列之间彼此统计无依赖时，等式成立。【2.17】设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P)0(=4.0，P)1(=6.0的概率发出符号。（1）试问这个信源是否是平稳的？2（2）试计算H(X)、H(X|XX)及limH(X)。312NN®¥44（3）试计算H(X)并写出X信源中可能有的所有符号。解：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 该信源任一时刻发出0和1的概率与时间无关，因此是平稳的，即该信源是离散平稳信源。其信息熵为H(X)=-åP(x)logP(x)=.0971比特/符号信源是平稳无记忆信源，输出的序列之间无依赖，所以2H(X)=2H(X)=.1942比特/符号H(X|XX)=H(X)=.0971比特/符号3121limH(X)=limH(XXLX)=H(X)=.0971比特/符号N12Nkhdaw.comN®¥N®¥N4H(X)=4H(X)=.3884比特/符号4X信源中可能的符号是所有4位二进制数的排序，即从0000~1111共16种符号。【2.18】设有一信源，它在开始时以P(a)=6.0，P(b)=3.0，P(c)=1.0的概率发出X。如课后答案网111果X为a时，则X为a、b、c的概率为；如果为b时，则X为a、b、c的概率为；122331如果X为c时，则X为a、b的概率为，为c的概率为0。而且后面发出X的概率只与1www.hackshp.cn22iX有关，又当i³3时，P(X|X)=P(X|X)。试用马尔克夫信源的图示法画出状态i-1ii-121转移图，并计算此信源的熵H。¥解：信源为一阶马尔克夫信源，其状态转换图如下所示。11a:a:331b:31b:311c:b:1321a:c:23根据上述状态转换图，设状态极限概率分别为P(a)、P(b)和P(c)，根据切普曼—柯尔莫哥洛夫方程有khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com ì111Q(a)=Q(a)+Q(b)+Q(c)ï332ï111ïQ(b)=Q(a)+Q(b)+Q(c)í332ï11ïQ(c)=Q(a)+Q(b)33ïîQ(a)+Q(b)+Q(c)=1解得：31Q(a)=Q(b)=，Q(c)=84得此一阶马尔克夫的信息熵为：khdaw.comH¥=åQ(Ei)H(X|Ei)=.1439比特/符号pp2【2.19】一阶马尔克夫信源的状态图如右图所示，p课后答案网0p1信源X的符号集为}2,1,0{并定义p=1-p。2pp（1）求信源平稳后的概率分布P)0(、P)1(和p22pwww.hackshp.cn22P)2(；2p（2）求此信源的熵H；¥（3）近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H(X)并与H进行比较；¥（4）对一阶马尔克夫信源p取何值时，H取最大值，又当p=0和p=1时结果如何？¥解：根据切普曼—柯尔莫哥洛夫方程，可得ìppP)0(=pP)0(+P)1(+P)2(ï22ïppïP)1(=P)0(+pP)1(+P)2(í22ïppïP)2(=P)0(+P)1(+pP)2(22ïîP)0(+P)1(+P)2(=1khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 1解得：P)0(=P)1(=P)2(=3该一阶马尔克夫信源的信息熵为：H=Q(E)H(X|E)=-plogp-plogp+p比特/符号¥åii当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为：éXùé012ùêú=ê111úëPûêë333úû此时信源的信息熵为H(X)=log3=.1585比特/符号由上述khdaw.com计算结果可知：H(X)³H(¥)。求一阶马尔克夫信源熵H的最大值，H=-plogp-plogp+p，有¥¥dH¥1(2-p)=log课后答案网dpp2可得，当p=时，H达到最大值，此时最大值为log3=.1585比特/符号。¥3当p=0时，H=0比特/符号；p=1时，H=1比特/符号www.hackshp.cn¥¥【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}，设黑色出现的概率为P(黑)=3.0，白色出现的概率为P(白)=7.0。（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白|白)=9.0，P(黑|白)=1.0，P(白|黑)=2.0，P(黑|黑)=8.0，求此一阶马尔克夫信源的熵H。2（3）分别求上述两种信源的冗余度，并比较H(X)和H的大小，并说明其物理意义。2解：如果出现黑白消息前后没有关联，信息熵为：H(X)=-åpilogpi=.0881比特/符号当消息前后有关联时，首先画出其状态转移图，如下所示。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 设黑白两个状态的极限概率为Q(黑)和Q(白)，根据切普曼—柯尔莫哥洛夫方程可得：ìQ(黑)=8.0Q(黑)+1.0Q(白)ïíQ(白)=2.0Q(黑)+9.0Q(白)ïîQ(黑)+Q(白)=1解得：12khdaw.comQ(黑)=，Q(白)=33此信源的信息熵为：H¥=åQ(Ei)H(X|Ei)=.0553比特/符号两信源的冗余度课后答案网分别为：H(X)g=1-=.01191www.hackshp.cnlog2H¥g=1-=.04471log2结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言，当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 第三章课后习题【3.1】设信源éXùéx1x2ùêú=êúëP(x)ûë6.04.0û通过一干扰信道，接收符号为Y=[y,y]，信道传递概率如下图所示，求12（1）信源X中事件x和x分别含有的自信息；5/6khdaw.com12x1y11/6（2）收到消息y(j=)2,1后，获得的关于x(i=)2,1的信ji3/4息量；x21/4y2（3）信源X和信源课后答案网Y的信息熵；（4）信道疑义度H(X|Y)和噪声熵H(Y|X)；（5）接收到消息www.hackshp.cnY后获得的平均互信息。解：（1）信源X中事件x和x分别含有的自信息分别为：121I(x)=log=-log6.0=.0737比特1P(x)11I(x)=log=-log4.0=.132比特2P(x)2（2）根据给定的信道以及输入概率分布，可得P(y1)=åP(xi)P(y1|xi)=8.0XP(y2)=åP(xi)P(y2|xi)=2.0X所求的互信息量分别为：P(y1|x1)6/525I(x;y)=log=log=log=.0059比特11P(y)8.0241khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com P(y1|x2)4/315I(x;y)=log=log=log=-.0093比特21P(y)8.0161P(y2|x1)6/15I(x;y)=log=log=log=-.0263比特12P(y)2.062P(y2|x2)4/15I(x;y)=log=log=log=.0322比特22P(y)2.042（3）信源X以及Y的熵为：H(X)=-åP(x)logP(x)=-6.0log6.0-4.0log4.0=.0971比特/符号Xkhdaw.comH(Y)=-åP(y)logP(y)=-8.0log8.0-2.0log2.0=.0722比特/符号Y（4）信道疑义度H(X|Y)=-åP(x)åP(y|x)logP(x|y)XY而相关条件概率P课后答案网(x|y)计算如下：P(x1,y1)P(y1|x1)P(x1)5.05P(x|y)====11P(y)P(y)8.08113P(x|y)=www.hackshp.cn218P(x1,y2)P(y2|x1)P(x1)6/6.01P(x|y)====12P(y)P(y)2.02221P(x|y)=222由此计算出信道疑义度为：é5511ùé3311ùH(X|Y)=-6.0log+log-4.0log+log=.09635比特/符号êúêúë6862ûë4842û噪声熵为：H(Y|X)=-åP(x)P(y|x)logP(y|x)é5511ùé3311ù=-6.0log+log-4.0log+logêúêúë6666ûë4444û=.07145比特/符号（5）接收到信息Y后获得的平均互信息为：I(X;Y)=H(X)-H(X|Y)=.00075比特khdaw.com/符号若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；khdaw.com（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。解：课后答案网1各个符号的先验概率均为8（1）根据www.hackshp.cn已知条件，有P(y=|0M)=P(y=|00000)=P(y=|0x=)0=p111111P(y1=)0=åP(Mi)P|0(Mi)=M2i因此接收到第一个数字0与M1之间的互信息为：P(y1=|0M1)pI(M;y=)0=log=log=1+logp比特11P(y=)02/11（2）根据已知条件，有2P(yy=00|M)=P(yy=00|0000)=p121121[22]1P(y1y2=00)=åP(Mi)P(00|Mi)=2p+4pp+2p=M84i因此接收到第二个数字也是0时，得到多少关于M1的互信息为：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 2P(y1y2=00|M1)pI(M;yy=00)=log=log=2+2logp比特/符号112P(yy=00)4/112得到的附加信息为：I(M;yy=00)-I(M;y=)0=1+logp比特/符号11211（3）根据已知条件，有3P(yyy=000|M)=P(yyy=000|000)=p12311231[3223]1P(y1y2y3=000)=åP(Mi)P(000|Mi)=p+3pp+3pp+p=M88khdaw.comi因此接收到第三个数字也是0时，得到多少关于M1的互信息为：3P(y1y2y3=000|M1)pI(M;yyy=000)=log=log=3+3logp1123P(yyy=000)8/1课后答案网123此时得到的附加信息为：I(M;yyy=000)-I(M;yy=00)=1+logp比特/符号www.hackshp.cn1123112（4）根据已知条件，有4P(yyyy=0000|M)=P(yyyy=0000|0000)=p1234112341[4224]P(y1y2y3y4=0000)=åP(Mi)P(0000|Mi)=p+6pp+pM8i因此接收到第四个符号为0时，得到的关于M1的互信息为P(yyyy=0000|M)12341I(M;yyy=0000)=log1123P(yyyy=0000)12344p=log1(4224)p+6pp+p8(4224)=3+4logp-logp+6pp+p此时得到的附加信息为(4224)I(M;yyyy=000)-I(M;yyy=000)=logp-logp+6pp+p112341123khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【3.3】设二元对称信道的传递矩阵为é21ùêú33ê12úêúë33û（1）若P(0)=3/4，P(1)=1/4，求H(X)，H(X|Y)，H(Y|X)和I(X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。解：khdaw.com（1）根据已知条件，有H(X)=-åP(xi)logP(xi)X3311=-log-log4444课后答案网=.0811比特/符号32117P(y=)0=åP(x)P(y=|0x)=´+´=X434312www.hackshp.cn5P(y=)1=åP(x)P(y=|1x)=X1232´P(x=)0P(y=|0x=)0436P(x=|0y=)0===P(y=)0/71271P(x=|1y=)0=731´P(x=)0P(y=|1x=)0433P(x=|0y=)1===P(y=)1/51252P(x=|1y=)1=5H(Y|X)=-åP(x)åP(y|x)logP(y|x)XY3æ2211ö1æ1122ö=-çlog+log÷-çlog+log÷4è3333ø4è3333ø=.0918比特/符号khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com H(X|Y)=-åP(x)åP(y|x)logP(x|y)XY3æ2613ö1æ1122ö=-çlog+log÷-çlog+log÷4è3735ø4è3735ø=.0749比特/符号I(X;Y)=H(X)-H(X|Y)=.0062比特/符号（2）此信道是对称信道，因此其信道容量为：21C=1-H(p)=1-H(,)=.0082比特/符号331根据对称信道的性质可知，当P)0(=P)1(=时，信道的传输率I(X;Y)达到2信道khdaw.com容量。【3.4】设有一批电阻，按阻值分70%是2kΩ，30%是5kΩ；按功耗分64%是1/8W，其余是1/4W。现已知课后答案网2kΩ阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解：www.hackshp.cn根据已知条件，设电阻的阻值为事件X，电阻的功耗为事件Y，则两事件的概率空间为：éXùéx1=2kWx2=5kWùéYùéy1=8/1Wy2=4/1Wùêú=êú，êú=êúëPûë7.03.0ûëPûë.064.036û给定条件为P(y|x)=8.0，P(y|x)=2.0，而1121.064=P(y)=P(x)P(y|x)+P(x)P(y|x)=7.0*8.0+3.0*P(y|x)111121212.036=P(y)=P(x)P(y|x)+P(x)P(y|x)=7.0*2.0+3.0*P(y|x)212122222解得：411P(y|x)=，P(y|x)=12221515()æ441111öH(Y|X)=-7.0*8.0log8.0+2.0log2.0-3.0*çlog+log÷=.07567è15151515øI(X;Y)=H(Y)-H(Y|X)=.0186比特khdaw.com/符号若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【3.5】若X、Y和Z是三个随机变量，试证明：（1）I(X;YZ)=I(X;Y)+I(X;Z|Y)=I(X;Z)+I(X;Y|Z)（2）I(X;Y|Z)=I(Y;X|Z)=H(X|Z)-H(X|YZ)（3）I(X;Y|Z)³0当且仅当(X,Z,Y)是马氏链时等式成立。证明：（1）P(x|yz)I(X;YZ)=åP(x,y,z)logkhdaw.comX,Y,ZP(x)æP(x|yz)P(x|y)ö=åP(x,y,z)logçç*÷÷X,Y,ZèP(x|y)P(x)øP(x|yz)P(x|y)=åP(x,y,z)log+åP(x,y,z)logX,Y,ZP(x|y)X,Y,ZP(x)课后答案网=I(X;Z|Y)+I(X;Y)同理，I(X;YZ)=I(X;Z)+I(X;Y|Z)（2）www.hackshp.cnP(x|yz)I(X;Y|Z)=åP(x,y,z)logX,Y,ZP(x|z)P(xyz)P(z)=åP(x,y,z)logX,Y,ZP(xz)P(yz)P(y|xz)=åP(x,y,z)logX,Y,ZP(y|z)=I(Y;X|Z)P(x|yz)I(X;Y|Z)=åP(x,y,z)logX,Y,ZP(x|z)=-åP(x,y,z)logP(x|z)+åP(x,y,z)logP(x|yz)X,Y,ZX,Y,Z=H(X|Z)-H(X|YZ)（3）khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com P(x|z)-I(X;Y|Z)=åP(x,y,z)logX,Y,ZP(x|yz)P(x|z)£logåP(x,y,z)X,Y,ZP(x|yz)P(xz)P(yz)=logåX,Y,ZP(z)=0P(x|z)P(xz)P(yz)P(y|z)等号成立当且仅当=1==，即P(x|yz)P(xyz)P(z)P(y|xz)P(y|z)=P(y|xz)，即(X,Z,Y)是马氏链。【khdaw.com3.6】若有三个离散随机变量，有如下关系：X+Y=Z，其中X和Y相互统计独立，试证明：（1）H(X)课后答案网£H(Z)，当且仅当Y是常量时等式成立；（2）H(Y)£H(Z)，当且仅当X为常量时等式成立；（3www.hackshp.cn）H(Z)£H(XY)£H(X)+H(Y)，当且仅当X，Y中任意一个为常量时等式成立；（4）I(X;Z)=H(Z)-H(Y)；（5）I(XY;Z)=H(Z)；（6）I(X;YZ)=H(X)；（7）I(Y;Z|X)=H(Y)；（8）I(X;Y|Z)=H(X|Z)=H(Y|Z)。证明：ì0z¹x+y当X+Y=Z时，有P(z|xy)=í，即H(Z|XY)=0，而î1z=x+yH(Z|XY)=H(Z)-I(XY;Z)，因此I(XY;Z)=H(Z)。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com H(Z|X)=-åP(x,z)logP(z|x)P(x,z)=-åP(x,z)logP(x)P(x,y)=-åP(x,y)logP(x)=H(Y)而I(X;Z)=H(Z)-H(Z|X)，因此I(X;Z)=H(Z)-H(Y)。根据互信息的性质，有I(X;Z)³0，因此H(Z)³H(Y)成立，而当X为常量时，Z和X的概率分布相同，因此上述不等式中的等号成立。khdaw.com同理，H(Z)³H(X)成立。由于I(XY;Z)=H(Z)-H(Z|XY)=H(XY)-H(XY|Z)=H(Z)，而H(XY|Z)³0，因课后答案网此H(Z)£H(XY)成立。ì0z¹x+y根据条件，有P(x|yz)=í，因此H(X|YZ)=0，而î1z=x+yI(X;YZwww.hackshp.cn)=H(X)-H(X|YZ)，因此I(X;YZ)=H(X)。I(Y;Z|X)=H(Y|X)-H(Y|XZ)=H(Y|X)=H(Y)I(X;Y|Z)=H(X|Z)-H(X|YZ)=H(X|Z)=I(Y;X|Z)=H(Y|Z)-H(Y|XZ)=H(Y|Z)【3.7】设X，Y是两个相互统计独立的二元随机变量，其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量Z，而且Z=XY（一般乘积），试计算：（1）H(X)，H(Y)，H(Z)；（2）H(XY)，H(XZ)，H(YZ)，H(XYZ)；（3）H(X|Y)，H(X|Z)，H(Y|Z)，H(Z|X)，H(Z|Y)；（4）H(X|YZ)，H(Y|XZ)，H(Z|XY)；khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com （5）I(X;Y)，I(X;Z)，I(Y;Z)；（6）I(X;Y|Z)，I(Y;X|Z)，I(Z;X|Y)，I(Z;Y|X)；（7）I(XY;Z)，I(X;YZ)，I(Y;XZ)；解：由于X和Y是相互独立的等概率分布的随机变量，因此有H(X)=H(Y)=1比特/符号éZùé01ù而符号khdaw.comZ的概率空间为：êú=ê31ú，因此ëPûêë44úû31H(Z)=H(,)=.0811比特/符号44H(XY)=H(X课后答案网)+H(Y)=2比特/符号根据已知条件可得1P(x=,0z=)0=P(x=)0=，P(x=,0z=)1=0www.hackshp.cn211P(x=,1z=)0=P(x=,1y=)0=，P(x=,1z=)1=P(x=,1y=)1=44P(z=,0x=)0P(z=,1x=)0P(z=|0x=)0==1，P(z=|1x=)0==0P(x=)0P(x=)0P(z=,0x=)11P(z=,1x=)11P(z=|0x=)1==，P(z=|1x=)1==P(x=)12P(x=)1211111H(Z|X)=-åP(x,z)logP(z|x)=-log1-log-log=5.0比特/符号24242H(XZ)=H(X)+H(Z|X)=5.1比特/符号同理，H(Z|Y)=5.0比特/符号，H(YZ)=H(Y)+H(Z|Y)=5.1比特/符号ì1z=xy由于P(z|xy)=í，因此H(Z|XY)=0比特/符号î0z¹xyH(XYZ)=H(XY)+H(Z|XY)=2比特/符号H(X|Y)=H(XY)-H(Y)=1比特/符号khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com H(X|Z)=H(XZ)-H(Z)=.0689比特/符号H(Y|Z)=H(YZ)-H(Z)=.0689比特/符号H(X|YZ)=H(XYZ)-H(YZ)=2-1.5=0.5比特/符号同理，H(Y|XZ)=5.0比特/符号I(X;Y)=H(X)-H(X|Y)=0比特/符号I(X;Z)=H(X)-H(X|Z)=.0311比特/符号khdaw.comI(Y;Z)=H(Y)-H(Y|Z)=.0311比特/符号I(X;Y|Z)=H(X|Z)-H(X|YZ)=.0689-5.0=.0189比特/符号I(Y;X|Z)=I(X;Y|Z)=.0189比特/符号I(Z;X|Y课后答案网)=H(Z|Y)-H(Z|XY)=5.0比特/符号I(Z;Y|X)=H(Z|X)-H(Z|XY)=5.0比特/符号www.hackshp.cnI(XY;Z)=H(Z)-H(Z|XY)=.0811比特/符号I(X;YZ)=H(X)-H(X|YZ)=1-5.0=5.0比特/符号I(Y;XZ)=H(Y)-H(Y|XZ)=5.0比特/符号【3.8】有一个二元信道，其信道如右图所示。设该信00.980道以1500个二元符号/秒的速度传输输入符号，现有一0.02消息序列共有14000个二元符号，并设在这消息中2.00110.981P)0(=P)1(=。问从信息传输的角度来考虑，10秒内2能否将这消息序列无失真地传送完。解：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com é.098.002ù该信道的信道矩阵为êú，信道容量为：ë.002.098ûC=log2-H.0(98.0,02)=.08586比特/符号10秒内可以传输的最大信息量为：41500´.08586´10=.1288´10比特而14000个符号中所含有的信息量为：14000比特，因此从信息的角度来考虑，10秒钟内不可能把上述14000个符号传输完。【khdaw.com3.9】求下图中信道的信道容量及其最佳的输入概率分布。1/211/6/31/31/1/6课后答案网61/21/361/www.hackshp.cn1/31/2解：两个信道的信道矩阵分别如下：é111ùé1111ùê236úê3636úê111úêú，êúê1111úê623úë6363ûê111úêë362úû可见，两个信道均是对称信道，信道容量分别为：1111C=log4-H(,,,)=.00817比特/符号13636111C=log3-H(,,)=.0126比特/符号2263输入的最佳分布是等概率分布。【3.10】求下列两个信道的信道容量，并加以比较khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com ép-ep-e2eùép-ep-e2e0ù（1）êú（2）êúëp-ep-e2eûëp-ep-e02eû解：这两个信道均是准对称信道，当输入符号等概率时，平均互信息达到信道容量，具体如下：（1）该准对称信道的信道容量为：C=max{H(Y)}-H(p-e,p-e2,e)11-2e1-2e1-2e1-2e=-log-log-2elog2e-H(p-e,p-e2,e)22222khdaw.com=1(-2e)log+(p-e)log(p-e)+(p-e)log(p-e)1-2e（2）该准对称信道的信道容量为：C=max{H(Y)}-H(p-e,p-e2,e)21-2e1-2e1-2e1-2e=-l课后答案网og-log-eloge-eloge-H(p-e,p-e2,e)22222=1(-2e)log+(p-e)log(p-e)+(p-e)log(p-e)+2e1-2e=C+2ewww.hackshp.cn1【3.11】求下图中信道的信道容量及其最佳的输入概率分布，并求出e=0和1e=时的信道容量C。210011-ε1εε21-ε2解：该信道的信道矩阵如下：é100ùêú01-eeêúêë0e1-eúûkhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 该信道既非对称信道，也非准对称信道，因此根据一般信道容量的计算公式，有åP(bj|ai)bj=åP(bj|ai)logP(bj|ai)即ìb1=0ïí1(-e)b2+eb3=1(-e)log(1-e)+elogeïeb+1(-e)b==1(-e)log(1-e)+elogeî23解得：b=0，b=b=1(-e)log(1-e)+elogekhdaw.com123而信道容量bjC=logå21-ee=log(1+1(2-e)e)信道的输出符号概率课后答案网为：b-C1P(b)=21=11-ee1+1(2-e)e1-eewww.hackshp.cnP(b)=2b2-C=1(-e)e21-ee1+1(2-e)e1-eeb-C1(-e)eP(b)=23=31-ee1+1(2-e)e而P(b)=P(a)11P(b)=1(-e)P(a)+eP(a)223P(b)=eP(a)+1(-e)P(a)323可得：1P(a)=11-ee1+1(2-e)e1-ee1(-e)eP(a)=21-ee1+1(2-e)ekhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 1-ee1(-e)eP(a)=31-ee1+1(2-e)e1-ee当e=0时，C=log(1+1(2-e)e)=log3，信道为一一对应信道；1ææ1öö当e=时，C=logçç1+2ç÷÷÷=log2。2èè2øø【3.12】试证明H(X)是输入概率分布P(x)的上凸函数。证明：H(X)=-åP(x)logP(x)khdaw.comX设存在两个概率分布P(x)和P(x)，目标是要证明12qH(P(x))+qH(P(x))£H(qP(x)+qP(x))1212证明过程如下：课后答案网qH(P(x))+qH(P(x))-H(qP(x)+qP(x))1212=www.hackshp.cn-qåP1(x)logP1(x)-qåP2(x)logP2(x)+å(qP1(x)+qP2(x))logP(x)P(x)P(x)=qåP1(x)log+qåP2(x)logP(x)P(x)12æP(x)öæP(x)ö£qlogeåP1(x)çç-1÷÷+qlogeåP2(x)çç-1÷÷èP1(x)øèP2(x)ø=0【3.13】从平均互信息的表达式证明，当信道和信源都是无记忆时，有NNI(X;Y)=NI(X;Y)证明：设a=(aaLa),b=(bbLb)，按照给定信道和信源均是无记忆，kk1k2kNhh1h2hN有P(a)=P(aaLa)=P(a)P(a)LP(a)kk1k2kNk1k2kNP(b|a)=P(bbLb|aaLa)=P(b|a)P(b|a)LP(b|a)hkh1h2hNk1k2kNh1k1h2k2hNkNP(b)=P(a)P(b|a)hkhk=P(a)P(a)LP(a)P(b|a)P(b|a)LP(|a)k1k2kNh1k1h2k2hNkN=P(b)P(b)LP()h1h2hNkhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com NNNNNI(X;Y)=H(Y)-H(Y|X)=-åP(bj)logP(bj)+åP(aibj)logP(bj|ai)P(b|a)ji=åP(aibj)logP(b)jP(b|a)P(b|a)LP(b|a)=P(ab)logh1k1h2k2hNkNåijP(b)P(b)LP()h1h2hNP(b|a)P(b|a)=P(ab)logh1k1+L+P(ab)loghNkNåijåijP(b)P(b)h1hN=I(X;Y)+I(X;Y)+L+I(X;Y)1122NN【khdaw.com3.14】证明：若(X,Y,Z)是马氏链，则(Z,Y,X)也是马氏链。证明：如果(X,Y,Z)是马氏链，则有P(z|xy)=P(z|y)，即P(xyz)P(yz)课后答案网=P(xy)P(y)P(xyz)P(xy)因此有=，即P(x|yz)=P(x|y)，即(Z,Y,X)也是马氏链。www.hackshp.cnP(yz)P(y)【3.15】把n个二元对称信道串接起来，每个二元对称信道的错误传递概率为p。证明这n个串接信道可以等效于一个二元对称信道，其错误传递概率为1n1[-1(-2p)]，并证明limI(X;X)=0，设p¹0或1，信道的串接如下图所0n2n®¥示。证明：1当n=1时，错误概率p=1(-1(-2p))成立；21k假设n=k成立，即k个串接信道的错误概率为1[-1(-2p)]；2当n=k+1时，其错误概率为：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 1kæ1köp1[-1(-2p)]+pç1-1[-1(-2p)]÷2è2øppkpk=-1(-2p)+p-1[-1(-2p)]2221pkpk=-1(-2p)+1(-2p)22211kk=-1(-2p)+p1(-2p)221k+1=1[-1(-2p)]2é11ù1ê22ú当n®¥时，错误概率近似为，总信道矩阵为êú，此时不论输入为何分211khdaw.comêúë22û布，输出均为等概率分布。其互信息为：limI(X;X)=H(X)-H(X|X)=1-H(X|X)=0比特/符号0nnn0n0n®¥课后答案网【3.16】若有两个串接的离散信道，它们的信道矩阵都是é0001ùêú0001www.hackshp.cnê11úê00úê22úêë0010úû并设第一个信道的输入符号XÎ{a,a,a,a}是等概率分布，求I(X;Z)和1234I(X;Y)并加以比较。解：串接后的信道矩阵为：é0001ùé0001ùé0010ùê0001úê0001úê0010úêúêúêúê1100úê1100ú=ê0001úê22úê22úê11úêë0010úûêë0010úûêë2200úûkhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com é0001ùêú0001êú[P(b1)P(b2)P(b3)P(b4)]=[P(a1)P(a2)P(a3)P(a4)]ê11ú00ê22úêë0010úûé1111ù=êúë8842ûI(X;Y)=H(Y)-H(Y|X)11111111111111=-log-log-log-log-´log-´log88884422422422=5.1比特/符号é0010ùkhdaw.comê0010úêú[P(c)P(c)P(c)P(c)]=[P(a)P(a)P(a)P(a)]12341234ê0001úê11úê00úë22ûé1111ù=êú课后答案网ë8824ûI(X;Z)=H(Z)-H(Z|X)11111111111111=-log-log-log-log-´log-´logwww.hackshp.cn88884422422422=5.1比特/符号可见，I(X;Z)=I(X;Y)。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 第四章课后习题【4.1】设有一连续随机变量，其概率密度函数为ìpïAcosxx£p(x)=í2ïî0其他值p又有2p(x)dx=1，试求这随机变量的熵。ò-pkhdaw.com2解：h(X)=-òp(x)logp(x)dx=-òAcosxlogAdx-òAcosxlogcosxdxp课后答案网=-AlogAsinx2-Acosxlogcosxdxpò-2www.hackshp.cn=-2AlogA-òAcosxlogcosxdx而2òcosxlogcosxdx=logeòln1-sindxsinx1=logeòln(1+sinx)+ln(1-sinx)dsinx211=logeòln(1+sinx)dsinx+logeòln(1-sinx)dsinx22p1+sinxln(1+sinx)dsinx=1(+sinx)ln(1+sinx)2-dsinxò-pò1+sinx2=2ln2-2òln(1-sinx)dsinx=-òln(1-sinx)d1(-sinx)p1-sinx=-1(-sinx)ln(1-sinx)2-dsinxpò-1-sinx2=2ln2-2因此有khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com Ah(X)=-2AlogA-loge2(ln2-2+2ln2-)22=-2AlogA+2Aloge-2Alogeln2=-2AlogA+2Aloge-2Ap1而2p(x)dx=1，即A=，因此ò-p221h(X)=-log+loge-1=1+loge-1=loge2【4.2】计算连续随机变量X的差熵-lx（1）指数概率密度函数p(x)=le，x³,0l>01-lx（khdaw.com2）拉普拉斯概率密度函数，p(x)=le，-¥02解：（1）h(X)=-òp(x)logp(x)dx-lx-lx课后答案网=-òlelogledx-lx-lx-lx=-òlelogldx-òlelogedx-lx¥-lx-lx=-logle+logelnedewww.hackshp.cn0ò0=-logl+logetlnt-logedt1ò=-logl+logee=logl（2）h(X)=-òp(x)logp(x)dx¥1-lx1-lx=-òlelogledx-¥22¥1-lx-lx=-òlelogledx02¥1¥-lx-lx-lx=-òlelogdx-òlelogledx020e=log2+logl2e=logl注：（2）题直接借用了（1）的结论。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【4.3】设有一连续随机变量，其概率密度函数为：2ìbx0£x£ap(x)=íî0其他值试求这随机变量的熵。又若Y=X+K(K>)0，Y=2X，试分别求出Y和Y的1212熵h(Y)和h(Y)。12解：h(X)=-òp(x)logp(x)dxa22=-òbxlogbxdx0a2khdaw.com=-logb-2blogeòxlnxdx02323=abloge-abloga-logb933由于òp(x)dx=1，因此ab=3，因此课后答案网2h(X)=loge+loga-log33¶X当Y=X+K(K>)0时，=1，因此1¶Ywww.hackshp.cn12h(Y)=h(X)-E[log]1=h(X)=loge+loga-log313¶X1当Y=2X时，=，因此2¶Y21123h(Y)=h(X)-E[log]=h(X)=loge+logalog1232【4.4】设给定两随机变量X和X，它们的联合概率密度为1222x1+x21-p(xx)=e2-¥N时有00ìI(a)üiPí-H(S)³.005ý£.001îNþ式中，H(S)是信源的熵。khdaw.com（2）试求当N=N时典型序列集G中含有的信源序列个数。0eN解：（1）该信源的信源熵为课后答案网H(S)=-åp(si)logp(si)=.0811比特/符号自信息的方差为www.hackshp.cn22D[I(s)]=E[I(s)]-H(S)ii324122=log+log4-.0811434=.04715根据等长码编码定理，我们知道ìI(a)üiPí-H(S)³eý£1-dîNþ根据给定条件可知，e=.005，d=.099。而D[I(s)]id=2Ne因此D[I(si)].04715N³==1905.022de0.05*0.99取N=191。0khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com （2）e典型序列中信源序列个数取值范围为：N[H(S)-e]N[H(S)+e]1(-d2)P(b|a)成立，即jjji*D(a,bj)D(ai,bj)æpön-D(a*,b)æpön-D(a,b)ç÷(1-p)j>ç÷(1-p)ijèr-1øèr-1ø因此有*D(a,bj)-D(ai,bj)æpöD(a*,b)-D(a,b)ç÷>(1-p)jijèr-1ø1*一般情况下，p=1-p>，因此有D(a,b)£D(a,b)成立，而这即为最jij2小距离译码规则。1【6.6】某一信道，其输入X的符号集为,0{}1,，输出Y的符号集为}1,0{，信道2矩阵为khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com éù10êúê11úP=êúê22úêú01êëúû现有四个消息的信源通过这信道传输（消息等概率出现）。若对信源进行编码，我们选这样一种码11C:{(x,x,,)}，xÎ0或1（i=2,1）12i22其码长为khdaw.comn=4，并选取这样的译码规则11f(y,y,y,y)=(y,y,,)12341222（1）这样编码后信道的信息传输率等于多少？（2）证明在选用的译码规则下，对所有码字P=0。课后答案网E解：输入码www.hackshp.cn字不同的个数共有4个，因此编码后信道的信息传输率为log41R==比特/码符号4211111111000110112222222200001/400000011/400000101/400000111/4000010001/400010101/400011001/400011101/4001000001/401001001/401010001/401011001/4011000001/411010001/411100001/41111000khdaw.com1/4若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 可以看出，通过上述译码，对每一个输出都有一个输入与其对应，通过计算，可得其平均错误概率P=0。E【6.7】考虑一个码长为4的二元码，其码字为W=0000，W=0011，W=1100，123W=1111。假设码字送入一个二元对称信道（其单符号错误概率为p，且4p<.001），而码字输入是不等概率的，其概率为1111P(W)=，P(W)=，P(W)=，P(W)=12342884试找出一种译码规则使平均错误概率P最小。khdaw.comE解：设接收码字为V，则一共可能有16种不同的码字序列，而in-D(Vj,Wi)D(Vj,Wi)P(V|W)=pp课后答案网ji列出所有的输出，如下表所示。www.hackshp.cnkhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com Wi接收码字Vj0000001111001111目标序列1111P(V|W)P(V|W)P(V|W)P(V|W)j1j2j3j4288414122122140000pppppp00002884131313130001pppppppp00002884131313130010pppppppp0000288412214141220011pppppp0011khdaw.com2884131313130100pppppppp000028841221221221220101pppppppp000028841221221221220110pppppppp0000课后答案网2884131313130111pppppppp11112884131313131000www.hackshp.cnpppppppp000028841221221221221001pppppppp000028841221221221221010pppppppp00002884131313131011pppppppp1111288412214141221100pppppp11002884131313131101pppppppp11112884131313131110pppppppp1111288414122122141111pppppp11112884khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【6.8】设一种离散无记忆信道，其信道矩阵为é11ù000êú22ê11úê000úê22úê11úP=000ê22úê11úê000úê22úê10001úêë22úûkhdaw.com（1）计算信道容量C；1（2）找出一个码长为2的重复码，其信息传输率为log5（即5个码字）。2如果按最大似然译码准则设计译码器，求译码器输出端的平均错误概率P（输入码字等概率）。E课后答案网(i)（3）有无可能存在一个码长为2的码，使P=0（i=5,4,3,2,1），即P=0，eEwww.hackshp.cn如存在的话请找出来。解：（1）观察该信道，其每一行数据都是第一行数据的置换，每一列数据都是第一列数据的置换，因此该信道是对称信道，其信道容量为：11C=logr-H(,)0,0,0,=log5-1=.1322比特/码符号22（2）假设信道中的输入符号集和输出符号集为{0,1,2,3,4}，进行二次重复码，编得00、11、22、33、44H(S)1其码率为R==log5比特/码符号。n2此时，输出方可能有25种可能性，进行最大似然译码，如下表所示。错误概率为khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 1æ11111ö1PE=ç++++÷=5è44444ø4输入序列输出序列译码0011223344001/40001/400/44011/40000000200000均可0300000均可0400001/444101/4000000111/41/400000/111201/400011khdaw.com1300000均可1400000均可2000000均可2101/4000112201/41/40011/22230课后答案网01/400222400000均可3000000均可3100000均可32www.hackshp.cn001/4002233001/41/4022/33340001/40334000001/4444100000均可4200000均可430001/4033440001/41/433/44（3）将25个长度为2的序列排成一方块图，如下所示：000102030400101112131410202122232420303132333430404142434440000102030400为使平均错误概率为0，须充分利用译码规则，假如选择khdaw.com了一个码字，则在若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 接收序列中与这个码字对应的条件概率不为零的肯定不能出现在所选的码组中，对应上图，即是如果一个码字被选定了，则以它为左上角的正方形中的四个码字均不能出现在这个码组中，因此可以选择{00，12，24，31，43}，可以保证平均错误概率为0。khdaw.com课后答案网www.hackshp.cn【6.9】证明二元2(n+)1,1重复码当采用最大似然译码准则时，译码的平均错误概率为2n+1kk2n+1-kPE=åC2n+1ppk=n+1式中，p为二元对称信道的错误传输率，并计算当n=,9,7,511时P的近似值。E证明：对于二元2(n+)1,1重复码，采用最大似然译码规则时，收到的码字序列可能2n+1有2个，此时可以自动纠正1位至n位错误，因此平均错误概率为：2n+1n+1n+1n2n+12n+1kk2n+1-kPE=C2n+1pp+L+C2n+1p=åC2n+1ppk=n+1khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com -5当n=2时，P=1´10；E-7当n=3时，P=.342´10；E-8当n=4时，P=.122´10；E-10当n=5时，P=.443´10。E【6.10】对二元2(n)1,重复码，设计一种合适的译码规则，并求出它的译码平均错误概率P。E解：此khdaw.com题在关键在于对于错了n位时的处理方法。显然，对于错误小于n位时，我们可以自动纠正其错误，而对于错n位时，只能人为指定一个。因此错误概率为2n2n1ækk2n-knnnkk2n-köPE课后答案网=çåC2npp+C2npp+åC2npp÷2èk=n+1k=n+1ø2nkk2n-k1nnn=åC2npp+C2nppwww.hackshp.cnk=n+12khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 第八章课后习题【8.1】求概率分布为(1/3,1/5,1/5,2/15,2/15)信源的二元霍夫曼码。讨论此码对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源也是最佳二元码。解：概率分布为(1/3,1/5,1/5,2/15,2/15)信源二元霍夫曼编码过程如下：khdaw.com课后答案网www.hackshp.cn同样，对于概率分布为(1/5,1/5,1/5,1/5,1/5)的信源，编码过程如下：可见，二者的码字完全相同。khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 【8.2】设二元霍夫曼码为(00,01,10,11)和(0,10,110,111)，求出可以编得这样霍夫曼码的信源的所有概率分布。解：二元霍夫曼编码的过程必定是信源缩减的过程，编码为(00,01,10,11)的信源，其码树如下图所示。khdaw.com课后答案网假设四个信源符号的概率分别是p,p,p,p，假设p³p³p³p，则必12341234定有如下条件成立www.hackshp.cnp£p+p134p£p+p2341又p+p+p+p=1，即p+p³，因此要构造上述编码，必定要满足12343431p+p³343p£p+p134p£p+p234而编码为(0,10,110,111)的码树如下图所示：khdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 如果按上述情况进行编码，必定要满足p£p，p+p。因此完成上述编码的概率分布为：1234131p>13p£p课后答案网21p+pLC，而平均TT¢码长LC=，LC¢=，可得nnT£T¢（2）当a=1时，所有码字的码长相等，均为l=k；ikhdaw.com若侵犯了您的版权利益，敬请来信通知我们！℡www.khdaw.com 当a=2时，所有码字的码长相等，均为l=k+1；ikk+1而当1