姜丹 信息论与编码习题参考答案.doc 41页

'2002CopyrightEELab508信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量；(2)“两个5同时出现”这一事件的自信息量；(3)两个点数的各种组合的熵；(4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。解：(3)信源空间：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空间：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）,（Xb，Yb）,但A，B不能同时落入同一方格内。（1）若仅有质点A，求A落入任一方格的平均信息量；（2）若已知A已落入，求B落入的平均信息量；（3）若A，B是可辨认的，求A，B落入的平均信息量。解：©H.F. 2002CopyrightEELab5081.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解：1.4某一无记忆信源的符号集为｛0，1｝，已知（1）求符号的平均信息量；（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）的自信量的表达式；（3）计算（2）中序列的熵。解：©H.F. 2002CopyrightEELab5081.5设信源X的信源空间为：求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。解：1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。证:©H.F. 2002CopyrightEELab5081.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:1.9给定一个概率分布和一个整数m，。定义，证明：。并说明等式何时成立？证：©H.F. 2002CopyrightEELab5081.10找出两种特殊分布:p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：1.15两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证：(1)H(X)≤H(Z),H(Y)≤H(Z)(2)H(XY)≥H(Z)证明：第二章单符号离散信道2.1设信源通过一信道，信道的输出随机变量Y的符号集©H.F. 2002CopyrightEELab508,信道的矩阵：试求：(1)信源X中的符号a1和a2分别含有的自信息量；(2)收到消息Y＝b1，Y＝b2后，获得关于a1、a2的互交信息量：I(a1;b1)、I(a1;b2)、I(a2;b1)、I(a2;b2)；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X)；(5)接收到消息Y后获得的平均互交信息量I(X;Y)。解:2.2某二进制对称信道，其信道矩阵是：设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)=p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。解:©H.F. 2002CopyrightEELab5082.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：(1)H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:©H.F. 2002CopyrightEELab508©H.F. 2002CopyrightEELab5082.4已知信源X的信源空间为某信道的信道矩阵为：b1b2b3b4试求：(1)“输入a3，输出b2的概率”；(2)“输出b4的概率”；(3)“收到b3条件下推测输入a2”的概率。解：2.5已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。(1)P(A)=10-2；(2)P(A)=1/32；(3)P(A)=0.5。解：©H.F. 2002CopyrightEELab5082.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16码字000001010011100101110111(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。解：2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(00，则对每个j＝1，2，…，r都存在状态极限概率：(证明详见:p171~175)©H.F. 2002CopyrightEELab5083.6设某齐次马氏链的第一步转移概率矩阵为：试求：(1)该马氏链的二步转移概率矩阵；(2)平稳后状态“0”、“1”、“2”的极限概率。解：3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{X0=1}=0.3;P{X0=2}=0.1。第一个单位时间的条件概率分布分别是：P{X1=0/X0=0}=1/3;P{X1=1/X0=0}=1/3;P{X1=2/X0=0}=1/3;P{X1=0/X0=1}=1/3;P{X1=1/X0=1}=1/3;P{X1=2/X0=1}=1/3;P{X1=0/X0=2}=1/2;P{X1=1/X0=2}=1/2;P{X1=2/X0=2}=0.后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。解：©H.F. 2002CopyrightEELab508香农线图如下：2011/21/21/31/31/31/31/31/33.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义©H.F. 2002CopyrightEELab508012p/2p/2p/2p/2p/2p/2(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)p取何值时H∞取得最大值。解：3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求：(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H∞；(3)求当p=0,p=1时的信息熵，并作出解释。©H.F. 2002CopyrightEELab508ppp012解:3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si)(i=1,2,3;k=1,2,3)标在相应的线段旁,如下图所示.(1)求状态极限概率并找出符号的极限概率;(2)计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);(3)信源的极限熵H∞.©H.F. 2002CopyrightEELab508α2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/4解:3.12下图所示的二进制对称信道是无记忆信道,其中©H.F. 2002CopyrightEELab508,试写出N=3次扩展无记忆信道的信道矩阵[P].00pXYp11解:第五章多维连续信源与信道5.8设X(ƒ)是时间函数x(t)的频谱,而函数在T1>错误传递概率p。试选择译码函数，并使平均错误概率Pe=Pemin，写出Pemin的表达式。解：000001010100011101110111因为正确传递概率p`>>错误传递概率p，所以选择译码函数如下：F(000)=F(010)=F(100)=F(001)=000F(111)=F(011)=F(101)=F(110)=F(111)=1117.9设离散无记忆信道的输入符号集X：{0，1}，输出符号集Y：{0，1，2}，信道矩阵为：©H.F. 2002CopyrightEELab508若某信源输出两个等概消息s1和s2，现在用信道输入符号集中的符号对s1和s2进行信道编码，以w1=00代表s1，w2=11代表s2。试写出能使平均错误译码概率Pe=Pemin的译码规则，并计算Pemin。解：7.10设某信道的信道矩阵为：其输入符号等概分布，在最大似然译码准则下，有三种不同的译码规则，试求之，并计算出它们对应的平均错误概率。解：输入符号等概分布，在最大似然译码准则下，有三种不同的译码规则:(1)F(b1)=a1，F(b2)=a1，F(b3)=a2(2)F(b1)=a1，F(b2)=a2，F(b3)=a2(3)F(b1)=a1，F(b2)=a3，F(b3)=a2第八章限失真信源编码8.1设信源X的概率分布P(X):{p(a1),p(a2),…,p(ar)},失真度为d(ai,bj)≥0,其中(i=1,2,…,r;j=1,2,…,s).试证明:并写出取得的试验信道的传输概率选取的原则,其中©H.F. 2002CopyrightEELab508(证明详见:p468-p470)8.2设信源X的概率分布P(X):{p(a1),p(a2),…,p(ar)},失真度为d(ai,bj)≥0,其中(i=1,2,…,r;j=1,2,…,s).试证明:并写出取得的试验信道传递概率的选取原则.(证明详见:p477-p478)8.5设二元信源X的信源空间为:令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求:(1)Dmin,R(Dmin);(2)Dmax,R(Dmax);(3)信源X在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线;(4)计算R(1/8).解：由上，可得R(D)曲线如下:©H.F. 2002CopyrightEELab508R(D)DH(ω)0Dmax=ω(4)R(1/8)=H(ω)-H(1/8)=H(ω)-0.5436bit/symble8.6一个四进展等概信源接收符号集V:{0,1,2,3},其失真矩阵为:(1)Dmin,R(Dmin);(2)Dmax,R(Dmax);(3)试求R(D),并画出R(D)的曲线(去4到5个点).解:©H.F. 2002CopyrightEELab508可得R(D)曲线如下:0.7920.2081.258R(D)(bit/bymble)D23/41/21/41/808.7某二进制信源:其失真矩阵为:(1)试求Dmin,R(Dmin);(2)试求Dmax,R(Dmax);(3)试求R(D);©H.F. 2002CopyrightEELab5088.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin.8.10某二元信源X的信源空间为:其中ω<1/2,其失真矩阵为:(1)试求Dmin,R(Dmin);(2)试求Dmax,R(Dmax);(3)试求R(D);(4)写出取得R(D)的试验信道的各传输概率;(5)当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵.解:©H.F. 2002CopyrightEELab508©H.F. 2002CopyrightEELab5088.14设离散无记忆信源:©H.F. 2002CopyrightEELab508其失真失真度为汉明失真度.(1)试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵;(2)试求Dmax,R(Dmax),并写出相应试验信道的信道矩阵;(3)若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码符号表示?解:8.15设二元信源X的信源空间为:(ω<1/2),其失真度为汉明失真度.若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示?解:©H.F.'