多信源信息传输方案设计毕业论文.doc 32页

'多信源信息传输方案设计毕业论文32 目录摘要2第一章引论51.1课题背景51.2课题研究目的和主要内容5第二章信源与信源编码72.1信源的数学模型72.1.1信源输出的消息由随机变量描述72.1.2信源输出的消息由随机矢量描述72.1.3信源的输出的消息由随机过程描述82.2信源编码82.2.1唯一可译码82.2.2惟一可译码判断准则82.2.3平均码长的界限92.3变长码的编码方法102.3.1香农编码102.3.2费诺编码112.3.3Huffman编码11第三章信道与信道编码133.1信道的数学模型及其分类133.2信道编码143.2.1信道编码概述143.2.2线性分组码143.3译码规则15第四章多信源的信息传输184.1多描述信源184.2多信源接入信道194.2.1多信源接入信道及其模型194.2.2离散二址接入信道的容量界限204.2.3多源接入信道的特征22第五章二源信息传输方案245.1二源信息传输的编译码245.2二源信息传输实验255.3实验结果分析26结束语29致谢30参考文献31附录3232 第一章引论1.1课题背景网络通信的全球性发展是20世纪90年代的一件大事。其中Internet的出现与普及应用，几乎改变了整个信息社会的态势布局。数字化、宽带化、网络化和个性化已成为媒体与用户共同追求的目标。网络已成为信息传输、交换的主要载体，而对在网络上传输和交换的信息的效率以及可靠性与安全性也越来越受到关注。这就促进了网络信息论及其相关的学科技术的发展。网络信息论的研究最早是Shannon提出的。1961年Shannon发表了“双路通信信道”一文，研究了双端双路通信系统，为网络信息论奠定了基础。1971年Ahlswede和VanderMeulen引入了多元接入信道模型，同时还给出了多元接入信道的信道容量区域。广播信道容量问题最早由Cover（1972年）提出的。他引入了研究广播信道的一种退化广播信道和编码方法。相关信源编码的最早提出是由Slepian-Wolf给出的。多元接入信道在理论上研究较多，但具有反馈的多元接入信道的容量问题还没有很好的解决。广播信道容量，相关信源编码方面的问题正在研究之中。网络信息论尚在发展之中，这就是网络信息论的发展现状。网络信息论研究的是网络通信的有效性与可靠性，可归结为三大类问题，即相关信源编码问题、网络信道容量问题以及信道编码问题。比如，信源编码包括相关信源及提供边信息协同编码等，信道容量区域概念，信道编码与信源编码的关联性等。本课题研究的是多信源信息传输中二源的信息传输编码和译码，其中编码方式是将相关信源协同编码转换为独立编码。1.2课题研究目的和主要内容课题研究目的：本课题作为本科生的毕业设计课题，研究的目的在于将所学的知识运用于实践，并培养一定的研究能力和自学能力。同时通过对二源相关信源独立编码的研究，使自己掌握网络信息论的有关知识。通过此次毕业设计，使我对网络信息论的中的相关信源编码中的协同编码和独立编码有一定的了解，同时也提高了自己的编程能力。本课题研究的内容只是网络信息论中的一个知识点，更深入的研究受到时间和个人能力的限制。本文所引用的理论都是前人已有的理论，并没有在理论方面提出自己的东西。本设计给出二源信息传输设计方案，是验证Slepian-Wolf定理的编码速率限是可以达到。32 课题研究主要内容：本课题为多信源传输方案设计，其主要内容如下。l信源编码它是用尽可能少的信道传输符号来传递信源消息，以提高信息传输效率。在多用户信源情况下，考虑相关信源的协同编码和独立编码，本文论述的是二源信息传输中相关信源协同编码转换为独立编码传输的两个信源。l信道编码信号在信道的传播过程中不可避免地会受到各种干扰，在这种情况下，如何增强信号的抗干扰能力，提高传输的可靠性，是信道编码主要考虑的问题。解决这一问题，一般采用冗余编码方法，即按照一定的编码规则事先给信码加上一定的冗余度，赋予信码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的错误概率降到允许的范围之内。l多信源信息传输多信源信息传输中介绍多信源，多信源接入信道及其模型，二址接入信道的容量界限，和多源接入信道的特征。重点讨论了二源信息传输的编码和译码，在接收端可知情况下，引入一个变量引入一个变量，由于x与y的Hamming距离不超过1，每个z只可能有Z集合中4种可能值，可知对Z只需2bit编码。用Z来代替X编码发送。加上Y需要3bit编码，就验证达到5bit编码输出的目的。在接收端可知情况下，根据两信源的码符号集为分别为x、y，它们的码字共有八种，且由等概率分布的3比特序列表示。将3bit序列分成4组序列对，每组两个码的Hamming距离为3，这4组序列对只需2bit编码就区分。可以用4组序列对的编码来代替x编码发送，加上y的3比特，达到了5比特速率就可以满足Slepian-Wolf定理的编码速率限。实验中采用校正子的编码方法，用2bit编码区分了所构造的4组序列对，验证了Slepian-Wolf定理的编码速率限是可以达到的。32 第二章信源与信源编码2.1信源的数学模型由于信源是消息的来源，所以通过消息来研究信源。讨论信源的输出，以及信源输出各种可能消息的不确定性。在通信系统中收信者在未收到消息前，对信源发出什么消息是不确定的、随机的，可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间极其概率测度——概率空间来描述信源。不同的信源输出的消息不同，可以根据消息的不同随机性质来对信源进行分类，具体如下。2.1.1信源输出的消息由随机变量描述定义：若信源输出的消息是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。这种信源可用一维离散型随机变量来描述这些消息，其数学模型就是离散型的概率空间：（2.1）并满足（2.2）此式表示信源可能取的消息符号只有q个：，而且每次必定取其中一个。若信源给定，其相应的概率空间就已给定；反之，若概率空间给定，也就表示相应的信源给定。所以，概率空间能够表征离散信源的统计特性。2.1.2信源输出的消息由随机矢量描述l离散无记忆信源信源先后发出的一个个符号彼此是统计独立的，并具有相同的概率分布，则N维随机矢量的联合概率分布满足（2.3）其中即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源称为离散无记忆信源。32 l离散有记忆信源一般情况下，信源先后发出的符号之间是相互依赖、存在着相关性的。这种信源称为离散有记忆信源。因此，对于离散有记忆信源的研究需要在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。2.1.3信源的输出的消息由随机过程描述更一般的来说，实际信源的输出常常是时间的连续函数，并且它们的取值又是连续的和随机的，这样的信源称为随机波形信源，可用随机过程来描述。分析一般随机过程比较困难。但根据取样定理，只要是时间上的或频率上为有限的过程，就可以把随机过程用一系列时间离散的取样值来表示，而每个取样值都是连续型随机变量。这样就可把随机过程转换成时间上离散的随机序列来处理，若随机过程是平稳的随机过程，时间离散后可转换成平稳的随机序列，这样随机波形信源可以转换成连续平稳信源来处理。若再对每个取样值经过分层量化，就可将连续的取值转换成有限的或可数的离散值，也就是可以把连续信源转换成离散信源来处理。2.2信源编码信源编码主要考虑的问题是：用尽可能少的信道传输符号来传递信源消息，以提高传输效率。2.2.1唯一可译码若码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码为惟一可译码。惟一可译码存在的充要条件是：信源符号和码字长度之间满足麦克米伦不等式：（2.4）其中，r为码符号个数，为码长，q为信源符号个数。惟一可译码一定满足上述不等式，反之，满足上述不等式不一定是惟一码。2.2.2惟一可译码判断准则在前面的阐述中，虽然给出了判断惟一可译码的方法，但在应用中却十分困难，下面引用一种判别惟一可译码的准则，该准则是萨得纳斯和彼得森设计出来的，内容如下：设为原始码字的集合，再构造一系列集合。为得到集合，首先分析中的所有码字。若码字是码字的前缀，即，则将后缀A列为中的元素，就是由所有具有这种性质的A构成的集合。32 一般地，要够成，n>1,则将与比较。若有码字，且W是的前缀，即U=WA，则取后缀A为中的元素。同样，若有码字是的前缀，即，则后缀也为中的元素。这样就可构成集合。以此下去，直至集合为空为止或者没有新的后缀产生为止。所以，一种码是惟一可译码的充要条件是中没有一个含有中的码字。2.2.3平均码长的界限对于已知信源S可用码符号X进行变长编码，而且对同一信源采用同一码符号编成的即时码或惟一可译码有许多种。从提高有效性的观点来考虑，希望选择由短的码符号组成的码字，就是用码长作为选择准则，为此引进码的平均长度。设信源为（2.5）编码后的码字为其码长分别为由于是惟一可译码，信源符号于码字是一一对应的，则这个码字的平均码长为（2.6）平均码长表示每个信源符号平均需用的码符号个数，单位是码符号/信源符号。定义：若信源的熵给定，编码后每个信源符号平均用个码元来变换。那么，平均每个码元携带的信息量可定义为编码后信道的信息传输率，即比特/码符号（2.7）若传输一个码符号平均需要t秒钟，则编码后信道每秒钟传输的信息量为比特/秒（2.8）定义：对于某一信源和某一码符号集来说，若有一个惟一可译码，其平均码长小于所有其他惟一可译码的平均码长，则在该码称为紧致码，或称致最佳码。无失真信源编码的核心问题就是寻找紧致码。对于熵为的离散无记忆信源32 若用具有r个码元的码符号集对信源进行编码，则一定存在一种无失真编码方法，构成惟一可译码，使其平均码长满足（2.9）（2.9）式表明，码字的平均长度不能小于极限值，否则惟一可译码不存在。式（2.4），（2.6），（2.8），（2.9）参见文献[9]2.3变长码的编码方法常用的变长码的编码方法有如下三种：香农（Shannon）编码法、费诺（Fano）编码法、霍夫曼（Huffman）编码法。对于同一种信源，三种编码法中以香农编码法的编码效率最低，但这种编码法对于证明变长编码定理起到了很重要的作用，所以它有着重要的理论指导意义。费诺编码法也不是一种最佳编码法，但用这种方法有时候也能找到紧致码。一般情况下，对于同一信源，三种编码方法以霍夫曼编码法得到的平均码长最短，即编码效率最高。2.3.1香农编码香农第一定理指出，选择每个码字的长度，使之满足式的整数，就可以得到惟一可译码，这种编码方法称为香农编码。按照香农编码方法编出来的码可以使不超过上界，但并不一定能使为最短，即编出来的不一定使紧致码。可见，香农编码剩余度稍大，实用性不强，但有重要的理论意义。二进制香农码的编码过程如下：²将信源发出的q个消息符号按其概率的递减次序依次排列。²按下式计算第i个信源符号的二进制码字的码长，并取整。²为了编成惟一可译码，首先计算第i个信源符号的累加概率²将累加概率（为小数）变换成二进制数。²去除小数点，并根据码长，取小数点后位数作为第个信源符号的码字，由下式确定。（取整）32 2.3.2费诺编码费诺（Fano）编码方法属于概率匹配编码，但它不是最佳的编码方法。不过有时也可得到紧致码的性能。费诺码的编码过程如下：²将信源发出的q个消息符号按其概率的递减次序依次排列，即²将依次排列好的信源符号按编码进制数分组，使每组概率和尽可能接近或相等，并给每组各赋予一个码元。如编二进制费诺码就分成两组，各赋予一个二元码符号码元中的一个。²将每一大组的信源符号进一步再按编码进制数分组，使每组的概率和尽可能接近或相等，并分别赋予每组一个码元。²如此重复，直至信源符号不再可分为止。信源符号所对应的码元序列（从左到右）则为费诺码。2.3.3Huffman编码信源统计特性是Shannon信息论的基础，基于统计特性作信源压缩编码就成为一种方案。其中从编码效率比较，Huffman编码方案被认为是最佳方案，因为其平均码长接近信源熵。Huffman编码在语声、图象、传真、文件压缩等领域都得到了广泛的实际应用。霍夫曼（Huffman）提出了一种构造紧致码的方法，它是一种最佳的逐个符号的编码方法，其编码效率较高。它的编码过程如下：²将信源S发出的q个消息符号按其概率的递减次序依次排列，即²用0和1码元分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含q-1个符号的信源，称为S信源的缩减信源。²把缩减信源的符号仍按概率大小以递减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用0和1码元表示，这样又形成了q-2个符号的缩减信源。²依次继续下去，直至信源最后只剩下两个符号为止。将这最后两个信源符号分别用0和1码元表示。然后从最后一级缩减信源开始，依编码路径向前返回（从右往左），就得出各信源符号所对应的码字。32 霍夫曼编码方法中每一步得到的都是紧致码，因而信源S的霍夫曼码一定是紧致码。霍夫曼编码方法得到的码并非是惟一的。造成非惟一的原因如下：²每次对缩减信源最后两个概率最小的符号，勇0和1码是可以任意的，所以可得到不同的码。但它们只是码字具体形式不同，而其码长不变，所以码长也不变，所以没有本质差别。²若当缩减信源中缩减合并后的符号的概率与其他信源符号概率相同时，这两者在缩减信源中进行概率排序时，其位置放置次序时可以任意的，故会得到不同的霍夫曼码。对两种不同的码，它们的码长各不同，然而平均码长时相同的。霍夫曼码具有以下两个明显特点，这两各特点保证了所得到的霍夫曼码一定是紧致码：²霍夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应长码，而且所有短码都得到充分利用。²每次缩减信源的最后两个码字总是最后一位不同，前面各位相同。参见文献[9]。32 第三章信道与信道编码3.1信道的数学模型及其分类信道是信息传输的通道，信道有输入端和输出端。通信系统中将各个部分的躁声或干扰等效成从信道输入。由于干扰的存在，信道的输入和输出之间一般不是确定的函数关系。可以将信道看做是一个变换器，它将输入消息x变换成y，以信道转移概率来描述信道的统计特性。l离散信道的数学模型离散信道的数学模型一般如图1所式。信道图1离散信道的数学模型图1中输入和输出信号均用随机矢量表示，输入信号，输出信号，其中i=1,2N表示时间或空间的离散值。而每个随机变量和又分别取值于符号集和，其中r不一定等于s。另外，上图输入信号和输出信号之间统计依赖关系由条件来描述，信道噪声与干扰的影响也包含在之中，反映了信道的统计特性。于是离散信道的数学模型可表示为：一般的信道转移概率可用如下的信道转移矩阵来表示：（3.1）输入和输出符号的联合概率为,则有其中是信道转移概率，即发送为，通过信道传输接收到的概率，通常称为前向概率。它是由于信道噪声引起的，描述了信道噪声的特性。而是已知信道输出端接收符号为时，发送的输入符号为的概率，称为后向概率。有时把称为输入符号的先验概率，而把对应地把称为输入符号的后验概率。32 l信道的分类信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为以下几种。²离散信道：信道的输入和输出都是时间上的离散、取值离散的随机序列，离散信道有时也称为数字信道。²连续信道：信道的输入和输出都是时间上的离散、取值连续的随机序列，又成为模拟信道。²半连续信道：信道的输入序列是离散的，输出序列是连续的。²波形信道：信道的输入和输出都是时间上的连续，并且取值也为连续的随机信号。根据统计特性，即信道转移概率的不同，信道又可分为以下两种。²无记忆信道：信道的输出y只与当前时刻的输入x有关。²有记忆信道：信道的输出y不仅与当前时刻的输入有关，还与以前的输入有统计关系。3.2信道编码信号在信道的传播过程中不可避免地会受到各种干扰，在这种情况下，如何增强信号的抗干扰能力，提高传输的可靠性，是信道编码主要考虑的问题。解决这一问题，一般采用冗余编码方法，即按照一定的编码规则事先给信码加上一定的冗余度（检测位），赋予信道编码自身一定的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传输的错误概率降到允许的范围之内。3.2.1信道编码概述信道的特征是由信道转移概率来描述的。由此可以计算出它的信道容量C，只要在信道中实际传送的信息率R