香农信息论课件.ppt

1、JUNE-ZHENG 作品目录一、克劳德 香农 生平介绍二、信息论三、信息论的影响LOGO 克劳德香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州。父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。香农是美国数学家、信息论的创始人。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有：1938年的硕士论文继电器与开关电路的符号分析，1948年的通讯的数学原

2、理和1949年的噪声下的通信。香农香农是是2020世纪最杰出的人物之一。如果没有他，很多我世纪最杰出的人物之一。如果没有他，很多我们现在使用的物品根本就不可能存在。数字革命是由香们现在使用的物品根本就不可能存在。数字革命是由香农最初发起的。农最初发起的。内尔内尔斯罗恩（香农理论选集的编辑）斯罗恩（香农理论选集的编辑）Shannon Shannon理论的问世，象是引爆了一枚重磅的原子弹，理论的问世，象是引爆了一枚重磅的原子弹，震撼了整个科学界。震撼了整个科学界。J.Pierce(J.Pierce(香农的合作者和朋友）香农的合作者和朋友）213信息论信息论的研究信息论的概念信息论的应用 信息论是一

3、门应用概率论、随机过程、数理统计和代信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学。中一般规律的科学。它是它是ShannonShannon在四十年代末期，以客观概率信息为研究在四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理对象，从通信的信息传输问题中总结和开拓出来的理论。论。狭义信息论狭义信息论（经典信息论）：（经典信息论）：主要研究信息的测度、主要研究信息的测度、信道容量以及信源和信道编码系统的最优化等问题。信道容量以及信源和信道编码系统的最优化等问题

4、。这部分内容是信息论的基础理论，又称为香农信息论。这部分内容是信息论的基础理论，又称为香农信息论。19481948年，年，ShannonShannon发表发表通信的数学理论通信的数学理论，成为了信，成为了信息论建立的里程碑，息论建立的里程碑，ShannonShannon被尊崇为信息论及数字通被尊崇为信息论及数字通信时代的奠基之父信时代的奠基之父什么是信息论什么是信息论 香农信息论的内容可用一句话概括为：香农信息论的内容可用一句话概括为：“一个概念，三个定理一个概念，三个定理”就是信息熵的概念和三个编码定理。就是信息熵的概念和三个编码定理。主要内容把信息定义为把信息定义为“用来消除不确定性的东用

5、来消除不确定性的东西西”，并给出了其度量公式，并给出了其度量公式-熵和互信息；熵和互信息；建立了一些重要的性能界：信源输出的最可能建立了一些重要的性能界：信源输出的最可能的信息量，满足一定失真度的要求所必须传递的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等的最小信息量，信道上的最大可能通过能力等建立了一组重要的编码定理，从理论上指明了建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方为达到上述性能界限应当遵循的信息处理的方法和原则。法和原则。信息论的研究对象信道信源译码器译码器编码器编码器信宿噪声通信系统模型通信系统模型 信号信号

6、信号加信号加噪声噪声消息消息消息消息通信系统模型，人们通过系统中消息的传输和处理来研究信息传输和处通信系统模型，人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律理的共同规律信源：产生消息的源。消息可以是文字、语言、图像等。信源：产生消息的源。消息可以是文字、语言、图像等。编码器：将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、编码器：将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、纠错编码器、调制器。纠错编码器、调制器。信道：把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实际信道有信道：把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实

7、际信道有电缆、波导、光纤、无线电波传播空间。电缆、波导、光纤、无线电波传播空间。干扰源：系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。干扰源：系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。译码器：编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出有关信译码器：编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出有关信源传出消息的信息。源传出消息的信息。信宿：信息传送过程中的接收者，即接收消息的人或物。信宿：信息传送过程中的接收者，即接收消息的人或物。通信系统模型通信系统模型研究的目的和内容 找到信息传输过程的共同规律，提找到信息传输过程的共同规律，

8、提高信息传输的可靠性、有效性、保高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系密性和认证性，以达到信息传输系统的最优化。统的最优化。ShannonShannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理ShannonShannon19481948McMillanMcMillan19531953变长编码变长编码定理定理ShannonShannon19481948McMillanMcMillan19561956HuffmanHuffman码码(1952)(1952)、FanoFano码码算术码算术码(1976,1982)(1976,1

9、982)LZLZ码码(1977,1978)(1977,1978)失真理论失真理论ShannonShannonGallagerGallagerBergerBerger压缩编码压缩编码JPEGJPEGMPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码信息论的应用信息论的应用语音信号压缩（语音信号压缩（G.711,GSM,VocoderG.711,GSM,Vocoder）图象信号的压缩（图象信号的压缩（JPEG,MPEGJPEG,MPEG）计算机文件压缩（计算机文件压缩（compress,gzipcompress,

10、gzip）模拟话路中数据传输速率的提高模拟话路中数据传输速率的提高降低信息传输所需的功率降低信息传输所需的功率计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证计算机中的容错问题计算机中的容错问题图像信号的复原与重建图像信号的复原与重建模式分类问题与树分类器的设计模式分类问题与树分类器的设计其他（信息经济学、医学、生物学、管其他（信息经济学、医学、生物学、管理科学等）理科学等）信息论的影响信息论的局限性1.香农的电子通信过程是一个直线单项的过程，缺乏反馈环节2.香农把他的模式限于工程或技术传播，显而易见，人类主观解释的过程也被包含在过程信道之中，但是具有数学倾向的香农将人类传播的意义

11、限定在他的范围之外。3.香农的信息论仅限于通信等很局限的领域4在密码分析方面，缺乏对信息的不确定性和信息融合的研究5.重视传播过程，不重视传播效果6.香农的理论涉及很多数学命题，就很少为传播学学者所研究，大部分的传播学者缺少必要的数学能力去从事这一工作。香农信息论的影响香农信息论的影响 1948年以后，香农的信息论在物理学、生物学和社会科年以后，香农的信息论在物理学、生物学和社会科学等学术团体中学等学术团体中得到迅速而又广泛的传播。信息论被普遍引迅速而又广泛的传播。信息论被普遍引用，这种影响历时多年经久不衰。香农的（以熵的公式所测用，这种影响历时多年经久不衰。香农的（以熵的公式所测度的）信息概

12、念对于传播学学者来说有着直接的用处。或许度的）信息概念对于传播学学者来说有着直接的用处。或许这就是为什么他的理论通常被称为这就是为什么他的理论通常被称为“信息信息”理论、而不是理论、而不是“传播传播”理论的原因，后者是香农用来表示其理论的术语。理论的原因，后者是香农用来表示其理论的术语。香农的信息概念的普遍性受到了赞扬：通过以定义清晰、香农的信息概念的普遍性受到了赞扬：通过以定义清晰、但又完全抽象的术语来对待信息，而且适用于所有种类、所但又完全抽象的术语来对待信息，而且适用于所有种类、所有领域的信息。有领域的信息。信息论对传播学的影响信息论对传播学的影响1.香农的单向传播行为的模式有助于奠定传播学的学术领域。2.香农信息论的第三个要素，也就是在他信息的定义和测度、以及他的传播模式之后，是他关于信道能力的命题。香农的信息概念化工作为传播学学者广泛采用，他的传播模式及其修正液引起了非常普遍的关注。3.信息概念及其测定4香农的理论对于正在崛起的传播学领域产生了巨大的影响。如同克里彭多尔夫所说：“从历史的眼光来说，信息论是传播研究发展的一个主要的刺激因素。它使得在此以前的模糊的信息概念变得再数学上可以操纵，将它从涉及认识和传播术语的各种学科的有冲突的要求中解放出来，并赋予传播和信息过程的研究以合法性。谢谢大家JUNE-ZHENG 作品