1、 它是它是C.E.ShannonC.E.Shannon四十年代末期，以四十年代末期，以客观概率信息为研究对象，从通信的客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理信息传输问题中总结和开拓出来的理论。论。1.1 信息论基础简介什么是信息什么是信息论论 信息的重要性信息的重要性 课程介绍课程介绍 主要内容主要内容 教学方式教学方式 考核方式考核方式信息论基础信息论基础信息的重要性信息的重要性 信息论是通信与信息工程、人工智能领域的专业基信息论是通信与信息工程、人工智能领域的专业基础课程。础课程。珍惜良好的学习机会，认真学习好这门课，逐渐培珍惜良好的学习机会，认真学习好这门课，逐
2、渐培养科研能力，为将来进一步从事通信与人工智能领养科研能力，为将来进一步从事通信与人工智能领域的研究和创新奠定坚实的基础域的研究和创新奠定坚实的基础。信息的重要性信息的重要性-信息传输方式的变迁信息传输方式的变迁在人类的历史长河中，信息传输和传播手段经历了五在人类的历史长河中，信息传输和传播手段经历了五次变革：次变革：第一次变革：语言的产生第一次变革：语言的产生 第二次变革：文字的产生第二次变革：文字的产生 第三次变革：印刷术的发明第三次变革：印刷术的发明 第四次变革：电报、电话的发明第四次变革：电报、电话的发明 第五次变革：计算机技术与通信技术相结合，促进第五次变革：计算机技术与通信技术相结
3、合，促进了网络的发展。了网络的发展。信息的重要性信息的重要性-信息传输方式的变迁信息传输方式的变迁 我国上古时期的我国上古时期的“结绳结绳记事记事”法，史书上有很法，史书上有很多记载。多记载。汉朝郑玄的汉朝郑玄的周易注周易注中记载：中记载：“古者无文字古者无文字，结绳为约，事大，大，结绳为约，事大，大结其绳，事小，小结其结其绳，事小，小结其绳。绳。”信息的重要性信息的重要性-信息传输方式的变迁信息传输方式的变迁 后来，文字的出现解决后来，文字的出现解决了这一问题。自从造纸了这一问题。自从造纸术和印刷术的发明，使术和印刷术的发明，使文字成为信息记录、存文字成为信息记录、存储和传递的有效手段。储和
4、传递的有效手段。信息的重要性信息的重要性-信息传输方式的变迁信息传输方式的变迁 特别是电报、电话和电特别是电报、电话和电视的发明，使信息传送视的发明，使信息传送快速、便利，再次体现快速、便利，再次体现了信息加工和传输的变了信息加工和传输的变革。革。信息的重要性信息的重要性-信息传输方式的变迁信息传输方式的变迁 电子计算机的迅速发展电子计算机的迅速发展和广泛应用，尤其是个和广泛应用，尤其是个人微型计算机的普及，人微型计算机的普及，大大提高了人们处理加大大提高了人们处理加工信息、存储信息及控工信息、存储信息及控制管理信息的能力。制管理信息的能力。信息的重要性信息的重要性-信息传输方式的变迁信息传输
5、方式的变迁 近年来，以计算机为近年来，以计算机为主体的互联网技术的兴主体的互联网技术的兴起和发展，以空前的威起和发展，以空前的威力推动着人类经济和社力推动着人类经济和社会高速发展，将人类社会高速发展，将人类社会推入到高度化的信息会推入到高度化的信息时代。时代。信息的重要性信息的重要性 课程介绍课程介绍 主要内容主要内容 教学方式教学方式 考核方式考核方式信息论基础信息论基础课程介绍 信息论美国数学家香农(C.E.Shannon)在1948年发表著名论文“通信的数学理论”开创了信息论 编码理论信息论的一个重要分支 用概率论、随机过程、数理统计等方法来研究信息的存储、传输、处理过程中一般规律的学科
6、 编码含义信号变换，是信息处理的主要手段 编码目的提高系统对某一方面的要求 优化系统某一方面的性能指标课程介绍 通信系统主要性能指标 有效性、可靠性、安全性有效性、可靠性、安全性 编码分类o信源编码提高通信系统的有效性o信道编码提高通信系统的可靠性o保密编码保证通信系统的安全性 研究信息的度量(信源熵信源熵)、信道容量、信、信道容量、信息率失真函数（香农三定理）息率失真函数（香农三定理）、密码学 课程介绍 目的目的：了解学习信息论的作用、方法与意义作用、方法与意义，对信息论的研究方法和成果研究方法和成果有广泛的基本认识，学会应用应用，为进一步研究打下基础 特点特点：以信息理论信息理论为中心，区
7、别与“信源编码”、“信道编码”以物理意义为主，理解课程概念结合通信系统实际应用应用教 材u教材：（第2版）,王燕妮，北京邮电大学出版社u参考教材：l,傅祖芸，电子工业出版社l,陈运，电子工业出版社 信息的重要性信息的重要性 课程介绍课程介绍 主要内容主要内容 教学方式教学方式 考核方式考核方式信息论基础信息论基础课程主要内容l信息论的基本问题信息论的基本问题信息的度量信息的度量l无失真信源编码定理无失真信源编码定理香农第一定理香农第一定理l信道编码定理信道编码定理香农第二定理香农第二定理l限失真信源编码定理限失真信源编码定理香农第三定理香农第三定理l信源编码、信道编码信源编码、信道编码 信息的
8、重要性信息的重要性 课程介绍课程介绍 主要内容主要内容 教学方式教学方式 考核方式考核方式信息论基础信息论基础教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点)要 求:三个重要环节 课前预习课上认真听讲课后认真复习、作业 经常进行阶段复习掌握知识的窍诀：反复思维实践考核方式 期终考试成绩占60%。过程考核成绩40%:线上学习、课堂测试、平时作业、到课情况等。1.2信息的概念第一章第一章 绪论绪论22n信息的定义n信息的度量n
9、信息论的应用23MSCTELEVOTINGIME-MAILnSIGNIA eSTPMSCSMSCIP NETWORK信息的传播信息的传播1 1 信息的定义信息的定义u消息：表达信息的工具，可包含丰富的信息，也可包含很少的信息。24u信号：消息的载体。1 1 信息的定义信息的定义l广泛性：客观世界充满着信息；人类离不开信息。信息的特性烽火告急烽火告急25信鸽传书信鸽传书1 1 信息的定义信息的定义l抽象性：信息本身既看不见，又摸不着，没有 气味、没有颜色、没有形状、没有重量，它是非常抽象的东西。信息的特性2627信息信息物质物质能量28 19281928年，美国数学家年，美国数学家哈特莱哈特莱
10、(Hartley)(Hartley)在在贝尔系统电话杂志贝尔系统电话杂志上上发表了一篇题为发表了一篇题为信息传输信息传输的论文。的论文。他认为他认为“信息是选择的自由度信息是选择的自由度”。1 1 信息的定义信息的定义29 1948 1948年，美国数学家、控制论的主年，美国数学家、控制论的主要奠基人要奠基人维纳维纳(Wiener(Wiener）在在控制论与控制论与社会社会一书中写到：一书中写到：“信息既不是物质信息既不是物质又不是能量，信息就是信息又不是能量，信息就是信息”。揭示了揭示了信息的特性：信息是独立于物质和能量信息的特性：信息是独立于物质和能量之外存在于客观世界的之外存在于客观世界
11、的第三要素。第三要素。1 1 信息的定义信息的定义30 1948 1948年，美国数学家年，美国数学家香农香农 (C.E.Shannon)(C.E.Shannon)在在贝尔系统电贝尔系统电话杂志话杂志发表了题为发表了题为通信的数学理通信的数学理论论的长篇论文。他创立了信息论，的长篇论文。他创立了信息论，认为认为信息是事物运动状态或存在方信息是事物运动状态或存在方式的不确定性的描述式的不确定性的描述”。1 1 信息的定义信息的定义312 2 信息的度量信息的度量不确定性大小的度量红、蓝球各50个1=2p红红、蓝、绿、黑球各25个甲袋乙袋1=4p红32不确定性小小不确定性大大（大）（大）（小）（小
12、）2 2 信息的度量信息的度量()Ifpl事件发生概率p=1,属于必然事件，则无信息量。(0)f 0I I 0(1)f33l事件发生概率p0,属于极少发生事件，则信息量无穷大。2 2 信息的度量信息的度量1log()Ibitp事件出现事件出现的概率的概率信息量信息量的大小的大小34单位：以2为底的对数时单位是比特bit；以e为底的对数时单位是奈特nat；以10为底的对数时单位是哈特hart。2 2 信息的度量信息的度量证明信息量公式的正确性例题1 n种不同阻值的电阻11()Ifn m种不同功率的电阻21pm21()Ifmn种不同阻值，每一种有m种不同功率，共nm 个电阻。31pn m31()I
13、fnm3511pn2 2 信息的度量信息的度量证明信息量公式的正确性123III111()()()fffnmnm求得1()log()Ifpbitp363 3 信息论的应用信息论的应用 12枚硬币中有一枚假币，不知假币是轻是重，现在用一个无砝码的天平去称量，问至少需要称几次可检测出假币？例题2普通方法：尝试，带有偶然性解：（1）12枚硬币中有一枚假币：111,log12()12pIbit221,log2()2pIbitlog12 log2 log24()Ibit331,log3()3pIbitlog242.9log3n（2）假币是轻是重：需要获得的信息量：（3）称量一次结果：重、轻、相等。至少需
14、称 3 3 次。信息论方法：信息论方法：373 3 信息论的应用信息论的应用如何称量？给12枚硬币分别编号1-12。第一次称量：结果：（1）平衡：9-12有假币。（2）左重右轻：9-12标准，1-4中有重假币或5-8中有轻假币。（3）左轻右重：同（2）。383 3 信息论的应用信息论的应用（1）平衡：9-12有假币。第二次称量：结果：a.平衡：12是假币。第三次称量：取1和12称量，12重则是重假币；否则是轻假币。b.右轻：9,10,11中有轻假币。第三次称量：取9和10称量，若平衡，则11是轻假币。若9轻，则9是轻假币；否则10是轻假币。c.右重：同 b。393 3 信息论的应用信息论的应用
15、（2）左重右轻：9-12标准，1-4中有重假币或5-8中有轻假币。第二次称量：结果：a.平衡：6,7,8中有假币。第三次称量：取6和7称量，若平衡，8是轻假币。若6轻，则6是轻假币；否则7是轻假币。b.左轻：则5是轻假币或4是重假币。第三次称量：取5和9称量，若平衡，则4是重假币。否则5是轻假币。c.右轻：1,2,3中有重假币。第三次称量：取1和2称量，结果：平衡说明3重，否则1或2重，确定。40小结小结3.信息论的应用：通过信息度量，可以计算每通过信息度量，可以计算每次所获得的信息量。次所获得的信息量。411log()Ibitp1.信息的定义：事物运动状态或存在方式的不事物运动状态或存在方式
16、的不确定性的描述。确定性的描述。2.信息的度量：思考题思考题2.计算天气的晴、阴、多云、下雨四种情况概率分别是1/4时所获得的信息量。421.列举生活中信息的例子。1.3 信息论研究的主要内容第一章第一章 绪论绪论信息论产生背景信息论产生背景 1.信息如何度量？2.需要解决的问题：通信系统中信息传输的效率。信息传输的准确性问题。噪声干扰。频率特性。本质为：信息传输的可靠性与有效性问题。二、信息论研究的主要内容 通信系统 本质信息的传输系统 目的把接收方不知道的信息及时、可靠、完整、安全、经济地传送给指定的接收方通信系统模型 包括：信源、编码器、信道、译码器、信宿五部分信道编码信源编码保密译码信
17、道译码信源译码保密编码噪声信道信源信宿(1)信源产生消息和消息序列的源泉 可以是人、生物、机器或其他事物 是事物各种运动状态或存在状态的集合 消息信源的输出 消息具体，如：语音、图像、文字等 信息抽象通信系统模型(续)n(2)编码器信源编码器、信道编码器、保密编码器信源编码信源编码对信源输出的消息进行变换和处理对信源输出的消息进行变换和处理目的目的提高信息传输的有效性提高信息传输的有效性信道编码信道编码对消息进行的变换和处理对消息进行的变换和处理目的目的提高信息传输的可靠性提高信息传输的可靠性保密编码保密编码目的是保证信息的安全性目的是保证信息的安全性n(3)信道信号从甲地传输到乙地的通道狭义
18、信道信号的传输媒质(介)例 明线、电缆、波导、光纤、无线电波空间等信道噪声通信系统各处干扰、噪声的集中等效体现。通信系统模型(续)n(4)译码器编码器功能之反也分成信源译码器、信道译码器、保密译码器三种n(5)信宿消息传送的归宿说明 对实际通信系统，还应包括调制、发射等各种变换处理。上述模型只针对一对一单向通信系统。还有一对多单向系统（广播），一对一双向系统（电话），多对多双向系统（会议电视）等。通信系统模型(续)就通信领域而言，信息论用于回答下述三个通信的基本问题：l对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？（Source Coding）l通过一个有噪声的信道能够以多大的速率
19、可靠地传输数据？（Channel Coding）l当速率受限时，我们表示一个对象能够实现多大的精度？（Rate Distortion）信息论的研究目的信息论的研究目的信息论研究的内容l 一般有三种理解：狭义信息论、一般信息狭义信息论、一般信息论和广义信息论。论和广义信息论。l 狭义信息论主要通过对Source CodingSource Coding、Channel CodingChannel Coding和Rate DistortionRate Distortion三个问题的研究，香农得到了三个定理，这三个定理就构成了传统狭义信息论。信息论研究的内容ShannonShannon信息论信息论压缩
20、理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理ShannonShannon19481948McMillanMcMillan19531953变长编码变长编码定理定理ShannonShannon19481948McMillanMcMillan19561956HuffmanHuffman码码(1952)(1952)、FanoFano码码算术码算术码(1976,1982)(1976,1982)LZLZ码码(1977,1978)(1977,1978)率失真理论率失真理论ShannonShannonGallagerGallagerBergerBerger压缩编码压缩编码JPE
21、GJPEGMPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码第一章第一章 绪论绪论1.4 信息论的发展与应用55Claude Shannon(1916-2001)“通信的基本问题就是在一点通信的基本问题就是在一点重新准确地或近似地再现另一重新准确地或近似地再现另一点所选择的消息点所选择的消息”。这是数学。这是数学家香农家香农(Claude E.Shannon)在他的惊世之著在他的惊世之著通信的数学通信的数学理论理论中的一句名言。中的一句名言。香农应用数理统计的方法来研香农应用数理统计的方法来研究通信系统，从而
22、创立了影响究通信系统，从而创立了影响深远的信息论。深远的信息论。香农因此成为信息论的香农因此成为信息论的奠基人奠基人56“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。Claude Shannon 1916-2001 5758 香农，香农，1916年出生于美国密执安州的加洛德。香年出生于美国密执安州的加洛德。香农创造性地继承了前人的事业，在信息论的领域农创造性地继承了前人的事业，在信息论的领域中钻研了中钻研了8年之久，终于在年之久，终于在1948年在年在贝尔系统贝尔系统技术杂志技术杂志上发表了上发表了244页的长篇论著页的长篇论著通信的通信的数学理论数学理论。次年，他又在
23、同一杂志上发表了另一篇名著次年，他又在同一杂志上发表了另一篇名著噪噪声下的通信声下的通信。59 在这两篇文章中，香农解决了过去许多悬而未决在这两篇文章中，香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问道编码等有关精确地传送通信符号的基本技术问题。题。两篇文章成了现在信息论的奠基著作。两篇文章成了现在信息论的奠基著作。香农的成
24、就轰动了世界，激起了人们对信息论的香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模像滚雪巨大热情，它向各门学科冲击，研究规模像滚雪球一样越来越大。它已远远地突破了香农本人所球一样越来越大。它已远远地突破了香农本人所研究和意料的范畴，即从香农的所谓研究和意料的范畴，即从香农的所谓“狭义信息狭义信息论论”发展到了发展到了“广义信息论广义信息论”。60信息论发展简史信息论发展简史18321832年莫尔斯电码对年莫尔斯电码对ShannonShannon编码理论的启发编码理论的启发18851885年凯尔文研究了一条电缆的极限传信速率年凯尔文研究了一条电缆的极限传信速率192
25、41924年奈奎斯特证明了信号传输速率和带宽成正比年奈奎斯特证明了信号传输速率和带宽成正比19281928年年HartleyHartley提出信息量定义为可能消息量的对提出信息量定义为可能消息量的对数数19401940维纳将随机过程和数理统计引入通信与控制系维纳将随机过程和数理统计引入通信与控制系统统19481948年，年，ShannonShannon总结前人的这些成果，以总结前人的这些成果，以“通信通信的数学理论的数学理论”为题在为题在IEEE Information TheoryIEEE Information Theory公公开发表文章开发表文章A mathematical theory
26、 of A mathematical theory of communicationcommunication，标志着信息论的正式诞生。，标志着信息论的正式诞生。61qNorbert Wiener,18941964,founder of cybernetics.62信息论发展简史信息论发展简史19501950年汉明码年汉明码19521952年年FanoFano证明了证明了FanoFano不等式，给出了不等式，给出了shannonshannon信道编码逆定理的证明信道编码逆定理的证明19521952年年FanoFano码，码，HuffmanHuffman码。码。19561956年年KraftKr
27、aft不等式的证明。不等式的证明。19591959年，年，ShannonShannon发表发表“保真度准则下的离散信保真度准则下的离散信源编码定理源编码定理”(Coding theorems for a (Coding theorems for a discrete source with a fidelity discrete source with a fidelity criterion)criterion)，提出信息率失真理论，为信源压缩，提出信息率失真理论，为信源压缩编码奠定了理论基础。编码奠定了理论基础。19611961年，香农发表年，香农发表“双路通信系统双路通信系统”，开拓了，
28、开拓了多用户信息理论（网络信息论）的研究。多用户信息理论（网络信息论）的研究。63信息论发展简史19631963年卷积码的译码年卷积码的译码19741974年分组码的迭代算法（年分组码的迭代算法（BCRJBCRJ）19761976年算术编码年算术编码19771977年年LempelLempel和和ZivZiv的的LZLZ算法算法19821982年年UngerboeckUngerboeck编码调制技术编码调制技术(TCM)(TCM)19981998年年Space-timeSpace-time编码技术编码技术20002000年对年对LDPC(Low-density Parity-checkLDPC
29、(Low-density Parity-check，低密度奇偶校验低密度奇偶校验)码的重新认识码的重新认识64香农信息理论“不确定性不确定性”通信后接收者获取的通信后接收者获取的“信息信息”，在数量上等于，在数量上等于通信前后通信前后“不确定性不确定性”的消除量。的消除量。l语音信号压缩（G.711,GSM）l音频信号压缩（MP3）l图像信号的压缩（JPEG,MPEG）l计算机文件压缩（compress,gzip）l纠错编码（汉明码、网格编码、卷积码等）l通信（深空通信、Modem、HDLC）l其他（信息经济学等）信息论的应用 信息论的应用信息论的应用例：8个串联的灯泡x1，x2，x8，其损坏
30、的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。8个串联的灯泡 信息论的应用信息论的应用 解：已知8个灯泡等概率损坏，所以概率 P(x1)1/8，即1211()log3()()I P xbitP x一次测量后，剩4个灯泡，等概率损坏，P(x2)1/42221()log2()()I P xbitP x第一次测量获得的信息量=IP(x1)-IP(x2)=1(bit)经过二次测量后，剩2个灯泡，等概率损坏，P(x3)1/23231()log1()()I P xbitP x 第二次测量获得的信息量=IP(x2)-IP(x3)=1(bit）；第三次测量获得的信息量=IP(x3)=1(bit)至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。
