信息论基础-ppt课件.ppt

1、 信息论信息论-基础理论与应用 北京理工大学北京理工大学 信息与电子学院信息与电子学院 2014年年3月月 ppt课件课程类型：专业选修课专业选修课学 时：32学时授课时间：第一周-第八周考试时间考试时间：第九周教 材：信息论信息论基础理论与应用基础理论与应用,傅祖芸傅祖芸,电子工业出版社电子工业出版社参考教材： 信息论与编码信息论与编码,陈运陈运,电子工业出版社电子工业出版社 应用信息论基础应用信息论基础, ,朱雪龙，清华大学出版社朱雪龙，清华大学出版社 信息论与编码学习辅导及习题详解信息论与编码学习辅导及习题详解傅祖芸傅祖芸,电子工业出版社电子工业出版社 考 核： 平时成绩平时成绩 15-

2、20（作业、考勤）（作业、考勤） 期末考试期末考试 80-85（闭卷）（闭卷）答 疑：每周星期五下午，每周星期五下午，4:005:00，10教学楼教学楼313室室 联系电话：联系电话：68912615 邮箱：邮箱： ppt课件ppt课件课程概述课程概述o 当今的时代是一个当今的时代是一个信息信息的时代，信息处理技术的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息的生活质量得到很大提高。本课程将介绍信息科学的科学的基础理论基础理论和和基本方法基本方法，课程将基于一个，课程将基于一个通信系统的抽象数学模型进

3、行展开，课程的数通信系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为学基础为概率论。整个课程可分为基础理论基础理论和和编码理论编码理论两部分组成。两部分组成。ppt课件学习方法学习方法 本课程以概率论为基础，数学推导较多，学本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到习时主要把注意力集中到概念概念的理解上，不要的理解上，不要过分追求数学细节的推导。学习时一定要从始过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的握。学习时注意理解各个概念的“用处用处”，结，结合其

4、他课程理解它的意义，而不要把它当作数合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习学课来学习，提倡独立思考，注重思考在学习中的重要性。中的重要性。ppt课件信信 息息 论论o 信息论已经成为现代信息科学的一个重要组成部分，它信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系，因此信息论已成为大学诸及统计力学等都有密切关系，因此信息论已成为大学诸多专业

5、的必修课和选修课，并不再局限于已有的通信工多专业的必修课和选修课，并不再局限于已有的通信工程、电子工程、信息工程等专业。程、电子工程、信息工程等专业。o 信息论是人们在长期通信工程的实践中，由通信技术与信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。一门学科。o 以以19481948年年ShannonShannon发表的论文发表的论文通信的数学理论通信的数学理论为标为标志，宣告了信息论这门学科的诞生。志，宣告了信息论这门学科的诞生。o 近半个世纪以来，以通信理论为核心的经典信息论，正近半个

6、世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代神奇般的力量把人类社会推入了信息时代。ppt课件第一章 绪论 1. 信息的概念信息的概念 .2 信息论研究的对象、目的和任务信息论研究的对象、目的和任务 .3 信息论发展简史与信息科学信息论发展简史与信息科学ppt课件1.1 1.1 信息的概念信息的概念(1)(1)信息的定义信息的定义o 信息是信息论中最基本、最重要的概念，它是一个既信息是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念。抽象又复杂的概念。o 信息

7、的概念是在实践中产生，以前一直被看作是消息信息的概念是在实践中产生，以前一直被看作是消息的同义词。的同义词。o 信息的概念十分广泛，不同的定义在上百种以上。信息的概念十分广泛，不同的定义在上百种以上。o 数学家认为数学家认为：信息是使概率分布发生改变的东西。：信息是使概率分布发生改变的东西。o 哲学家认为哲学家认为：信息是物质成分的意识成分按完全特：信息是物质成分的意识成分按完全特殊的方式融合起来的产物。殊的方式融合起来的产物。ppt课件 19281928年，美国数学家年，美国数学家哈特莱哈特莱 (Hartley)(Hartley)在在贝尔系统电话杂志贝尔系统电话杂志上上发表了一篇题为发表了一

8、篇题为信息传输信息传输的论文。的论文。他认为他认为“信息是选择的自由度信息是选择的自由度”。 ppt课件美国数学家、控制论的主要奠基人美国数学家、控制论的主要奠基人维维纳纳(Wiener(Wiener）在在19501950年出版的年出版的控制论控制论与社会与社会一书中写到：一书中写到：“信息既不是信息既不是物质又不是能量，信息就是信息物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。但正是这句话起初受到批评和嘲笑。但正是这句话揭示了信息的特质：即信息是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世独立于物质和能量之外存在于客观世界的界的第三要素。第三要素。ppt课件1

9、9481948年，另一位美国数学家年，另一位美国数学家香农香农 (C. E. Shannon)(C. E. Shannon) 在在贝尔系统电贝尔系统电话杂志话杂志发表了题为发表了题为通信的数学理通信的数学理论论的长篇论文。他创立了信息论，的长篇论文。他创立了信息论，他认为他认为ppt课件(2)(2)信息与消息和信号的区别信息与消息和信号的区别o 在在中对信息的表达分为三个层次：中对信息的表达分为三个层次：信号信号、消息消息、信信息息。o 信号信号：是信息的物理表达层，是三个层次中最具体的层：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、次。它是一个

10、物理量，是一个载荷信息的实体，可测量、可描述、可显示。可描述、可显示。如电信号、光信号等。如电信号、光信号等。o 消息消息：( (或称为符号或称为符号) )是信息的数学表达层，它虽不是一是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类号的进一步数学抽象，可将具体物理信号抽象为两大类型：型： 1)1) 离散离散( (数字数字) )消息，是一组未知量，可用随机序列消息，是一组未知量，可用随机序列来描述：来描述：U U=(U=(U1 1U Ui iU UL L) ) 2) 2

11、) 连续连续( (模拟模拟) )消息，也是未知量，它可用随机过程消息，也是未知量，它可用随机过程来描述：来描述：U(U(t,t,) )ppt课件o 信息信息：信息是指各个事物运动的状态及状态信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消息中的时候就是一种信息。信息是信号与消

12、息的更高表达层次。三个层次中，信号最具体，的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。的内涵与外延的关系。 ppt课件信息与消息和信号的关系信息与消息和信号的关系o 信息信息-可以认为是具体的物理信号、数学描述的消息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。的内涵，即信号具体载荷的内容、消息描述的含义。o 信号信号-则是抽象信息在物理层表达的外延；则是抽象信息在物理层表达的外延；o 消息消息-则是抽象信息在数学层表达的外延。则是抽象信息在数学层表达的外延。o

13、同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式( (比如文字、语言、比如文字、语言、图象等图象等) )来载荷；来载荷；o 同一信息，也可以采用不同的数学表达形式同一信息，也可以采用不同的数学表达形式( (比如离散比如离散或连续或连续) )来定量描述；来定量描述；o 同一信号形式，比如同一信号形式，比如“0 0”与与“1 1”可以表达不同形式的信可以表达不同形式的信息，比如无与有、断与通、低与高息，比如无与有、断与通、低与高( (电平电平) )等等。等等。 ppt课件o 从以上分析可知，在通信系统中形式上传输从以上分析可知，在通信系统中形式上传输的是消息，但实质上传输的是的是消

14、息，但实质上传输的是信息信息。消息只消息只是表达信息的工具，载荷信息的客体。是表达信息的工具，载荷信息的客体。显然，显然，在通信中被利用的（即携带信息的）实际客在通信中被利用的（即携带信息的）实际客体是不重要的，而重要的是信息。信息较抽体是不重要的，而重要的是信息。信息较抽象，而消息是较具体的，但不一定是物理性象，而消息是较具体的，但不一定是物理性的。通信的结果是消除或部分消除不确定性的。通信的结果是消除或部分消除不确定性从而获得信息。从而获得信息。ppt课件(3)信息的性质o 香农信息论层次：考虑事物运动状态及其香农信息论层次：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语变化方式

15、的外在形式，实际上研究的是语法信息。法信息。o 信息的抽象性和重要性信息的抽象性和重要性o 信息的信息的5 5条主要特征条主要特征o 信息的信息的11 11条重要性质条重要性质ppt课件n 信息的抽象性和重要性信息的抽象性和重要性 抽象性抽象性：信息本身既看不见，又摸不着，：信息本身既看不见，又摸不着，没有气味、没有颜色、没有形状、没有没有气味、没有颜色、没有形状、没有大小、没有重量大小、没有重量，它是非常抽象的东，它是非常抽象的东西。西。 重要性重要性：信息在信息化程度越来越高的：信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比社会中将起到越来越重要的作用，是比物质和能量更为宝贵

16、的资源，全面掌握物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。信息，能够为人类创造更多的财富。ppt课件 综合起来，信息有以下主要特征：综合起来，信息有以下主要特征： 信息来源于物质，又不是物质本信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。以脱离源物质而相对独立地存在。 信息来源于精神世界，但又不局信息来源于精神世界，但又不局限于精神领域。限于精神领域。 12ppt课件 信息与能量息息相关，但又与信息与能量息息相关，但又与能量

17、有本质的区别。能量有本质的区别。 信息具有知识的本性，但又比信息具有知识的本性，但又比知识的内涵更广泛。知识的内涵更广泛。 信息可以被认识主体获取和利用。信息可以被认识主体获取和利用。 345ppt课件 根据上述特征和信息的基本定义，根据上述特征和信息的基本定义，可以导出信息的一些重要性质：可以导出信息的一些重要性质： 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 ppt课件 信息在信息化程度越来越高的社会信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质中将起到越来越重要的作用，是比物质和能量更

18、为宝贵的和能量更为宝贵的，全面掌握信息，全面掌握信息的概念，正确、及时、有效地利用信息，的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。能够为人类创造更多的财富。 可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质ppt课件 按照信息的性质按照信息的性质 1语法语法语义语义语用语用 按照观察的过程按照观察的过程 实在实在先验先验后验后验 2 信息的分类信息的分类 事物运动状态和状态改变的方式的本身事物运动状态和方式的具体含义事物运动状态和方式及其具体含义对观察者的效用ppt课件客观客观主观主观 按照信息的地位按照信息的地位 按照信

19、息的作用按照信息的作用有用有用无用无用干扰干扰34ppt课件真实真实虚假虚假不定不定 按照信息的逻辑意义按照信息的逻辑意义 按照信息的传递方向按照信息的传递方向 前馈前馈反馈反馈56ppt课件宇宙宇宙自然自然社会社会思维思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域按照信息的生成领域 7 按照信息的应用部门按照信息的应用部门 8ppt课件语声图象文字数据计算电电磁磁语语声声图图象象文文字字光光学学生生物物 按照信息的来源按照信息的来源9 按照信息载体的性质按照信息载体的性质 10ppt课件连续连续离散离散半连续半连续 按照携带信息的信号的性质按照携带信息的信号的性质 11ppt课

20、件在众多的分类原则和方法中，最重要的在众多的分类原则和方法中，最重要的就是按照信息性质的分类。就是按照信息性质的分类。 按照性质的不同可以把信息划分成按照性质的不同可以把信息划分成语法信息、语义信息和语用信息语法信息、语义信息和语用信息三个三个基本类型。其中最基本也是最抽象的类基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上型是语法信息。也是迄今为止在理论上研究得最多的类型。研究得最多的类型。 ppt课件1.2信息论研究的对象、目的和内容信息论研究的对象、目的和内容o 研究对象研究对象：信息论是一门应用概率论、随机过程、数信息论是一门应用概率论、随机过程、数理统计和近世代数

21、的方法，来研究信息的传输、提取理统计和近世代数的方法，来研究信息的传输、提取和处理系统中一般规律的工程学科。和处理系统中一般规律的工程学科。ppt课件o 研究目的：它的主要目的是提高信息系统的研究目的：它的主要目的是提高信息系统的可靠可靠性性、有效性有效性和和安全性安全性以便达到系统最优化。以便达到系统最优化。ppt课件 信息论的研究对象是广义通信系信息论的研究对象是广义通信系统。不仅有电子的、光学的信号传递统。不仅有电子的、光学的信号传递系统，任何系统，只要能够抽象成通系统，任何系统，只要能够抽象成通信系统模型，都可以用信息论研究，信系统模型，都可以用信息论研究，如神经传导系统、市场销售系统

22、等等。如神经传导系统、市场销售系统等等。关于信息论的研究内容，一般有以下关于信息论的研究内容，一般有以下三种解释：三种解释： ppt课件 主要研究信息的测度、信道容主要研究信息的测度、信道容量、信息率失真函数，与这三个概量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和念相对应的香农三定理以及信源和信道编码信道编码。 信息论基础信息论基础 亦称香农信息论或狭义信息论。亦称香农信息论或狭义信息论。 应用近代概率统计方法研究信息的基本性质及度量方法，研究信息传输、处理等一般规律的学科。1ppt课件香农信息论信源熵信源熵信道容量信道容量无失真信源无失真信源编码定理编码定理率失真函数率失真函

23、数信源编码信源编码信道编码信道编码限失真信源限失真信源编码定理编码定理 信道信道 编码定理编码定理密码密码ppt课件 主要是研究信息传输和处理问题。主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容估计理论、调制理论。后一部分内容以美国科学家维纳以美国科学家维纳（NWiener）为代为代表。表。一般信息论一般信息论 2ppt课件一般信息论一般信息论香农香农 信息论信息论噪声噪声理论理论调制调制 理论理论信号滤波信号滤波预测理论预测理论统计检测统计检测估计理

24、论估计理论ppt课件 虽然维纳和香农等人都是运用概虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的优化问题。但他们之间有一个重要的区别。区别。 ppt课件 维纳研究的重点是在接收端。研究维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。计检测与估

25、计理论、噪声理论等。 发送发送接收接收ppt课件 香农研究的对象是从信源到信宿的香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。论、信道容量理论和编码理论等等。 发送发送接收接收ppt课件香农信息论的缺陷香农信息论的缺陷 香农定义信息的出发点是假定事物状态可以用一个香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往某些事物

26、运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。是非常困难的。某些情况下，这一模型不一定存在。 香农定义信息的度量没有考虑收信者的主观性和主香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素。这就与实际情况不完要程度和引起的后果等元素。这就与实际情况不完全一致。全一致。 香农信息的定义和度量是科学的，能反映信息香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严

27、重影响。它的适用范围会受到严重影响。ppt课件 反过来，所有研究信息的识别、控反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存贮、制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴。伸，也都属于广义信息论的范畴。 概括说来，凡是能够用广义通信系概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息统模型描述的过程或系统，都能用信息基本理论来研究。基本理论来研究

28、。 广义信息论广义信息论 3ppt课件 广义信息论 一般信息论香农信息论ppt课件o 统计信息论统计信息论：也称狭义信息论也称狭义信息论/ /香农信息论。香农信息论。 主要研究信息测度、信道容量、信息率失真函数，与这三主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。个概念相对应的香农三定理，信源编码，信道编码。o 工程信息论工程信息论：主要研究信息传输和处理问题。除香农基本主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维

29、纳为代表和估计理论、调制理论。后一部分内容以维纳为代表。o 广义信息论广义信息论：是一门综合性的新型学科是一门综合性的新型学科信息科学。至今信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信程或系统，都能用信息基本理论来研究。不仅包括一般信息论的内容，还包括如医学、生物学、心理学、遗传学、息论的内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。反过来，所有研究信息的识别、控制、

30、提取、信息的问题。反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用和信息量的变换、传输、处理、存储、显示、价值、作用和信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，大小的一般规律以及实现这些原理的技术手段的工程学科，都属于广义信息论的范畴。都属于广义信息论的范畴。ppt课件香农信息论的科学体系ppt课件 总之，人们研究信息论的目的是总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。地交换和利用各种各样的信息。 ppt课件 信息论自诞生到现在不过信息论自诞生到现在不过6060多年，

31、多年，在人类科学史上是相当短暂的。但它的在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种当广泛和深刻的。信息作为一种资源资源，如何开发、利用、共享，是人们普遍关如何开发、利用、共享，是人们普遍关心的问题。心的问题。 1.3 1.3 信息论发展简史与信息科学信息论发展简史与信息科学ppt课件 在人类历史的长河中，信息传输和在人类历史的长河中，信息传输和传播手段经历了五次重大变革：传播手段经历了五次重大变革：语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。 电报、电话的发明。电报、电话的发

32、明。 计算机技术与通信技术相结计算机技术与通信技术相结 合，促进了网络通信的发展。合，促进了网络通信的发展。12345ppt课件1 9 2 4 年 ， 奈 奎 斯 特年 ， 奈 奎 斯 特（Harry Nyquist） (1889-1976)解释了解释了ppt课件 2020世纪世纪3030年代，年代，如调频、调相、单边带调制、脉冲编如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进信息能量、带宽和干扰的关系有了进一步的认识。一步的认识。 ppt课件 1936年，年，阿姆斯特朗阿姆斯特朗（EdwinArmstrong)

33、指出增大带指出增大带宽可以使抗干扰能力加宽可以使抗干扰能力加 强，并根据这一思想提强，并根据这一思想提出了出了方法。方法。 ppt课件 1939年，年，达得利达得利（Homer Dudley）发明发明了了，指出通信所需带宽至，指出通信所需带宽至少同待传送消息的带宽应该一样。声少同待传送消息的带宽应该一样。声码器是最早的语音数据压缩系统。这码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广一时期还诞生了无线电广播和电视广播。播。 ppt课件 19281928年年，哈特莱（哈特莱（HartleyHartley）首先首先提 出 了提 出 了的 概 念 。的 概 念 。 HartleyH

34、artley的工作给的工作给ShannonShannon很大的启很大的启示示, , 他在他在1941194119441944年对通信和密码年对通信和密码进行深入研究，用概率论和数理统计的进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。出了几个重要而带有普遍意义的结论。ppt课件阐明通信系统传递的对象；阐明通信系统传递的对象；提出了信息熵的概念；提出了信息熵的概念；指出通信系统的中心问题；指出通信系统的中心问题；指明了解决问题的方法。指明了解决问题的方法。1234ppt课件 以上这些成果以上这些成果19481

35、948年以年以为题公开发表，为题公开发表，标志着信息论的正式诞生。标志着信息论的正式诞生。 维纳维纳（Wiener）在研究火控系统和在研究火控系统和人体神经系统时，提出了在干扰作用下人体神经系统时，提出了在干扰作用下的信息的信息，成为信息论的一，成为信息论的一个重要分支。个重要分支。 ppt课件 50 年代，信息论在学术界引起了年代，信息论在学术界引起了巨大反响。巨大反响。1951年，美国无线电工程师年，美国无线电工程师协会协会（IRE）成立了信息论组，并于成立了信息论组，并于1955年正式出版了年正式出版了。 1959年，年，香农香农发表了发表了“保真度准则保真度准则下的离散信源编码定理下的

36、离散信源编码定理”（Coding theorems for a discrete source with a fidelity criterion）系统地提出了）系统地提出了。为信源压缩编码的研究奠定了理论基础为信源压缩编码的研究奠定了理论基础。 ppt课件 60 60 年代，年代，有了较大发有了较大发展，尤其，以展，尤其，以ViterbiViterbi译码为代表的译码方译码为代表的译码方法被美国卫星通信系统采用后，使它成为法被美国卫星通信系统采用后，使它成为信息论的又一重要分支。信息论的又一重要分支。 19611961年，香农的重要论文年，香农的重要论文“双路通双路通信信道信信道”开拓了开拓

37、了的研究。的研究。19701970年以来，随着卫星通信、计算机通年以来，随着卫星通信、计算机通信网的迅速发展，网络信息理论的研究成信网的迅速发展，网络信息理论的研究成为当前信息论的中心研究课题之一。为当前信息论的中心研究课题之一。 ppt课件随着通信规模的不断扩大，人们随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把运行的必要条件。于是，把密码学密码学也也归类为信息论的分支。如今归类为信息论的分支。如今信息安全信息安全已是网络通信和电子商务系统中不可已是网络通信和电子商务系统中不可缺少的重要环节。缺少的重要环节。 ppt课件

38、人们对信息的认识越来越深入，先后提出人们对信息的认识越来越深入，先后提出了加权熵、动态熵等概念，建立在模糊数学了加权熵、动态熵等概念，建立在模糊数学基础之上的模糊信息的研究也取得了一定的基础之上的模糊信息的研究也取得了一定的进展。进展。信息论不仅在通信、广播、电视、雷达、信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语言学、美然科学的各个方面，甚至渗透

39、到语言学、美学等领域。学等领域。 ppt课件 从从60年代开始，一些社会学家在年代开始，一些社会学家在研究社会问题和社会现象时，先后提研究社会问题和社会现象时，先后提出了出了和和的概念，的概念，信息论开始向经济学和社会科学领域信息论开始向经济学和社会科学领域渗透。渗透。ppt课件1977年，美国经济学家年，美国经济学家发表发表了长达九卷的了长达九卷的信息经济信息经济报告，用信报告，用信息论的基本概息论的基本概 念研究经济现象念研究经济现象和社会现象，和社会现象， 将信息论的研究将信息论的研究从自然科学领从自然科学领 域正式移植到经域正式移植到经济学和社会科学领域。信息论迅速发展济学和社会科学领

40、域。信息论迅速发展成为涉及范围极广的广义信息论成为涉及范围极广的广义信息论即即信息科学。信息科学。 ppt课件本课程的内容o 信息论基础信息论基础香农信息论。香农信息论。o 主要包括主要包括 1 1）信源的描述，信息的定量度量、分析与计算。）信源的描述，信息的定量度量、分析与计算。 2)2) 信道的描述，信道传输的定量度量、分析与信道的描述，信道传输的定量度量、分析与计算。计算。 3 3）信源、信道与通信系统之间的统计匹配，以）信源、信道与通信系统之间的统计匹配，以及通信系统的优化。及通信系统的优化。 n ShannonShannon的三个编码定理。的三个编码定理。o 信息论诞生六十多年来，至今仍然是指导通信技术信息论诞生六十多年来，至今仍然是指导通信技术发展的理论基础，是创新通信体制的源泉。发展的理论基础，是创新通信体制的源泉。ppt课件 ：1916-2001 美国科学家，美国科学家， 信息论创始人信息论创始人中文译名：中文译名：香农，仙农，山农，商农香农，仙农，山农，商农ppt课件