1、基础信息论电子与信息工程系 王怿email: email: 南南一楼一楼 东南角东南角5 5楼楼 通软中心通软中心课程说明 课程类型：专业必修课 学时：32 教材： 陈运等，信息论与编码（第2版），电子工业出版社，2007.9 参考教材 傅祖芸，信息论-基础理论与应用，电子工业出版社。2001年8月（细致） Thomas M. Cover 著 Elements of Information Theory 清华大学出版社2003年11月 考核： 平时成绩30（作业、考勤） 期末考试70（闭卷）2课程说明 本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程
2、的数学基础为概率论。 本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。课程地位 重要的专业基础课概率论与数理统计概率论与数理统计高等数学高等数学线性代数线性代数通信原理通信原理信息论与编码信息论与编码计算机网络计算机网络移动通信移动通信纠错编码纠错编码数据压缩数据压缩信息安全信息安全 信号与系统信号与系统数字信号处理数字信号处理4第1章 绪论感性认识：信息论
3、与编码的用途 JPG、GIF，与BMP有什么不同？ WinRar, WinZip软件有什么用途？ MP3，MP4格式有什么特点？ 图片压缩 数据压缩 音频、视频压缩 例1：一分钟CD音质 压缩前：11M byte 压缩后：1M byte 例2：联通3G，号称网速21M，用户实际体验，速度快慢不等 客服解释：信道条件不同？Byte指的什么，到底是指的什么，到底是一个怎样单位？一个怎样单位？为什么可以压缩，最多能为什么可以压缩，最多能压缩多少？压缩多少？“网速网速”和信道有什么关系？和信道有什么关系？无线信道极限能传多快？无线信道极限能传多快？6第1章 绪论 1.1 信息的一般概念 信息的定义 信
4、息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用7信息的定义 到底什么是信息？有没有严格的、公认的书面定义? 信息就是信息，既不是物质也不是能量。（1948年，维纳） 信息是事物之间的差异。（1975年，朗格G.Longe） 信息是物质和能量在时间和空间的不均匀性。 信息是物质的普遍属性。 信息是集合的变异度。 信息是一种场。 信息是系统的复杂性。 信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是收信者事先所不知道的报导。 信息是用以消除随机不定性的东西。 目前，在世界范目前，在世界范围内，还没有这围内，还没有这样一个准确
5、、严样一个准确、严格而统一的定义。格而统一的定义。8什么是信息什么是信息? ?信息信息时代时代 信息信息社会社会 信息信息高速公路高速公路 信息信息化建设化建设 电子与电子与信息信息工程系工程系 接下来接下来给出给出香农香农所所做出的定义，做出的定义，也就是本也就是本课程所使用的定义课程所使用的定义生活中的信息： 花朵开放时的鲜艳的色彩，可以引来昆虫为其授粉；色彩是一种信息色彩是一种信息 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息知识也是信息。 ，信息
6、处处存在，人的眼、耳、鼻、舌、，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。身都能感知信息。视觉视觉嗅觉嗅觉味觉味觉听觉听觉对信息概念的感性认识对信息概念的感性认识 收到一封电报，接到一个电话，或早晨从收音机里听到了天气预报，或看到了电视之后： 但到底我们得到了多少“信息”呢？如何衡量？ 例：1. 第二次听天气预报说今天会是阴天，得到多少信息？2. 电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？3. 一位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少信息？4. 两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？5. 一位渔
7、民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息？价值多出多少？我们收到了我们收到了“信息信息”。10对信息概念的感性认识1. 第二次听到天气预报说今天会是阴天，得到多少信息？ 感觉上信息量应为零，因为该事件已经被获知，是确定性的事件。但又似乎不完全是，因为对该事件又得到了一次新的确认，对信息的真实性更加有把握。2. 电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？ 说不太清分别得到多少信息。但感觉上似乎前者信息量更大些，因为这种几率非常小，人们感觉很惊讶。不过对于不懂体育的人，似乎又没多大区别。3. 一位专业人士和一位普通人同时听一位学
8、者的学术讲座，分别得到多少信息？ 说不太清分别得到多少信息。但感觉上似乎前者得到的信息量更大些，因为他懂得很多专业知识。11对信息概念的感性认识4. 两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？ 说不太清谁得到的信息多。似乎应该是业务能力更强、专业知识更丰富的那个人得到的信息多，但很难对这两个人的能力和知识进行定量地衡量。5. 一位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息？价值多出多少？ 感觉是渔民，但价值多出多少无法回答。12结论 一般而言，信息既有其客观性，又有其主观性，与接收人所具有的专业知识、兴趣、职业等都有关系。 1. 客观性：所有人所听到
9、的消息都是一样的。 天气预报说今天会下雨。 电视报道说中国足球队战胜了巴西足球队。 2. 主观性：与接收人的知识、兴趣、职业等主观因素有关。 知识：两个专业人士听学术讲座的例子。 兴趣：听到体育新闻的人是否爱好体育的例子。 职业：渔民和工人听海浪预报的例子。13总结 信息具有三方面特征： 语法（反映客观性） 语义（既有客观性、又有主观性） 语用（反映主观性） 信息的主观属性（语用、语义）是影响对信息进行度量的主要因素，这些属性与人的主观性有关，很难准确地进行量化表达。 基于以上考虑，香农大胆地去掉了信息在语义和语用方面的因素，只保留消息的语法属性，从而使得使用数学工具定量度量信息成为可能。C.
10、 E. Shannon香农信息分类方法的一种信息分类方法的一种14香农信息 1948年，香农在A Mathematical Theory of Communication中提出了三种假设：形式化假说 通信的任务只是在接收端把发送端发出的消息从形式上复制出来，并不需要对消息的语义作处理和判断。 形式化假说大胆去掉了消息主观方面的语义、语用因素，只保留了能用数学描述的客观方面的形式因素，使用数学工具定量度量信息成为可能非决定论观点 根据通信问题研究对象的特点，按照非决定论的观点，采用概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更加科学。不确定性 信息是对事物运动状态或存在方式不确定
11、性的描述。当收到一条消息后，所获得的信息量可以用不确定度的消除量来进行度量。 香农信息15香农信息不确定性的消除量 香农认为通信无外乎两种原因：1. 自己有某种形式的消息要告诉对方，而估计对方“不知道”这个消息。2. 自己有某种“疑问” 要寻问对方，而估计对方能做出一定的解答。 “不知道”、“疑问”就是通信前对可能发生事件的若干种结果不能做出明确判断，存在某种 “不确定性”。 通信后，将完全或部分消除通信前的不确定性。即：通信的作用就是通过消息的传递，使接收者从收到的消息中获取一定的信息，从而消除原先存在的某些不确定性。 例：地区A每天通过信道，向地区B发送地区A当天的天气情况。 通信前，问地
12、区B的某人：地区A明天会是阴天吗？回答：不确定。 假设地区A第二天果然是阴天，并将此消息通过信道发送到地区B。但通信过程中受干扰因素的影响，消息变为“不是晴天” 通信后，问地区B的某人：地区A今天会是阴天吗？回答：还是不确定，但不确定的程度降低了。16根据香农信息的定义，重新回答之前的问题。2. 2. 电视电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？巴西队，分别得到多少信息？收看之前的不确定度收看之前的不确定度 收看之后的收看之后的不确定度不确定度 0 0根据历史统计规律得出的概率进根据历史统
13、计规律得出的概率进行计算。行计算。1. 1. 别人别人给你打电话告诉了你一件不知道的事情，得到多少信息？告诉了一给你打电话告诉了你一件不知道的事情，得到多少信息？告诉了一件你已经知道的事情呢？件你已经知道的事情呢？听到之前的不确定度听到之前的不确定度 听到之后的不确定度听到之后的不确定度 之前不知道之前不知道的事情的事情根据概率计算。根据概率计算。0 0之前已知道的之前已知道的事情事情0 00 0173. 3. 一一位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少信息？信息？听到之前的不确定度听到之前的不确定度 听到之后的
14、不确定度听到之后的不确定度专业人士和普通人的得到的信息相同。专业人士和普通人的得到的信息相同。4. 4. 两两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？两位专业人士得到的信息相同。两位专业人士得到的信息相同。5. 5. 一一位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息值的信息？得到得到的信息相同。的信息相同。可见：可见：香香农信息只考虑信息量的多少农信息只考虑信息量的多少, , 不考虑不考虑对人的作用或价值。对人的作用或价值。根据香农
15、信息的定义，重新回答之前的问题。18香农信息的优缺点香农信息的优点：香农信息的优点：有明确的数学表达式，有明确的数学表达式，定量化定量化与人们直观理解的信与人们直观理解的信息含义一致息含义一致不考虑收信者主观感不考虑收信者主观感受的不同，认为同一受的不同，认为同一消息对任何收信者，消息对任何收信者，所得信息量相同。所得信息量相同。香农信息的局限：香农信息的局限：没有考虑收信者的主没有考虑收信者的主观特性和主观意义观特性和主观意义只是对现实世界信息只是对现实世界信息的一种抽象和简化，的一种抽象和简化，在很多方面还不能完在很多方面还不能完全满足人们的需要全满足人们的需要19其他信息定义哈特莱：哈特
16、莱：信息是通信息是通信过程中信过程中符号选择符号选择的自由度。的自由度。例：英文发报系统，自由度取决于符号例：英文发报系统，自由度取决于符号的数目，与符号的具体内容无关。字母的数目，与符号的具体内容无关。字母越多，自由度越大，信息量越大。越多，自由度越大，信息量越大。 选择选择的自由度与字母概率无关。的自由度与字母概率无关。 单词受构词单词受构词法的限制越强，信息量越小。法的限制越强，信息量越小。 维纳：信维纳：信息既不是息既不是物质，也物质，也不是能量，不是能量，信息就是信息就是信息信息正是维纳首次将信息放在与物质和能量正是维纳首次将信息放在与物质和能量等同的位置上，将信息作为独立于物质等同
17、的位置上，将信息作为独立于物质和能量之外存在于客观世界的第三要素。和能量之外存在于客观世界的第三要素。本课程后续讨论内容中将只使用香农先生的定义。20第1章 绪论 1.1 信息的一般概念 信息的定义 信息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用21信息与消息、信号间的区别与关系信号信号在实际通信系统中，通常需要把消息变换成适合信道传输的物理量，在实际通信系统中，通常需要把消息变换成适合信道传输的物理量，这种物理量即为信号。这种物理量即为信号。包括电信号（随时间而变化的电压或电流）、光信号（如光强度）、包括电信号（随时间而变化的电压或电
18、流）、光信号（如光强度）、声波动、光强度、机械运动的位移或速度等等声波动、光强度、机械运动的位移或速度等等消息消息信息的载体信息的载体用文字、符号、数据、语言、图片、图像等能被人们感觉器官所感用文字、符号、数据、语言、图片、图像等能被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息。信息信息信息是对事物运动状态或存在方式不确定性的描述。当收到一条消信息是对事物运动状态或存在方式不确定性的描述。当收到一条消息后，所获得的信息量可以用不确定度的消除量来进行度量。息后，所获得的信息量可以用不确定度的消除量来
19、进行度量。22例：(莫尔斯码)23分析 分析1：上述通信活动中，信息、消息、信号分别是： 高频电脉冲是 “母病愈”这三个汉字是 对母亲健康状况不确定性的消除，是 其中，消息与信息的概念较为容易混淆。消息通常是具体的文字，数据、声音、图像等形式，而信息较为抽象。 分析2： 第二天哥哥又发了一封“母病愈”的电报。 收到消息但信息为0 通信前后的不确定度： 0 0 第一份电报，传输过程中变成乱码。 收到消息但信息为0 通信前后的不确定度： f(p) f(p)信息信息消息消息信号信号24第1章 绪论 1.1 信息的一般概念 信息的定义 信息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的
20、和内容 1.3 信息论的形成和发展应用25信息的特征 信息是无形的 与物质和能量不同，信息看不见，摸不着，没有颜色、没有气味、没有形状、没有大小，没有重量非常抽象。 信息是“活”的 信息来源于客观事物，人们能够直接或间接感知它，它是人脑思维活动的反映，可以说，人脑是信息的主要载体。它是动态的，有很强的时间性，如：股票市场信息，瞬息万变，只有及时把握有效的信息才能获得信息的最佳价值。 信息是可分享的 甲传递一件东西给乙，乙得到的同时甲便失去。 信息持有者将信息传递出去后，自己的信息并不丧失。26信息的特征 信息是能产生实效的 信息是可以处理的 人们得到信息之后，往往要对信息进行整理、归纳和再加工
21、，使信息更加精练。 如：信息的压缩是信息论的主要研究内容之一。 信息是可以快速传播并扩散的 信息可以在短时间内通过电视、广播、网络等渠道迅速传播开来，顷刻之间即可传遍全球。 . . . 27第1章 绪论 1.1 信息的一般概念 1.2 信息论的研究对象、目的和内容 通信系统模型 信息论的内容和目的 1.3 信息论的形成和发展应用28信息运动过程对应人的部位信息运动过程使用的工具对应的信息科学与技术传感器技术遥感技术雷达技术通信理论技术信息压缩技术编码理论网络技术计算机科学与技术人工智能信号处理、图像处理模式识别控制理论、系统论传感器雷达探测遥感、遥测电话、广播、电视、数据通信计算机网络计算机、
22、光盘.执行机构、控制系统、机器人等外部世界(自然环境人类社会)信息获取初步处理信息传递与分配信息处理与存储信息施效(控制)视、听、嗅、触摸传导神经大脑四肢存储29通信系统模型 香农在创立信息论时，主要是考虑在通信领域中的应用。随着信息论的不断发展，其已逐渐渗透到计算机、雷达、导航、自动控制等领域，甚至已渗透到经济学、社会学等领域。但本课程只研究在通信领域中的应用。信源信源编码信源译码信宿信道编码信道信道译码+加密编码解密译码噪声源SUCXYVSn通信系统基本模型通信系统基本模型30通信系统模型-信源和信宿 信源: 产生消息的源。 可是人、生物、机器或其它事物，是信息的表达者，但不是信息本身。
23、是事物各种运动状态或存在状态的集合，对应一个概率空间。 信源的输出是消息，消息可以是文字、语言、图像等。 信宿：信息传送过程中的接收者，即接收消息的人或物。 信宿和信源可处于不同的地点或存在于不同时刻。信 源编码器信 道译码器信 宿干扰源消息信号干扰消息31通信系统模型-编码部分 编码部分： （发射机）1、信源编码器：对信源消息进行变换和处理，提高传输效率2、纠错编码器：用以提高对于信道干扰的抗击能力，提高传输可靠性。3、调制器：变成适合于信道要求的信号形式例如：电话机：人的语言转换成与声音信号成正比的电信号。 发报机：将语言文字转换成高频电脉冲。信信 源源信源编码器信源编码器调制器调制器信信
24、道道信道编码器信道编码器纠错编码器纠错编码器信信 宿宿信源译码器信源译码器解调器解调器纠错译码器纠错译码器干扰源干扰源信道译码器信道译码器32通信系统模型-信道 信道：把载荷消息的信号从发射端传到接收端的媒质或通道 在狭义的通信系统中，实际信道有架空明线、电缆、波导、光纤、无线电波传播空间等。 广义的通信系统，信道还可以是其他传输媒介。 信 源信源编码器调制器信道信道编码器纠错编码器信 宿信源译码器解调器纠错译码器干扰源信道译码器33通信系统模型-干扰源 干扰源：在信道中引入噪声和干扰 这是一种等效的表达方式：为分析方便，把系统中各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。 实际干
25、扰可以分成以下两大类。 1、加性干扰。外界引入的随机干扰，如设备内部噪声，它们与信道的输入信号统计无关。信道的输出是输入信号和干扰的和。 2、乘性干扰。信号在传播过程中由于物理条件的变化引起信号参量的随机变化而构成的干扰。此时信道的输出信号是输入信号与某些随机参量相乘的结果。34通信系统模型-译码部分 译码部分：编码的逆变换。 它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 可分为信源译码器和信道译码器； 信道译码器包括纠错译码器和解调器。信 源信源编码器调制器信道信道编码器纠错编码器信 宿信源译码器解调器纠错译码器干扰源信道译码器35说明：1. 上述模
26、型只是一种最基本的通信系统，只实现了点对点的单向通信，而实际系统都应是双向的。2. 在网络通信情况下，可能有很多分开的信源、信道和信宿进行信息交换，应支持多个输入、多个输出和多向传输。 例如，广播通信是一个输入、多个输出的单向传输通信，而卫星通信网则是多个输入、多个输出和多向传输的通信。3. 要研究这些通信系统中的信息传输和处理问题，需要对两端单向通信系统模型作适当修正36 不编码：每个字符需要5个二进制码元。 编码后：每个字符可能无需5个二进制码元。例：信源符合集合(32个符号)A B Z,.?.信 源信源编码器调制器信道纠错编码器消息：TOM IS SICK37信源编码的作用提高有效性 不
27、编码： 每个字符需要5个二进制码元。 平均码元长度：5 编码后： A：1个码元 其他：6个码元 平均码元长度：3.50101010101010101010101010101010101010101010101010101010101010101信源符合集合(32个符号)A B Z,.?.假设：p(A)=1/2 p(其他)=1/6238 不编码：接收方无法发现错误。 编码后：接收方可发现或纠正错误。信源编码的作用提升可靠性信 源信道编码器调制器信道信源编码器信息码元信息码元监督码元有确定性的关系（如奇偶校验或CRC）通信的通信的有效性有效性依靠尽依靠尽可能较少地发送码元可能较少地发送码元数来完成
28、，而数来完成，而可靠性可靠性又需要在真正要传输又需要在真正要传输的码元后附加一些冗的码元后附加一些冗余的监督码元。因此，余的监督码元。因此，从某种意义上讲，二从某种意义上讲，二者者存在一定的矛盾存在一定的矛盾，需要统筹兼顾。需要统筹兼顾。39第1章 绪论 1.1 信息的一般概念 1.2 信息论的研究对象、目的和内容 通信系统模型 信息论的内容和目的 1.3 信息论的形成和发展应用40信息论的研究内容1.狭义信息论（香农基本理论）也称为经典信息论。 主要研究信息的测度、信道容量及信源和信道编码理论等问题。2. 一般信息论（通信理论），主要研究信息传输和处理问题。 除香农理论外，还包括噪声理论、信
29、号滤波和预测、统计检测和估计理论、调制理论、抗干扰理论、信号处理理论以及保密理论。 3. 广义信息论（信息科学），不仅包含上述内容，而且包括所有与信息有关的自然和社会领域，具有更广泛的研究内容。香农信息论香农信息论信源熵信源熵信道信道容量容量无失真信源无失真信源编码定理编码定理率失真率失真函数函数信源信源编码编码信道信道编码编码限失真信源限失真信源编码定理编码定理 信道信道 编码定理编码定理密码密码41课程的研究内容 (1) 什么是信息？如何度量信息？ 自信息量 互信息量 (2) 如何计算信源输出中，平均含有多少信息量？ 熵 (3) 对于一个给定的信道，它传输信息量的最高极限如何计算？ 信道容
30、量 (4) 为了能够无失真地传输信源信息，对信源编码时所需最少的码符号数如何计算？ 香农第一定理 (5) 在有噪信道中，有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？ 香农第二定理 (6) 如果对信源编码时允许一定量的失真，所需最少的码符号数如何计算？ 香农第三定理 (7) 编码的基本思路？常见的一些基本编码方法的编码步骤42信息论的研究目的 可靠性：信源发出消息经信道传输后，尽可能准确、不失真地再现在接收端。 有效性：用尽可能短的时间、尽可能少的设备来传送一定数量的信息。 保密性：隐蔽和保护传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 认证性：接收者能
31、正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和被窜改的。建立传输系统模型，找到信息传输过程的共同规律，以建立传输系统模型，找到信息传输过程的共同规律，以提高信息传输的提高信息传输的、和和，这，这四者构成现代信息系统对信息传输的全面要求。四者构成现代信息系统对信息传输的全面要求。 43课程后续安排 1 绪论（2个学时） 2 信源熵（13-14个学时） 2.0 信源的数学模型及其分类（1学时） 2.1 信息的度量与信源熵（5-6学时） 2.2 多符号离散平稳信源（2-3个学时） 2.3 连续信源（2个学时） 2.4 离散无失真信源编码定理（2个学时） 3 信道容量（6个学时） 3.1
32、 信道模型信道容量（2个学时） 3.2 多符号离散信道 （2个学时） 3.3 连续信道 （2个学时） 4 信息率失真函数（2个学时） 5 信源编码（4个学时） 6 信道编码定理 （2个学时）44第1章 绪论 1.1 信息的一般概念 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用45 信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。 信息论自诞生到现在不过60年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。现在它已成为一门独立的理论学科。信息论的形成和发展 46发展简史18321832年年莫尔斯电报系
33、统莫尔斯电报系统中高效率的编码中高效率的编码方法对后来香农方法对后来香农的编码理论是有的编码理论是有很大启发的。很大启发的。18851885年年凯尔文曾研究过一凯尔文曾研究过一条电缆的极限传信条电缆的极限传信率。率。19241924年年奈斯特（奈斯特（H.NyquistH.Nyquist）解释了信号带宽和解释了信号带宽和信息率之间的关系。信息率之间的关系。指出指出如果以一个确如果以一个确定的速度来传输电定的速度来传输电报信号，就需要一报信号，就需要一定的带宽。证明了定的带宽。证明了信信 号传输速率与信号传输速率与信道带宽成正比。道带宽成正比。19281928年年哈特莱哈特莱（R.V.Harte
34、lR.V.Harteleyey）引入了）引入了非统计（等非统计（等概率事件）概率事件）信息量概念。信息量概念。提出信息量提出信息量等于可能消等于可能消息数的对数。息数的对数。19361936年年阿姆斯特朗提阿姆斯特朗提出增加信号带宽出增加信号带宽可以使抑制噪声可以使抑制噪声干扰的能力增加，干扰的能力增加，并给出了调制指并给出了调制指数大的调频方式，数大的调频方式，使调频实用化，使调频实用化，出现了调频通信出现了调频通信装置。装置。19391939年年达德利发明了达德利发明了声码器，他指出声码器，他指出通信带宽应至少通信带宽应至少同待传送消息的同待传送消息的带宽一样。带宽一样。香农在贝尔实验室出
35、版的著名的香农在贝尔实验室出版的著名的贝尔系统技术杂志贝尔系统技术杂志上连载发表了上连载发表了信息论学科的奠基性著作信息论学科的奠基性著作通信的通信的数学理论数学理论。在论文中，他用概率。在论文中，他用概率测度和数理统计的方法系统地讨论测度和数理统计的方法系统地讨论了通信的基本问题，首先严格定义了通信的基本问题，首先严格定义了信息的度量了信息的度量熵的概念，又定熵的概念，又定义了信道容量的概念，得出了几个义了信道容量的概念，得出了几个重要而又带有普遍意义的结论，由重要而又带有普遍意义的结论，由此奠定了现代信息论的基础。此奠定了现代信息论的基础。47 1948年，香农在贝尔系统技术杂志上发表了两
36、篇有关“A Mathematical Theory of Communication”（“通信的数学理论”）的文章。 在这两篇论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要的而带有普遍意义的结论，并由此奠定了现代信息论的基础。发展历史信息论创立的标志信息论创立的标志近年来，除应用于电子领域外，信息论还渗透到生物学、医近年来，除应用于电子领域外，信息论还渗透到生物学、医学、甚至经济学、社会学等多个领域，已发展成为一门综合学、甚至经济学、社会学等多个领域，已发展成为一门综合性的新兴学科性的新兴学科信息科学。信息科学。 48总结 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息的传输、提取和处理系统中一般规律的学科。 主要内容包括香农理论、编码理论、维纳理论、随机噪声理论、信号滤波和预测、统计检测和估计理论、调制理论、抗干扰理论、信号处理理论以及保密理论。 信息论内容广泛，各分支相对独立，本课程主要讲信息论的基础理论，即香农理论。 研究信息论的主要目的就是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。49本章结束
