1、第一章第一章 引论引论1谢谢观赏2019-6-23课程概况课程概况l目的目的：l了解学习信息论的作用、方法与意义作用、方法与意义，对信息论的研究方法和成果研究方法和成果有广泛的基本认识，学会应用应用，为进一步研究打下基础l特点特点：l以信息理论信息理论为中心，区别与“信源编码”、“信道编码”l以概念和物理意义为主l结合通信系统实际应用应用2谢谢观赏2019-6-23参考书目参考书目Cover, Elements of Information TheoryMcElice, The Theory of Information &Coding Proakis, Digital Communicati
2、on 林舒，差错控制编码，第二版3谢谢观赏2019-6-23其它有关事项其它有关事项l讲课:（概念、方法）l自学:（数学推导、定理证明）l考试：基本概念，基本计算。l微课：分组进行微课制作，上传至网络，评分l欢迎提出各种问题、意见和建议4谢谢观赏2019-6-23第一章第一章 引论引论l1.1 通信系统模型l1.2 信息论研究的中心问题及发展5谢谢观赏2019-6-231.1 通信系统模型通信系统模型6谢谢观赏2019-6-23通信系统模型通信系统模型信源编码器信道译码器信宿干扰源7谢谢观赏2019-6-23通信系统模型进一步细分通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解
3、调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器8谢谢观赏2019-6-23各部件功能各部件功能l信源l产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。l研究的主要问题是消息的统计特性和产生信息的速率l编码器l信源编码器：对信源输出进行变换，求得有效性l信道编码器：对信源编码输出变换，提高抗干扰性l调制器：将信道编码输出变成适合信道传输的方式9谢谢观赏2019-6-23各部件功能各部件功能l信道l信号从发端传到接收端的介质l干扰源l系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性l信道的中心问题是研究信
4、道的统计特性和传信能力，即信道容量信道容量10谢谢观赏2019-6-23各部件功能各部件功能l译码器l编码器的逆变换l中心问题是研究各种可实现的解调和译码方法l信宿l信息的接收者11谢谢观赏2019-6-23信息、信息科学与信息论什么是信息？InformInforminformationinformation“某人被通知或告知的内容、情报、消息” 牛津英文字典广义的信息信息的形式、内容最广泛意义 技术术语的信息表达信息所用的形式或载体具体但无确切定义统计信息信息表达形式中统计方面的性质明确定义的科学名词 与内容无关、独立于形式12谢谢观赏2019-6-23信息、信息科学与信息论IT -IT -
5、计算机所涉及的各种各样的技术计算机所涉及的各种各样的技术 优点：笼统、不明确 适应种类繁多、不断发展 统一的、全面的、高层次的 什么是信息技术？13谢谢观赏2019-6-23信息、信息科学与信息论l出现于图书馆学研究图书文献的检索l计算机出现后新的含义l不同国家含义不尽相同l发展和长远的观点能与信息技术相对应的基础科学什么是信息科学？14谢谢观赏2019-6-23信息、信息科学与信息论信息论统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。统计信息理论局限性不能解决一些问题 如：人工智能中启发式 搜索和学习发展的观点信息科学
6、所不可缺少的理论 基石什么是信息理论？15谢谢观赏2019-6-23信息、信息科学与信息论在中对信息的表达分为三个层次：信号信号、消消息息、信息信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：是信息的载体，相对具体的概念，如语言，文字，数字，图像信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。可以定量的描述。信息、物质和能量是构成一切系统的三大要素。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。通信中的信息含义？16谢谢观赏2019-6-231.2 信息论研究的中心问信
7、息论研究的中心问题和发展题和发展17谢谢观赏2019-6-23Shannon信息论的基本任务信息论的基本任务l1948年shannon发表了“通信的数学理论”奠定了信息论理论基础l基本任务是设计有效而可靠的通信系统l可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端l有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息18谢谢观赏2019-6-23信息论的研究内容信息论的研究内容l狭义信息论（经典信息论）l研究信息测度，信道容量以及信源和信道编码理论l一般信息论l研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理
8、理论和保密理论l广义信息论l除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学19谢谢观赏2019-6-23信息论的研究内容信息论的研究内容统计信息论Shannon信息论本课程的主要内容主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。研究内容研究内容：1) 信源的描述，信息的定量度量、分析与计算。2) 信道的描述，信道传输的定量度量、分析与计算。3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。 Shannon的三个编码
9、定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。20谢谢观赏2019-6-23信息论的研究内容信息论的研究内容工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。研究内容主要包括：l信源编、译码理论及其设计构造方法；l信道编、译码理论及其设计构造方法；l最佳调制与解调理论与实现；l最佳检测、估值与最佳接收理论与实现；l检测、估值、滤波理论l最佳信息处理理论、方法与算法；l均衡、模式识别、人工智能、随机控制l21谢谢观赏2019-6-23狭义信息论体系结构狭义信息论体系结构Shanno
10、n信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码22谢谢观赏2019-6-23信息论发展简史信息论发展简史l电磁理论和电子学理论对通信理论技术发展起重要的促进作用l18201830年，法拉第发现电磁感应l莫尔斯18321835建立电报系统。1876年Bell发明电
11、话l1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论l1895年马可尼发明了无线电通信l微波电子管导致微波通信系统，微波雷达系统l激光技术使通信进入光通信时代23谢谢观赏2019-6-23信息论发展简史信息论发展简史l1832年莫尔斯电码对shannon编码理论的启发l1885年凯尔文研究了一条电缆的极限传信速率l1922年卡逊对调幅信号的频谱结构进行研究l1924年奈奎斯特证明了信号传输速率和带宽成正比l1928年Hartley提出信息量定义为可能消息量的对数l1939年Dudley发明声码器l1940维纳将随机过程和数理统计引入通信与控制系统24谢谢观赏2019-6-23信息论发展
12、简史信息论发展简史Claude. E. Shannon的两篇论文 Shannon 信息论 l1948年-信息时代的里程碑!“A Mathematical Theory in Communication”Shannon第一、二定理 l1959年“Coding theorems for a discrete source with a fidelity criterion”. Shannon第三定理25谢谢观赏2019-6-23信息论发展简史信息论发展简史l1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明l1957，Wolfowitz，1961 Fano，1968G
13、allager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法l1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法26谢谢观赏2019-6-23信息论发展简史信息论发展简史l1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术l1959年，Shannon提出率失真函数和率失真信源编码定理l1961年，Shannon
14、的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。27谢谢观赏2019-6-23信源编码信源编码l1948年以后，信源编码l Huffman, Fano Code (1950); l波形编码：PCM, DM, DPCM; l语音参量编码; l图象编码：DCT, 帧间预测插值, 运动补偿 l数据压缩编码 l语音编码标准 l图象编码标准28谢谢观赏2019-6-23信息论发展简史与现状信息论发展简史与现状信息论方法的应用及其取得的成果信息论方法的应用及其取得的成果l语音信号压缩：64Kbps-100bps-(极限）l降低信息传输所需的功率-3-2-1012345678910111
15、210-610-510-410-310-210-1误码率pb信噪比Eb/N0(dB)shanno限仅内码（4，1，15）未编码仅内码（2，1，7）码级连级连29谢谢观赏2019-6-23Claude E. Shannonl著名信息论和编码学者 Dr. Richard Blahut 在 Shannon塑像的落成典 礼上这样评价Shannon： 在我看来，两三百年之后，当人们回过头来看我们在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国总统，这个时代的时候，他们可能不会记得谁曾是美国总统，他们也不会记得谁曾是影星或摇滚歌星，但是仍然会他们也不会记得谁曾是影星或摇滚歌星，但是仍然会知晓知晓Shannon的名字，学校里仍然会讲授信息论。的名字，学校里仍然会讲授信息论。C. E. Shannon30谢谢观赏2019-6-2331谢谢观赏2019-6-23欢迎提出各种问题、意见和建议欢迎提出各种问题、意见和建议l是否学过信息论、信源编码或信道编码，程度如何？l希望重点讲什么？l希望哪些可以简略？l希望增加哪些内容？l对授课方式有什么意见和建议？32谢谢观赏2019-6-2333谢谢观赏2019-6-23
