1、信息论基础信息论基础 B第第1章章 绪论绪论任课老师：博士信息与信息工程学院江苏省图像处理与图像通信重点实验室 1任课老师相关情况u 干(gan)u 单位：通信与信息工程学院u 江苏省图像处理与图像通信实验室u 联系方式：手机号码，请课后索取u email:u 办公室：三牌楼校区 科技楼13062任课老师相关情况研究方向：（1）在无线通信中的视频通信，图像前后处理；（2）图像超分辨率重建；（3）人脸追踪，鉴别，识别34My work上课要求u 保持课堂安静，如果有能力者，可以书面提出申请不听课，允许不上课，可以参加考试；u期末成绩70+平时作业（15）、上课（15）；u 不交一次作业，扣3分，
2、（从未交作业的同学，只有4分）每章结束交一次作业；u 随机点名3次，不到者一次平时成绩扣6分，（3次不到的同学，只有2分）5 上课时间、地点：答疑 课间答疑、用email提问：本人尽自己所能，帮助大家学好信息论。每章上完之后，给大家提供电子版的PPT 当然，最好的复习资料是参考书。星期五教23056注意注意!课程资源 教材：曹雪虹，张宗橙，信息论与编码 参考书：信息理论基础周荫清 北航出版社 Elements of Information Theory,by T.M.Cover（英，中均可）7校内课程网络资源校内课程网络资源http:/ Experiment to Calculate the
3、Entropy of English信息论与编码与其它课程的关系10 信息论是其它通信相关课程的数学理论基础；信息论是信息科学和技术的基本理论,信息科学 大厦的地基;没有信息论的基础，从事通信与信息领域的研究 和创新是不可能的事情；本人还认为：信息论可以帮助大家梳理上学期通信原理的相关知识点，对考研的同学有用；信息论相当多的知识点用到概率论，可以帮助大家复习概率论，对考研的同学有用；信息论可以让大家对通信增加必要理解的同时，拿到必要的学分。国内和国外的通信状况11两亿公里的火星1.1 信息论的形成和发展12信息论的检索情况1.1 信息论的形成和发展13信息论创立的标志信息论创立的标志:香农于香
4、农于19481948年发表的论文：年发表的论文：A Mathematical Theory of Communication A Mathematical Theory of Communication （通信的数学理论）（通信的数学理论）香农的简历14Claude Elwood Shannon:April 30,1916-February 24,2001u 1938年香农在MIT获得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)。哈佛大学的Howard Gardner教授说，
5、“这可能是本世纪最重要、最著名的一篇硕士论文。”u 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是An Algebra for Theoretical Genetics(理论遗传学的代数学)。u 1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司u 1948年香农在Bell System Technical Journal上发表了A Mathematical Theory of Communication。u 1949年香农发表了另外一篇重要论文Communication Theory of Secrecy Systems(保密系统的通信理论
6、)。香农的简历15Claude Elwood Shannon:April 30,1916-February 24,2001 Dont throw away information that could be useful to you.Claude Shannon 什么是信息论？16l组成客观世界的三大基本要素：组成客观世界的三大基本要素：l物质物质l能量能量l信息信息l没有物质什么都不存在，没有能量什么都不会发生，没没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。有信息什么都没有意义。l 美国学者欧廷格美国学者欧廷格lShannonShannon用概率的方法对语言做近似
7、的表述，研究的结用概率的方法对语言做近似的表述，研究的结果是有限的。果是有限的。什么是信息论？17 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息。l消息中包含信息，消息是信息的载体。l 什么是信息论？18广义的信息论什么是信息论？狭义信息论通信信息论19香农信息：信息是对事物运动状态或存在方式的不确定香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。性的描述。通信的基本问题是在一点精确或近似恢复另一点（信源）通信的基本问题是在一点精确或近
8、似恢复另一点（信源）所选择的消息。所选择的消息。香农香农通信的过程就是消除不确定性的过程。通信的过程就是消除不确定性的过程。信息论的发展过程 1924年，H Nyquist，电报信号传输中脉冲速率与带宽的联系 1928年，RV Hartley,引入非统计信息量(用随机事件样本空间中元素的个数的对数值衡量)1930年，维纳将傅立叶分析方法全面引入随机信号的研究中 1936年，EH Armstrong，带宽与抗干扰能力(提出频率调制)40年代初，N Wiener,“控制论”20 信息论的发展过程(cont.)1948年，Shannon,发表论文“A mathematical theory of c
9、ommunications”1952年，Huffman编码 1954年，P.Elias提出了卷积码 1959年，Shannon,限失真信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion”1961年，Shannon,“双路通信信道”，多用户理论 1963年，P.Elias提出了算术编码 1972年，Cover,广播信道 1982年，Ungerboeck提出网格编码调制 1993年，Turbo码的性能非常接近理论极限211.2通信系统的模型22“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的
10、消息”。通信系统三项性能指标：传输的有效性(Efficiency)传输的可靠性(Reliability)传输的安全性23 通信系统模型:24信源信源信宿信宿编码器编码器译码器译码器信道信道噪声噪声消息消息信号信号消息消息信号信号加噪加噪声声 通信系统模型方框图:信源信宿信源编码加密信源译码解密信道编码信道译码信道干扰噪声25 信源 产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率。信源编码器 对信源输出进行变换，求得有效性；加密/解密 安全性 密钥26 信道编码器 提高抗干扰性，求得可靠性；信道 中心问题是研究信道的统计特性
11、和传信能力，即信道容量。译码器 信宿 信息的接收者27 对上述问题的研究，香农得到了三个定理 无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）限失真信源编定理（第三极限定理）28对一个信源输出的数据进行数据压缩时，压缩率的对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？极限值是多少？通过一个有噪声的信道能够以多大的速率可靠地传通过一个有噪声的信道能够以多大的速率可靠地传输数据？输数据？当速率受限时，我们表示一个对象能够实现多大的当速率受限时，我们表示一个对象能够实现多大的精度？精度？信息论的研究内容 信息论要回答的一些最基本的理论问题：什么是信息？如何度量？在给定的信道
12、中，信息传输有没有极限？信息能否被压缩和恢复？极限条件是什么？从实际环境中（如干扰、噪声）抽取信息，极限条件是什么？在允许一定失真（Distortion）的条件下，信息能否被更大程度地压缩？极限条件是什么？设计什么样的系统才能达到上述极限？现实中，接近极限的设备是否存在？信息论的成功就在于首先对这些问题给出了明确的回答，这就是信息量、信道容量、熵（Entropy）、信息率失真函数、Shannon的三个定理和Shannon公式等。29狭义信息论体系结构狭义信息论体系结构30Shannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理Shannon19
13、48McMillan1953变长编码变长编码定理定理Shannon1948McMillan1956Huffman码码(1952)、Fano码码算术码算术码(1976,1982)LZ码码(1977,1978)率失真理论率失真理论ShannonGallagerBerger压缩编码压缩编码JPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码efficient:文本represent every symbol with 8 bit 1 book:8*(500 pages)*1000 symbols=4 Mbit 1 b
14、ook compression possible to 1 Mbit(1:4)31efficient:语音 sampling speed 8000 samples/sec;accuracy 8 bits/sample;speed 64 kBit/s;45 minutes lecture=45*60*64k=180Mbit 45 books compression possible to 4.8 kBit/s (1:10)32efficient:CD music sampling speed 44.1 k samples/sec;accuracy 16 bits/sample storage c
15、apacity for one hour stereo:5 Gbit 1250 books compression possible to 4 bits/sample(1:4)33efficient:digital pictures 300 x 400 pixels x 3 colors x 8 bit/sample 2.9 Mbit/picture;for 25 images/second we need 75 Mb/s2 hour pictures need 540 Gbit 130,000 books compression needed(1:100)34efficient:summar
16、ytext:1 book storage:=4 Mbit 1 book speech:45 minutes lecture=45*60*64k=180Mbit 45 booksCD music:storage capacity for one hour stereo:5 Gbit 1250 books digital pictures:2 hour pictures need 540 Gbit 130,000 books 35Morse36efficient:应用37 文本文本:Zip;etc.Zip;etc.音乐音乐:MP3 MP3 图像图像:JPEG,MPEG JPEG,MPEGeffic
17、ient:example JPEG 38100090(58k bytes)50(21k bytes)10(8k bytes)best quality,lowest compressionworst quality,highest compression39Transmit0 or 1 Receive 0 or 1 0 0 correct01 in-correct 11 correct 1 0 in-correctWhat can we do about it?40TransmitA:=0 0B:=1 1Receive 0 0 or 1 1 OK 0 1 or 1 0 NOK1 error de
18、tected!A:=0 0 0B:=1 1 1000,001,010,100 A111,110,101,011 B1 error corrected!41重复编码4243通信中的几个常识 误码率10-3 误码率10-6 误码率10-9 误码率10-15 对于误码率满足误码率10-15，重复编码需要多少次？6944信息论的应用 语音信号压缩(G.711,GSM,Vocoder)音频信号压缩(MP3)图像信号的压缩(JPEG,MPEG)计算机文件的压缩(gzip)纠错编码(汉明码、卷积码、网格编码等)通信(深空通信、Modem)其他(信息经济学)45现在通信到了什么程度？手机到了山寨时代 视频播放开始普及46通信发展的趋势是什么？有线的通信是无限的；无线的通信是有限的。也是最困难的 未来通信的趋势是无线通信。解决途径是信息论的手段。473G是历史？48如何充分利用香农定理？49通信还可以认为是什么？50本课程的目的 掌握信息论的基本概念 理解用随机统计方法研究信息及其传输的实质 了解用信息理论的相关知识解决实际问题技术的途径和方法 形成以信息的视角分析问题的能力 了解信息论产生发展的过程，知其然与所以然51课程的主要内容 第一章 绪论 第二章 信源与信息熵 第三章 信道与信道容量 第四章 信息率失真函数 第五章 无失真信源编码 第六章 信道编码 第七章 加密编码 5253END
