1、第第3章章 数字视频编码原理数字视频编码原理n了解图像和视频编码技术的发展历程，熟悉视频编码的各种了解图像和视频编码技术的发展历程，熟悉视频编码的各种方法。方法。n重点重点掌握哈夫曼编码、算术编码、预测编码和基于掌握哈夫曼编码、算术编码、预测编码和基于DCT的变的变换编码基本原理。换编码基本原理。n掌握掌握运动估计和运动补偿预测编码的基本原理。运动估计和运动补偿预测编码的基本原理。本章学习目标本章学习目标n3.1 数字视频编码概述数字视频编码概述n3.2 熵编码熵编码n3.3 预测编码预测编码n3.4 变换编码变换编码第第3章章 数字视频编码原理数字视频编码原理3.1.1 数字视频压缩的必要性
2、和可能性数字视频压缩的必要性和可能性n数据压缩的理论基础是信息论。从信息论的角度来数据压缩的理论基础是信息论。从信息论的角度来看，压缩就是看，压缩就是去掉数据中的冗余去掉数据中的冗余，即保留不确定的，即保留不确定的信息，去掉确定的信息（可推知的），也就是用一信息，去掉确定的信息（可推知的），也就是用一种更接近信息本质的描述来代替原有冗余的描述。种更接近信息本质的描述来代替原有冗余的描述。n在一般的图像和视频数据中，主要存在以下几种形在一般的图像和视频数据中，主要存在以下几种形式的冗余。式的冗余。 n空间冗余：空间冗余：也称为空域冗余，是一种与像素间相关也称为空域冗余，是一种与像素间相关性直接联
3、系的数据冗余。性直接联系的数据冗余。 例例: :图像中包含许多规则物体，它们的亮度、饱和度及颜图像中包含许多规则物体，它们的亮度、饱和度及颜色可能都一样，因此，图像在空间上具有很强的相关性。例色可能都一样，因此，图像在空间上具有很强的相关性。例如如 Lenna Lenna 图像的脸部和肩部。图像的脸部和肩部。3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n时间冗余：时间冗余：也称为时域冗余，它是针对视频序列图也称为时域冗余，它是针对视频序列图像而言的。像而言的。 视频序列每秒有视频序列每秒有25 30帧图像，相邻帧之间的时间间帧图像，相邻帧之间的时间间隔很小；同时实际生活
4、中的运动物体具有运动一致性，使隔很小；同时实际生活中的运动物体具有运动一致性，使得视频序列图像之间有很强的相关性。得视频序列图像之间有很强的相关性。 3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n统计冗余统计冗余 n信源熵：信源熵：如果将信源所有可能事件的信息量进行平均如果将信源所有可能事件的信息量进行平均，就得到了信源熵，就得到了信源熵(entropy)。熵就是平均信息量。熵就是平均信息量。 njjjnjjjjxPxPxIxPxIEXH121)(log)()()()()(n当当 xj 等概率时，等概率时，H(X) 最大。最大。n当当 xj 非等概率时，非等概率时，H(
5、X) 不是最大，就存在冗余。不是最大，就存在冗余。 采用可变长编码技术，对出现概率大的符号用短码字采用可变长编码技术，对出现概率大的符号用短码字表示，对出现概率小的符号用长码字表示，则可去除符号表示，对出现概率小的符号用长码字表示，则可去除符号冗余，从而节约码字，这就是冗余，从而节约码字，这就是熵编码熵编码的思想。的思想。3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n结构冗余：结构冗余：在有些图像的部分区域内有着在有些图像的部分区域内有着很相似的纹理结构，或是图像的各个部分很相似的纹理结构，或是图像的各个部分之间存在着某种关系，例如自相似性等，之间存在着某种关系，例如自
6、相似性等，这些都是结构冗余的表现。这些都是结构冗余的表现。 分形图像编码分形图像编码的基本思想就是利用了结的基本思想就是利用了结构的自相似性。构的自相似性。3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n知识冗余：知识冗余：在某些特定的应用场合，编码对象中包含的在某些特定的应用场合，编码对象中包含的信息与某些先验的基本知识有关。信息与某些先验的基本知识有关。例如例如:人脸的图像有同人脸的图像有同样的结构：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中样的结构：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中线上线上 可以利用这些先验知识为编码对象建立模型。通过提可以利用这些先验知识为编
7、码对象建立模型。通过提取模型参数，对取模型参数，对参数参数进行编码而不是对图像像素值直接进进行编码而不是对图像像素值直接进行编码，可以达到非常高的压缩比。这是行编码，可以达到非常高的压缩比。这是模型基编码模型基编码（或（或称知识基编码、语义基编码）的基本思想。称知识基编码、语义基编码）的基本思想。3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n人眼的视觉冗余人眼的视觉冗余 视觉冗余度是相对于人眼的视觉特性而视觉冗余度是相对于人眼的视觉特性而言的。压缩视觉冗余的核心思想是去掉那些言的。压缩视觉冗余的核心思想是去掉那些相对人眼而言是看不到的或可有可无的图像相对人眼而言是看不到
8、的或可有可无的图像数据。对视觉冗余的压缩通常反映在各种具数据。对视觉冗余的压缩通常反映在各种具体的压缩编码过程中。体的压缩编码过程中。3.1.1 数字视频压缩的必要性和可能性数字视频压缩的必要性和可能性n1948年提出电视信号的数字化，人们开始了对图像压缩编码的研究工作。n1952年哈夫曼给出最优变长码的构造方法。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n预测编码1952年，贝尔实验室的奥利弗等人开始研究年，贝尔实验室的奥利弗等人开始研究线性预测编码线性预测编码理论理论1958年，格雷哈姆用计算机模拟法研究图像的年，格雷哈姆用计算机模拟法研究图像的DPCM方法方法1966年，奥
9、尼尔通过理论分析和计算模拟比较了年，奥尼尔通过理论分析和计算模拟比较了PCM和和DPCM对电视信号进行编码传输的性能对电视信号进行编码传输的性能20世纪世纪70年代开始进行了年代开始进行了帧间预测编码帧间预测编码的研究的研究20世纪世纪80年代初开始对作运动补偿预测所用的年代初开始对作运动补偿预测所用的运动估值运动估值进进行研究行研究3.1.2 数字视频编码数字视频编码技术的进展技术的进展n变换编码首先讨论了包括首先讨论了包括K-L（Karhunen-Loeve） 变换、变换、傅立叶变换等正交变换傅立叶变换等正交变换1968年安德鲁斯等人采用二维离散傅立叶变换（年安德鲁斯等人采用二维离散傅立叶
10、变换（2D-DFT）提出了变换编码）提出了变换编码此后相继出现了沃尔什此后相继出现了沃尔什-哈达玛（哈达玛（Walsh-Hadamard）变换、斜（）变换、斜（Slant）变换、）变换、K-L变换变换、离散余弦变换（、离散余弦变换（DCT）等）等3.1.2 数字视频编码数字视频编码技术的进展技术的进展n子带编码1976年美国贝尔系统的克劳切等人提出了话音的年美国贝尔系统的克劳切等人提出了话音的子带编码。子带编码。1985年奥尼尔将子带编码引入到图像编码。年奥尼尔将子带编码引入到图像编码。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n算术编码1960年，年，P.Elias提出了算术编
11、码的概念。提出了算术编码的概念。1976年，年，R.Pasco和和J.Rissanen分别用定长的寄存器实现了分别用定长的寄存器实现了有限精度的算术编码。有限精度的算术编码。1979年年Rissanen和和G.G.Langdon一起将算术编码系统化，一起将算术编码系统化，并于并于1981年实现了二进制编码。年实现了二进制编码。1987年年Witten等人发表了一个实用的算术编码程序，即等人发表了一个实用的算术编码程序，即CACM87（后被（后被ITU-T的的H.263视频压缩标准采用）。视频压缩标准采用）。同期，同期，IBM公司发表了著名的公司发表了著名的Q-编码器（后被编码器（后被JPEG建
12、议建议的扩展系统和的扩展系统和JBIG二值图像压缩标准采用）。二值图像压缩标准采用）。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n基于模型编码1983年瑞典的年瑞典的Forchheimer 和和Fahlander提出了提出了基于模型编码（基于模型编码（Model-Based Coding）的思想）的思想。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n小波变换编码1986年，年，Meyer在理论上证明了一维小波函数的在理论上证明了一维小波函数的存在。存在。1987年年Mallat提出了多尺度分析的思想及多分辨提出了多尺度分析的思想及多分辨率分析的概念，提出了相应的快速小
13、波算法率分析的概念，提出了相应的快速小波算法Mallat算法，并把它有效地应用于图像分解和重算法，并把它有效地应用于图像分解和重构。构。1989年，小波变换开始用于多分辨率图像描述。年，小波变换开始用于多分辨率图像描述。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n分层可分级编码20世纪世纪90年代中后期，年代中后期，Internet迅猛发展，移动迅猛发展，移动通信也迅速在全球普及，因此人们开始有了在网通信也迅速在全球普及，因此人们开始有了在网络上传输视频和图像的愿望。在网络上传输视频络上传输视频和图像的愿望。在网络上传输视频和图像等多媒体信息除了要解决误码问题之外，和图像等多媒体
14、信息除了要解决误码问题之外，最大的挑战在于用户可以获得的带宽在不停地变最大的挑战在于用户可以获得的带宽在不停地变化。为了适应网络带宽的变化，提出了分层（化。为了适应网络带宽的变化，提出了分层（layered）、可分级（）、可分级（scalable）编码的思想。）编码的思想。3.1.2 数字视频编码数字视频编码技术的进展技术的进展压缩编码技术无损编码有损编码哈夫曼编码游程编码算术编码有损预测编码 变换编码 其他编码3.1.2 数字视频编码数字视频编码技术的进展技术的进展n无失真编码 无失真编码又称无损编码、信息保持编码、熵编码。无失真编码又称无损编码、信息保持编码、熵编码。 熵编码是纯粹基于信号
15、统计特性的一种编码方法，它熵编码是纯粹基于信号统计特性的一种编码方法，它利用信源概率分布的不均匀性，通过变长编码来减少信源数利用信源概率分布的不均匀性，通过变长编码来减少信源数据冗余，解码后还原的数据与压缩编码前的原始数据完全相据冗余，解码后还原的数据与压缩编码前的原始数据完全相同而不引入任何失真。同而不引入任何失真。 无失真编码的压缩比较低，可达到的最高压缩比受到信无失真编码的压缩比较低，可达到的最高压缩比受到信源熵的理论限制，一般为源熵的理论限制，一般为2 1到到5 1。 最常用的无失真编码方法有哈夫曼最常用的无失真编码方法有哈夫曼(Huffman)编码、算编码、算术编码和游程编码术编码和
16、游程编码(Run-Length Encoding，RLE)等。等。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n限失真编码 限失真编码也称有损编码、非信息保持编码、熵压缩编限失真编码也称有损编码、非信息保持编码、熵压缩编码。码。 限失真编码方法利用了人类视觉的感知特性，允许压缩限失真编码方法利用了人类视觉的感知特性，允许压缩过程中损失一部分信息，虽然在解码时不能完全恢复原始数过程中损失一部分信息，虽然在解码时不能完全恢复原始数据，但是如果把失真控制在视觉阈值以下或控制在可容忍的据，但是如果把失真控制在视觉阈值以下或控制在可容忍的限度内，则不影响人们对图像的理解，却换来了高压缩比。限
17、度内，则不影响人们对图像的理解，却换来了高压缩比。在限失真编码中，允许的失真愈大，则可达到的压缩比愈高在限失真编码中，允许的失真愈大，则可达到的压缩比愈高。 常见的限失真编码方法有：预测编码、变换编码、矢量常见的限失真编码方法有：预测编码、变换编码、矢量量化、基于模型的编码等。量化、基于模型的编码等。3.1.2 数字视频编码数字视频编码技术的进展技术的进展n3.1 数字视频编码概述数字视频编码概述n3.2 熵编码熵编码n3.3 预测编码预测编码n3.4 变换编码变换编码第第3章章 数字视频编码原理数字视频编码原理3.2 熵编码熵编码 熵编码的基本原理就是去除图像信源在熵编码的基本原理就是去除图
18、像信源在空间和时间上的相关性，去除图像信源像素空间和时间上的相关性，去除图像信源像素值的概率分布不均匀性，使编码码字的平均值的概率分布不均匀性，使编码码字的平均码长接近信源的熵而不产生失真。由于这种码长接近信源的熵而不产生失真。由于这种编码完全基于图像的统计特性，因此，有时编码完全基于图像的统计特性，因此，有时也称其为也称其为统计编码统计编码。n哈夫曼哈夫曼(Huffman)编码编码n算术算术编码编码n游程编码游程编码(Run-Length Encoding，RLE) 哈夫曼哈夫曼(Huffman)于于1952年提出一种编码年提出一种编码方法，完全依据方法，完全依据符号出现概率符号出现概率来构
19、造异字头来构造异字头（前缀）的平均长度最短的码字，有时称之（前缀）的平均长度最短的码字，有时称之为最佳编码。为最佳编码。 哈夫曼编码是一种可变长度编码（哈夫曼编码是一种可变长度编码（Variable Length Coding，VLC），各符号与），各符号与码字一一对应，是一种分组码。码字一一对应，是一种分组码。3.2.1 哈夫曼哈夫曼编码编码l Huffman编码过程（编码过程（1） 把信源符号按概率大小顺序排列，并设法按逆次序分配把信源符号按概率大小顺序排列，并设法按逆次序分配 码字的长度。在分配码字的长度时，首先将出现概率最码字的长度。在分配码字的长度时，首先将出现概率最 小的两个符号的
20、概率相加，合成一个概率；第二步把这小的两个符号的概率相加，合成一个概率；第二步把这 个合成概率看成是一个新组合符号的概率，重复上述操个合成概率看成是一个新组合符号的概率，重复上述操 作，直到最后只剩下两个符号的概率为止。作，直到最后只剩下两个符号的概率为止。3.2.1 哈夫曼哈夫曼编码编码 完成以上概率相加顺序排列后，再反过来逐步向前进行完成以上概率相加顺序排列后，再反过来逐步向前进行 编码，每一步有两个分支，各赋予一个二进制码，可以编码，每一步有两个分支，各赋予一个二进制码，可以 对概率大的编码赋予对概率大的编码赋予0，概率小的编码赋予，概率小的编码赋予1。反之，。反之， 也可以对概率大的编
21、码赋予也可以对概率大的编码赋予1，概率小的编码赋予，概率小的编码赋予0。l Huffman编码过程（编码过程（2）3.2.1 哈夫曼哈夫曼编码编码l Huffman编码举例编码举例编码编码过程过程cbafe7/227/225/225/224/224/222/222/2210f=01 e=11 a=10 b=001 c=0001 d=0000d1/221/223/223/226/226/2222/2222/2213/2213/229/229/223/223/2210101010aaaa bbb cc d eeeee fffffff输入输入S1S2S3S4S5S6输入概率输入概率0.40.30.1
22、0.10.060.04l Huffman编码举例编码举例输入输入S1S2S3S4S5S6输入概率输入概率0.40.30.10.10.060.04第一步第一步0.40.30.10.10.1l Huffman编码举例编码举例输入输入S1S2S3S4S5S6输入概率输入概率0.40.30.10.10.060.04第一步第一步0.40.30.10.10.1第二步第二步0.40.30.20.1l Huffman编码举例编码举例输入输入S1S2S3S4S5S6输入概率输入概率0.40.30.10.10.060.04第一步第一步0.40.30.10.10.1第二步第二步0.40.30.20.1第三步第三步0
23、.40.30.3l Huffman编码举例编码举例输入输入S1S2S3S4S5S6输入概率输入概率0.40.30.10.10.060.04第一步第一步0.40.30.10.10.1第二步第二步0.40.30.20.1第三步第三步0.40.30.3第四步第四步0.60.4l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.
24、10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101S1=1l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101S2=00l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.
25、3第四步0.60.40101010101S3=011l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101S4=0100l Huffman编码举例编码举例输入S1S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101S5=01010l Huffman编码举例编码举例输入S1
26、S2S3S4S5S6输入概率0.40.30.10.10.060.04第一步0.40.30.10.10.1第二步0.40.30.20.1第三步0.40.30.3第四步0.60.40101010101S6=01011l Huffman编码举例编码举例例：例：信源有四个符号：信源有四个符号： X a1 a2 a3 a4 1/2 1/4 1/8 1/8n信源熵：信源熵：nHuffman（二进制编码）（二进制编码） a1 a2 a3 a4 0 10 110 111 平均码长：平均码长：Iav = (1/2) 1+(1/4) 2+(1/8) 6 = 1.75 bit/字符字符 编码效率：编码效率： = 1
27、.75/1.75=100% 编码冗余：编码冗余：R = 0a1 1/2a2 1/4a3 1/8a4 1/800011/211/4 1010110111n4 个符号的等长码：个符号的等长码： B= log24 = 2bit a1 a2 a3 a4 00 01 10 11 L = 2 编码效率：编码效率： = H(X)/L = 1.75/2 = 87.5%nHuffman 编码举例：编码举例： 原信源输出序列：原信源输出序列：a1 a2 a1 a3 a2 a1 a1 a4 . 编码后的序列：编码后的序列： 0 10 0 110 10 0 0 111 .Huffman 码解码码解码nHuffman
28、码是非歧义的码是非歧义的，在解码过程中，对某个码字的，在解码过程中，对某个码字的解释是唯一的。解释是唯一的。n原信源输出序列：原信源输出序列：a1 a2 a1 a3 a2 a1 a1 a4 . ，编码后的序，编码后的序列：列： 0 10 0 110 10 0 0 111 .n当接收端收到码流当接收端收到码流 01001101000111 时，按照码表，以时，按照码表，以 0 开开头的码字只有头的码字只有 0，因此，解出第，因此，解出第 1 个符号为个符号为 a1；n去掉已解码的去掉已解码的 0 后，码流剩下后，码流剩下 1001101000111，以，以 1 开头，第开头，第2比比特是特是 0
29、，因此，码字是，因此，码字是 10，因此，解出第，因此，解出第 2 个符号为个符号为 a2；n.n顺着码树解码，树根顺着码树解码，树根树干树干树枝树枝树叶树叶00010 a110 a211110 a3111 a4码码树树结结构构00010 a110 a2110 a3111 a411n哈夫曼编码的特点哈夫曼编码的算法是确定的，但编出的码并非是哈夫曼编码的算法是确定的，但编出的码并非是唯一的。唯一的。由于哈夫曼编码的依据是信源符号的概率分布，由于哈夫曼编码的依据是信源符号的概率分布，故其编码效率取决于信源的统计特性。故其编码效率取决于信源的统计特性。哈夫曼码没有错误保护功能。哈夫曼码没有错误保护功
30、能。哈夫曼码是可变长度码，码字字长参差不齐，输哈夫曼码是可变长度码，码字字长参差不齐，输出码率是变化的。因此，对于恒定码率信道，需出码率是变化的。因此，对于恒定码率信道，需要增加输出缓存器来平滑。要增加输出缓存器来平滑。对信源进行哈夫曼编码后，形成了一个哈夫曼编对信源进行哈夫曼编码后，形成了一个哈夫曼编码表，解码时，必须参照这一哈夫编码表才能正码表，解码时，必须参照这一哈夫编码表才能正确解码。确解码。3.2.1 哈夫曼哈夫曼编码编码3.2.1 哈夫曼哈夫曼编码编码n从理论上分析，采用哈夫曼编码可以获得最从理论上分析，采用哈夫曼编码可以获得最佳信源字符编码效果佳信源字符编码效果; ;n实际应用中
31、，由于信源字符出现的概率并非实际应用中，由于信源字符出现的概率并非满足满足2 2的负幂次方，因此往往无法达到理论的负幂次方，因此往往无法达到理论上的编码效率和压缩比。上的编码效率和压缩比。3.2.2 算术编码算术编码n设字符序列设字符序列x，y对应的概率为对应的概率为1/3，2/3，Nx和和Ny分别表示字符分别表示字符x和和y的最佳码长，则根据信息论有：的最佳码长，则根据信息论有： 58. 1)31(log2xN588. 0)32(log2yN3.2.2 算术编码算术编码n字符字符x、y的最佳码长分别为的最佳码长分别为1.58bit和和0.588bit;n这表明，要获得最佳编码效果，需要采用小
32、数码字这表明，要获得最佳编码效果，需要采用小数码字长度长度,这是不可能实现的这是不可能实现的;n即采用哈夫曼方法对即采用哈夫曼方法对x，y的码字分别为的码字分别为0和和1，也，也就是两个符号信息的编码长度都为就是两个符号信息的编码长度都为1。对于出现概。对于出现概率大的字符率大的字符y并未能赋予较短的码字并未能赋予较短的码字;n实际编码效果往往不能达到理论效率实际编码效果往往不能达到理论效率;n为提高编码效率，为提高编码效率，Elias等人提出了算术编码算法等人提出了算术编码算法。3.2.2 算术编码算术编码 算术编码是一种非分组编码，它用一个算术编码是一种非分组编码，它用一个浮点数值表示浮点
33、数值表示整个信源符号序列整个信源符号序列。算术编码。算术编码将被编码的信源符号序列表示成实数半开区将被编码的信源符号序列表示成实数半开区间间0，1）中的一个数值间隔。这个间隔随）中的一个数值间隔。这个间隔随着信源符号序列中每一个信源符号的加入逐着信源符号序列中每一个信源符号的加入逐步减小，每次减小的程度取决于当前加入的步减小，每次减小的程度取决于当前加入的信源符号的先验概率。信源符号的先验概率。3.2.2 算术编码算术编码n符号序列符号序列 S3S3S2S4 为例为例S1S2S3S4S1S2S3S4S1S2S3S401/83/87/81.000.0010.0110.1111.00.0110.1
34、110.0111 0.10010.1101在算术编码中通常采用二进制分数表示在算术编码中通常采用二进制分数表示概率，概率，每个符号所对应的概率区间都是每个符号所对应的概率区间都是半开区间半开区间，即该区间包括左端点，而不，即该区间包括左端点，而不包括右端点，如包括右端点，如 S1对应对应 0, 0.001)，S2 对应对应 0.001, 0.01) 等。等。3.2.2 算术编码算术编码游程编码，也称游程编码，也称行程编码行程编码或或游程（行程）长度编码游程（行程）长度编码（Run Length Encoding，RLE）n游游程：具有相同灰度值的像素序列程：具有相同灰度值的像素序列。n游程长度
35、：灰度值相同的相邻像素的数目。游程长度：灰度值相同的相邻像素的数目。n游程编码游程编码思想：思想：去除像素冗余。去除像素冗余。 n用游程的灰度和游程的长度代替游程本身。用游程的灰度和游程的长度代替游程本身。例：设重复次数为例：设重复次数为 iC, iC, 重复像素值为重复像素值为 iPiP编码为：编码为：iPiC iPiC iPiCiPiC iPiC iPiC 编码前：编码前：aaaaaaaaaaaaaabbbbbbbbbbbbcccccccccccccccc 编码后：编码后：a a7 7b b6 6c c8 83.2.3 游程编码游程编码q由于一幅图像中有许多颜色相同的图块，用一整数对存储一
36、由于一幅图像中有许多颜色相同的图块，用一整数对存储一个像素的颜色值及相同颜色像素的数目（长度）。例如：个像素的颜色值及相同颜色像素的数目（长度）。例如： （G G ，L L） 长度长度颜色值颜色值编码时采用从左到右，从上到下的排列，编码时采用从左到右，从上到下的排列，每当遇到一串相同数据时就用该数据及每当遇到一串相同数据时就用该数据及重复次数代替原来的数据串。重复次数代替原来的数据串。0000000033333333332222222222266666661111111111111111111111115555555555558888888888888888885555555555555533
37、33222222222222222222(0,8) (3,10) (2,11) (6,7)(1,18) (1,6) (5,12) (8,18)(5,14) (3,4) (2,18)18*7的像素颜色仅用的像素颜色仅用11对数据对数据3.2.3 游程编码游程编码n3.1 数字视频编码概述数字视频编码概述n3.2 熵编码熵编码n3.3 预测编码预测编码n3.4 变换编码变换编码第第3章章 数字视频编码原理数字视频编码原理3.3 预测编码预测编码 预测编码的基本原理就是利用图像数据预测编码的基本原理就是利用图像数据的相关性，利用已传输的像素值对当前需要的相关性，利用已传输的像素值对当前需要传输的像素
38、值进行预测，然后对当前像素的传输的像素值进行预测，然后对当前像素的实际值与预测值的实际值与预测值的差值差值（即（即预测误差预测误差）进行）进行编码传输，而不是对当前像素值本身进行编编码传输，而不是对当前像素值本身进行编码传输，以去除图像数据中的空间相关冗余码传输，以去除图像数据中的空间相关冗余或时间相关冗余。或时间相关冗余。预测编码：根据某一预测编码：根据某一模型模型，利用信号以，利用信号以往的样本值对新样本值进行预测，对往的样本值对新样本值进行预测，对预预测误差测误差进行编码。进行编码。对于对于相关性较强相关性较强的信号，如果建立的信号，如果建立合适合适的模型的模型，预测误差预测误差的幅值将
39、远远小于原的幅值将远远小于原始信号，从而可以用较少的始信号，从而可以用较少的量化级量化级对其对其误差信号进行误差信号进行量化量化，得到较大的数据压，得到较大的数据压缩效果。缩效果。 3.3.1 帧内预测编码帧内预测编码问题：能否问题：能否精确精确地地预测预测数据源输出？数据源输出？ 答案答案 ： 否否 数据源是不确定的数据源是不确定的几乎没有一个实际的系统能找到可以精几乎没有一个实际的系统能找到可以精确预测输出的确预测输出的模型模型 能找到的能找到的最优预测模型最优预测模型是以某种是以某种最小误最小误差差意义下的预测模型。意义下的预测模型。 3.3.1 帧内预测编码帧内预测编码对于静止图像，由
40、于相邻像素具有很强的对于静止图像，由于相邻像素具有很强的相关性，这样当前像素的灰度（颜色）值相关性，这样当前像素的灰度（颜色）值可用前面已经出现的像素值进行预测，得可用前面已经出现的像素值进行预测，得到一个预测值，对实际值与预测值的差值到一个预测值，对实际值与预测值的差值进行编码，进行编码，3.3.1 帧内预测编码帧内预测编码3.3.1 帧内预测编码帧内预测编码n1. DPCM系统的基本原理系统的基本原理 DPCM(Differential Pulse Code Modulation，差，差分脉冲编码调制分脉冲编码调制)n2.预测模型预测模型 设设 时刻之前的样本值时刻之前的样本值 与预测值之
41、间的关系呈现某种函数形式与预测值之间的关系呈现某种函数形式线性预测编码器线性预测编码器非线性预测编码器非线性预测编码器Nt121,Nx xx11NNiiixa x3.3.1 帧内预测编码帧内预测编码 在图像数据压缩中，常用如下几种图像数据压缩中，常用如下几种线性线性预测预测方案：方案：前值预测前值预测，即，即一维预测一维预测，即采用同一扫描行中前面已知的，即采用同一扫描行中前面已知的若干个样值来预测。若干个样值来预测。二维预测二维预测，即不但用同一扫描行中的前面几，即不但用同一扫描行中的前面几个样值，而且还要用以前几行扫描行中样值个样值，而且还要用以前几行扫描行中样值来预测。来预测。 1NNx
42、x3.3.1 帧内预测编码帧内预测编码3.3.2 帧间预测编码帧间预测编码序列图像在时间上的冗余情况可分为如下几种：序列图像在时间上的冗余情况可分为如下几种：对于静止不动的场景对于静止不动的场景，当前帧和前一帧的图像内容，当前帧和前一帧的图像内容是完全相同的。是完全相同的。对于运动的物体对于运动的物体，只要知道其运动规律，就可以从，只要知道其运动规律，就可以从前一帧图像推算出它在当前帧中的位置。前一帧图像推算出它在当前帧中的位置。摄像机摄像机对着场景的横向移动、焦距变化等操作会引对着场景的横向移动、焦距变化等操作会引起整个图像的平移、放大或缩小。对于这种情况，起整个图像的平移、放大或缩小。对于
43、这种情况，只要只要摄像机的运动摄像机的运动规律和镜头改变的参数已知，图规律和镜头改变的参数已知，图像随时间所产生的变化也是可以推算出来的。像随时间所产生的变化也是可以推算出来的。 帧间预测的依据：帧间预测的依据：u图像序列在时间轴方向的相关性；图像序列在时间轴方向的相关性；u物体的背景或物体的一部分相对不变或变化缓慢；物体的背景或物体的一部分相对不变或变化缓慢；u人类的视觉特性：人类的视觉特性：u 人类的视觉对静止图像有较高的空间分辨率，但是可以减人类的视觉对静止图像有较高的空间分辨率，但是可以减少传输帧数来降低时间轴分辨率，未传输的帧可以通过计算少传输帧数来降低时间轴分辨率，未传输的帧可以通
44、过计算补出来；补出来；u 对运动图像分辨率低，可以对这一部分图像降低清晰度。对运动图像分辨率低，可以对这一部分图像降低清晰度。3.3.2 帧间预测编码帧间预测编码为什么进行运动补偿预测？为什么进行运动补偿预测？u 对于活动图像编码，帧间预测是主要的手段；对于活动图像编码，帧间预测是主要的手段；u 基本帧间预测方法对于存在大量静止区域或缓变区域基本帧间预测方法对于存在大量静止区域或缓变区域的图像，预测效果不错；的图像，预测效果不错；u 对于活动的物体，预测效果不理想；对于活动的物体，预测效果不理想；u 对于一些发生运动的图像进行预测编码，采用运动补对于一些发生运动的图像进行预测编码，采用运动补偿
45、预测的方法。偿预测的方法。3.3.2 帧间预测编码帧间预测编码n运动补偿预测运动补偿预测 3.3.2 帧间预测编码帧间预测编码运动补偿预测的基本原理：运动补偿预测的基本原理：u自然场景的视频图像只有其中的部分区域在运动，同一场景自然场景的视频图像只有其中的部分区域在运动，同一场景相邻的两帧图像之间差异也不会太大，编码器无需将视频序相邻的两帧图像之间差异也不会太大，编码器无需将视频序列中每帧图像的所有信息都进行编码后传输给解码器端，只列中每帧图像的所有信息都进行编码后传输给解码器端，只要将当前帧中目标的运动信息告知解码器端，解码器可根据要将当前帧中目标的运动信息告知解码器端，解码器可根据运动信息
46、和前一帧图像内容来更新当前帧图像，获得当前帧运动信息和前一帧图像内容来更新当前帧图像，获得当前帧的真实数据的真实数据。（可有效降低编码所需数据量）（可有效降低编码所需数据量）u从序列图像中提取有关物体运动的信息的过程从序列图像中提取有关物体运动的信息的过程运动运动估计估计（如何快速、有效的获得足够精度的运动矢量）；（如何快速、有效的获得足够精度的运动矢量）；u把前一帧相应的运动部分信息根据运动矢量补偿过来的把前一帧相应的运动部分信息根据运动矢量补偿过来的过程过程运动补偿运动补偿（Motion Compensation, MC）。）。3.3.2 帧间预测编码帧间预测编码u 运动估计运动估计将当前
47、帧活动图像分为若干局部结构将当前帧活动图像分为若干局部结构（像素块），检测出每个局部结构在前一帧图像中（像素块），检测出每个局部结构在前一帧图像中的位置，从而可以估计出这个结构的位移。即对运的位置，从而可以估计出这个结构的位移。即对运动物体从前一帧到当前帧位移的方向和像素数作出动物体从前一帧到当前帧位移的方向和像素数作出估计，也就是求出估计，也就是求出运动矢量运动矢量。u 运动补偿运动补偿根据求出的运动矢量，找到当前帧的根据求出的运动矢量，找到当前帧的像素（或像素块）是从前一帧的哪个位置移动过来像素（或像素块）是从前一帧的哪个位置移动过来的，从而得到当前帧像素（或像素块）的预测值。的，从而得到
48、当前帧像素（或像素块）的预测值。3.3.2 帧间预测编码帧间预测编码运动估计与运动补偿预测编码步骤：运动估计与运动补偿预测编码步骤：u 分割图像为若干局部结构分割图像为若干局部结构划分静止和运动区域；划分静止和运动区域；u 最简单方法：最简单方法：分块分块u 运动估计运动估计对每一个运动物体进行位移估计；对每一个运动物体进行位移估计；u 运动补偿运动补偿由位移估计建立同一运动物体在不同帧由位移估计建立同一运动物体在不同帧空间位置对应关系，建立预测关系；空间位置对应关系，建立预测关系；u 对于运动补偿后的位移帧差信号、运动矢量进行编码对于运动补偿后的位移帧差信号、运动矢量进行编码传输。传输。3.
49、3.2 帧间预测编码帧间预测编码n运动估计方法运动估计方法：像素递归法像素递归法：根据像素间亮度的变化和梯度，通过递：根据像素间亮度的变化和梯度，通过递归修正的方法来估计每个像素的运动矢量。接收端在归修正的方法来估计每个像素的运动矢量。接收端在与发送端同样的条件下，用与发送端相同的方法进行与发送端同样的条件下，用与发送端相同的方法进行运动估值。像素递归法估计精度高，可以满足运动补运动估值。像素递归法估计精度高，可以满足运动补偿帧内插的要求。但接收端较复杂，不利于一发多收偿帧内插的要求。但接收端较复杂，不利于一发多收（如数字电视广播等）的应用。（如数字电视广播等）的应用。块匹配算法块匹配算法：块
50、匹配算法对当前帧图像的每一子块，：块匹配算法对当前帧图像的每一子块，在前一帧（第在前一帧（第K-1K-1帧）的一定范围内搜索最优匹配，帧）的一定范围内搜索最优匹配，并认为本图像子块就是从前一帧最优匹配块位置处平并认为本图像子块就是从前一帧最优匹配块位置处平移过来的。块匹配算法虽然作了一定假设（移过来的。块匹配算法虽然作了一定假设（假设位于假设位于同一图像子块内的所有像素都作相同的运动，且只作同一图像子块内的所有像素都作相同的运动，且只作平移运动平移运动），但满足了计算复杂度和实时实现的要求），但满足了计算复杂度和实时实现的要求。3.3.2 帧间预测编码帧间预测编码块匹配算法块匹配算法(BMA)
