1、第第1212章章 视频压缩技术视频压缩技术 第第12章章 视频压缩技术视频压缩技术 12.1 视频压缩的基本原理视频压缩的基本原理 12.2 静止图像压缩静止图像压缩 12.3 活动图像编码活动图像编码 第第1212章章 视频压缩技术视频压缩技术 12.1 视频压缩的基本原理视频压缩的基本原理 12.1.1 视频信号的数字化和压缩 模拟电视信号(包括视频和音频)通过取样、量化后编码为二进制数字信号的过程称为模数变换(AD变换)或脉冲编码调制PCM(Pulse Coding Modulation)，所得到的信号也称为PCM信号，其过程可用图121(a)表示。第第1212章章 视频压缩技术视频压缩
2、技术 若取样频率等于fs、用n比特量化，则PCM信号的码率为nfs(bs)。PCM编码既可以对彩色全电视信号直接进行，也可以对亮度信号和两个色差信号分别进行，前者称为全电视信号编码，后者称为分量编码。PCM信号经解码和插入滤波恢复为模拟信号，如图121(b)所示，解码是编码的逆过程，插入滤波是把解码后的信号插补为平滑、连续的模拟信号。这两个步骤合称为数模变换（DA变换）或PCM解码。第第1212章章 视频压缩技术视频压缩技术 图121 电视信号的数字化和复原 (a)A/D变换；(b)D/A变换(a)取样量化编码取样脉冲PCM信号模拟电视信号(b)解码插入滤波模拟电视信号PCM信号第第1212章
3、章 视频压缩技术视频压缩技术 1.奈奎斯特取样定理 理想取样时，只要取样频率大于或等于模拟信号中最高频率的两倍，就可以不失真地恢复模拟信号，这称为奈奎斯特取样定理。模拟信号中最高频率的两倍称为折叠频率。2.亚奈奎斯特取样 按取样定理，若取样频率fs小于模拟信号最高频率fmax的2倍会产生混叠失真，但若巧妙地选择取样频率，令取样频谱中的混叠分量落在色度分量和亮度分量之间，就可用梳状滤波器去除混叠成分。第第1212章章 视频压缩技术视频压缩技术 3.均匀量化和非均匀量化 在输入信号的动态范围内，量化间隔幅度处处都相等的量化称均匀量化或线性量化。对于量化间距固定的均匀量化，信噪比随输入信号的动态幅度
4、的增加而增加。在强信号时固然可把噪波淹没掉；在弱信号时，噪波的干扰就十分显著。为改善弱信号时的信噪比，量化间距应随输入信号幅度而变化，大信号时进行粗量化，小信号时进行细量化，也就是采用非均匀量化(或称非线性量化)。第第1212章章 视频压缩技术视频压缩技术 非均匀量化有两种方法。一是把非线性处理放在编码器前和解码器后的模拟部分，编解码仍采用均匀量化，在均匀量化编码器之前，对输入信号进行压缩，这样等效于对大信号进行粗量化，小信号进行细量化。在均匀量化解码器之后，再进行扩张，以恢复原信号。另一种方法是直接采用非均匀量化器，输入信号大时进行粗量化(量化间距大)，输入信号小时细量化(量化间距小)。也有
5、采用若干个量化间距不等的均匀量化器，当输入信号超过某一电平时进入粗间距均匀量化器，低于某一电平时进入细间距量化器，称为准瞬时压扩方式。第第1212章章 视频压缩技术视频压缩技术 通常用Q表示量化，用IQ或Q-1表示反量化。量化过程相当于由输入值找到它所在的区间号，反量化过程相当于由量化区间号得到对应的量化电平值。量化区间总数远远少于原量值的总数，所以量化能实现数据压缩。很明显，反量化后并不能保证得到原来的值，因此量化过程是一个不可逆过程，用量化的方法来进行压缩编码是一种非信息保持型编码。通常这两个过程均可用查表方法实现，量化过程在编码端完成，而反量化过程则在解码端完成。第第1212章章 视频压
6、缩技术视频压缩技术 12.1.2 ITURBT.601分量数字系统 数字视频信号是将模拟视频信号经过取样、量化和编码形成的，模拟电视有PAL、NTSC等制式，必然会形成不同制式的数字视频信号，不便于国际数字视频信号的互通。1982年10月，国际无线电咨询委员会CCIR(Consultative Committee for International Radio)通过了第一个关于演播室彩色电视信号数字编码的建议，1993年变更为国际电联无线电通信部门ITUR(International Telecommunications UnionRadio communications Sector)BT6
7、01分量数字系统建议。第第1212章章 视频压缩技术视频压缩技术 BT.601建议采用了对亮度信号和两个色差信号分别编码的分量编码方式，对不同制式的信号采用相同的取样频率13.5MHz，与任何制式的彩色副载波频率无关。对亮度信号Y的取样频率为13.5MHz。由于色度信号的带宽远比亮度信号的带宽窄，对色度信号U和V的取样频率为6.75MHz。每个数字有效行分别有720个亮度取样点和3602个色差信号取样点。对每个分量的取样点都是均匀量化，对每个取样进行8比特精度的PCM编码。这几个参数对525行、60场秒和625行50场秒的制式都是相同的。第第1212章章 视频压缩技术视频压缩技术 有效取样点是
8、指只有扫描正程的样点有效，逆程的样点不在PCM编码的范围内。因为在数字化的视频信号中，不再需要行、场同步信号和消隐信号，只要有行、场(帧)的起始位置即可。例如，对于PAL制，传输所有的样点数据，大约需要200Mbs的传输速率，传输有效样点只需要160Mbs左右的速率。色度信号的取样率是亮度信号的取样率的一半，常称作4 2 2格式，可以理解为每一行里的Y、U、V的样点数之比为4 2 2。第第1212章章 视频压缩技术视频压缩技术 12.1.3 熵编码 熵编码(Entropy Coding)是一类无损编码，因编码后的平均码长接近信源的熵而得名。熵编码多用可变字长编码(VLC，Variable Le
9、ngth Coding)实现。其基本原理是对信源中出现概率大的符号赋以短码，对出现概率小的符号赋以长码，从而在统计上获得较短的平均码长。所编的码应是即时可译码，某一个码不会是另一个码的前缀，各个码之间无需附加信息便可自然分开。第第1212章章 视频压缩技术视频压缩技术 1.Huffman编码 霍夫曼（Huffman）编码是一种可变长编码,编码方法如图122所示。其编码过程如下：(1)将输入信号符号以出现概率由大至小为序排成一列。(2)将两处最小概率的符号相加合成为一个新概率，再按出现概率大小排序。(3)重复步骤(2)，直至最终只剩两个概率。(4)编码从最后一步出发逐步向前进行，概率大的符号赋予
10、“0”码，另一个概率赋予“1”码，直至到达最初的概率排列为止。第第1212章章 视频压缩技术视频压缩技术 图122 Huffman编码 输入电平L1L2L3L4L5L6概率0.40.30.10.10.060.040.40.30.10.10.1“0”“1”“0”“1”0.40.30.20.1“0”“1”0.40.30.3“0”“1”0.60.4“0”“1”编码10001101000101001011第第1212章章 视频压缩技术视频压缩技术 2.算术编码 Huffman编码的每个代码都要使用一个整数位，如果一个符号只需要用2.5位就能表示，但在Huffman编码中却必须用3个符号表示，因此它的编
11、码效率就较低。与其相比，算术编码并不是为每个符号产生一个单独的代码，而是使整条信息共用一个代码，增加到信息上的每个新符号都递增地修改输出代码。第第1212章章 视频压缩技术视频压缩技术 假设信源由4个符号s1、s2、s3和s4组成，其概率模型如表121所示。把各符号出现的概率表示在如图123所示的单位概率区间之中，区间的宽度代表概率值的大小，各符号所对应的子区间的边界值，实际上是从左到右各符号的累积概率。在算术编码中，通常采用二进制的小数来表示概率，每个符号所对应的概率区间都是半开区间，如s1对应0，0.001)，s2对应0.001，0.011)。算术编码所产生的码字实际上是一个二进制小数值的
12、指针，该指针指向所编的符号对应的概率区间。第第1212章章 视频压缩技术视频压缩技术 表121 信源概率模型和算术编码过程 第第1212章章 视频压缩技术视频压缩技术 图123 算术编码过程示意图 s1s2s3s4s1s2s3s401/83/87/810.0010.0110.1110.01110.10010.1101s1s2s4s3第第1212章章 视频压缩技术视频压缩技术 若将符号序列s3s3s2s4进行算术编码，序列的第一个符号为s3，我们用指向图123中第3个子区间的指针来代表这个符号。由此得到码字0.011。后续的编码将在前面编码指向的子区间内进行。将0.011，0.111)区间再按符
13、号的概率值划分成4份，对第二个符号s3，指针指向0.1001,码字串变为0.1001。然后s3所对应的子区间又被划分为4份，开始对第3个符号进行编码 第第1212章章 视频压缩技术视频压缩技术 算术编码的基本法则如下：(1)初始状态：编码点(指针所指处)C0=0，区间宽度A0=1。(2)新编码点：Ci=Ci-1+Ai-1Pi式中：Ci-1是原编码点；Ai-1是原区间宽度；Pi为所编符号对应的累积概率。新区间宽度 Ai=Ai-1pi式中，pi为所编符号对应的概率。第第1212章章 视频压缩技术视频压缩技术 根据上述法则，对序列s3s3s2s4进行算术编码的过程如下：第一个符号s3：C1=C0+A
14、0P1=0+10.011=0.011 A1=A0p1=10.1=0.1 0.011,0.111)第二个符号s3：C2=C1+A1P2=0.011+0.10.011=0.1001 A2=A1p2=0.10.1=0.01 0.1001,0.1101)第第1212章章 视频压缩技术视频压缩技术 第三个符号s2：C3=C2+A2P3=0.1001+0.010.001 =0.10011 A3=A2p3=0.010.01=0.0001 0.10011,0.10101)第四个符号s4：C4=C3+A3P4=0.10011+0.00010.111 =0.1010011 A4=A3p4=0.00010.001=
15、0.0000001 0.1010011,0.10101)第第1212章章 视频压缩技术视频压缩技术 3.游程编码 游程编码RLC(Run Length Coding)是一种十分简单的压缩方法，它将数据流中连续出现的字符用单一的记号来表示。例如，字符串 5310000000000110000000012000000000000 可以压缩为5310101100812012，其中，“”后面2个数字是“”前面数字的连续个数。游程编码的压缩率不高，但编码、解码的速度快，仍然得到广泛的应用，特别是在变换编码后再进行游程编码，有很好的效果。第第1212章章 视频压缩技术视频压缩技术 12.1.4 预测编码和
16、变换编码 1.DPCM原理 基于图像的统计特性进行数据压缩的基本方法就是预测编码。它是利用图像信号的空间或时间相关性，用已传输的像素对当前的像素进行预测，然后对预测值与真实值的差预测误差，进行编码处理和传输。目前用得较多的是线性预测方法，全称为差值脉冲编码调制DPCM(Differential Pulse Code Modulation)。第第1212章章 视频压缩技术视频压缩技术 利用帧内相关性(像素间、行间的相关)的DPCM称帧内预测编码。如果对亮度信号和两个色差信号分别进行DPCM编码，对亮度信号采用较高的取样率和较多位数编码，对色差信号用较低的取样率和较少位数编码，构成时分复合信号后再
17、进行DPCM编码，这样做可使总码率更低。第第1212章章 视频压缩技术视频压缩技术 图124 DPCM原理(a)DPCM编码器；(b)DPCM解码器量化器e(m,n)f(m,n)反量化器预测器g(m,n)E(m,n)E(m,n)反量化器预测器g(m,n)f(m,n)(a)(b)第第1212章章 视频压缩技术视频压缩技术 利用帧间相关性(邻近帧的时间相关性)的DPCM被称为帧间预测编码，因帧间相关性大于帧内相关性，其编码效率更高；若把这两种DPCM组合起来，再配上变字长编码技术，能取得较好的压缩效果。DPCM是图像编码技术中研究得最早、且应用最广的一种方法，它的一个重要的特点是算法简单，易于硬件
18、实现。图124（a）是它的示意图，编码单元主要包括线性预测器和量化器两部分。第第1212章章 视频压缩技术视频压缩技术 编码器的输出不是图像像素的样值f(m，n)，而是该样值与预测值g(m，n)之间的差值，即预测误差e(m，n)的量化值E(m，n)。根据图像信号统计特性的分析，给出一组恰当的预测系数，使预测误差主要分布在“0”附近，经非均匀量化，采用较少的量化分层，图像数据得到了压缩。而量化噪声又不易被人眼所觉察，图像的主观质量并不明显下降。图124（b）是DPCM解码器，其原理与编码器刚好相反。第第1212章章 视频压缩技术视频压缩技术 DPCM编码性能主要取决于预测器的设计。预测器设计要确
19、定预测器的阶数N以及各预测系数。图124是一个四阶预测器的示意图。图125(a)表示预测器所用的输入像素和被预测像素之间的位置关系，图125(b)表示预测器的结构。第第1212章章 视频压缩技术视频压缩技术 图125 四阶预测器(a)输入像素和预测像素；(b)预测器构成X1X2X3X4X0预测值X1X0X2X3X4(a)(b)Xa1Xa2Xa3Xa4第第1212章章 视频压缩技术视频压缩技术 2.变换编码原理 图像变换编码是将空间域里描述的图像，经过某种变换(如傅里叶变换、离散余弦变换和沃尔什变换等)在变换域中进行描述，将图像能量在空间域的分散分布变为在变换域的相对集中分布，便于用“Z”(Zi
20、g Zag)字形扫描、自适应量化、变长编码等进一步处理，完成对图像信息的有效压缩。先从一个实例来看，一个域的数据变换到另一个域后，其分布是如何改变的。第第1212章章 视频压缩技术视频压缩技术 以12像素构成的子图像，即相邻两个像素组成的子图像为例，每个像素3比特编码，取07共8个灰度级，两个像素有64种可能的灰度组合，由图126（a）中的64个坐标点表示。一般图像相邻像素之间存在很强的相关性，绝大多数的子图像中相邻两像素灰度级相等或很接近，也就是说在x1=x2直线附近出现的概率大，如图126（a）中的阴影区所示。第第1212章章 视频压缩技术视频压缩技术 现在将坐标系逆时针旋转45，如图12
21、6(b)所示。在新的坐标系y1、y2中，概率大的子图像区位于y1轴附近。表明变量y1、y2之间的联系比变量x1、x2之间的联系在统计上更加独立，方差也重新分布。在原来坐标系中子图像的两个像素具有较大的相关性，能量的分布比较分散，两者具有大致相同的方差，而在变换后的坐标系中，子图像的两个像素之间的相关性大大减弱，能量分布向y1轴集中，y1的方差也远大于y2。这种变换后坐标轴上方差不均匀分布正是正交变换编码能够实现图像数据压缩的理论根据。第第1212章章 视频压缩技术视频压缩技术 若按照人的视觉特性，只保留方差较大的那些变换系数分量，就可以获得更大的数据压缩比，这就是视觉心理编码的方法。把一个nn
22、像素的子图像看成为n2维坐标系中的一个坐标点，在n2维坐标系中每一个坐标点对应于n2个像素。这个坐标点各维的数值是其对应的n2个像素的灰度组合。图像在n2维变换域中，相关性大大下降。因此，用变换后的系数进行编码，比直接用图像数据编码可获得更大的数据压缩。第第1212章章 视频压缩技术视频压缩技术 图126 正交变换的物理意义(a)子图像在阴影区的概率较大；(b)旋转变换后765432101 2 3 4 5 6 7x2x1765432101 2 3 4 5 6 7x2x1y2y1(a)(b)第第1212章章 视频压缩技术视频压缩技术 正交变换将被处理数据按照某种变换规则映射到另一个域中去处理，图
23、像编码采用二维正交变换的方式。若将整个图像作为一个二维矩阵，正交变换的计算量太大。所以将一幅图像分成一个个小图像块，通常是88或1616小方块，每个图像块可以看成为一个二维数据矩阵。正交变换以这些小图像块为单位进行，变换编码把统计上密切相关的像素构成的矩阵通过线性正交变换，变成统计上较为相互独立、甚至完全独立的变换系数所构成的矩阵。第第1212章章 视频压缩技术视频压缩技术 信息论的研究表明，变换前后图像的信息量并无损失，可以通过反变换得到原来的图像值。统计分析表明，正交变换后，数据的分布向新坐标系中的少数坐标集中，集中于少数的直流或低频分量的坐标点。正交变换并不压缩数据量，但它去除了大部分相
24、关性，数据分布相对集中，可以依据人的视觉特性，对变换系数进行量化，允许引入一定量的误差，只要它们在重建图像中造成的图像失真不明显，或者能达到所要求的观赏质量就行。量化可以增加许多不用编码的0系数，然后再对量化后的系数施行变长编码。第第1212章章 视频压缩技术视频压缩技术 3.离散余弦变换(DCT)在常用的正交变换中，离散余弦变换DCT(Discrete Cosine Transform)的性能接近最佳，是一种准最佳变换。DCT变换矩阵与图像内容无关，由于它构造成对称的数据序列，避免了子图像轮廓处的跳跃和不连续现象。DCT变换也有快速算法(FDCT)，在图像编码的应用中，大都采用二维DCT变换
25、。第第1212章章 视频压缩技术视频压缩技术 对于一般图像，在二维DCT的变换域中，幅值较大的系数集中在低频域，图127是一幅图像上的两个88像素矩阵及其二维DCT系数矩阵。图127(a)是背景区域的一小块图像，它的系数矩阵左上角的50为DCT系数的直流分量，它标志着该像素块的亮度平均值，其余系数皆为零，说明在变换域中系数的分布是相当集中的。图127(b)为细节较多的区域里的一小块图像，其系数的分布集中的程度要差一些。第第1212章章 视频压缩技术视频压缩技术 图127 图像块的DCT变换(a)背景部分图像块的DCT；(b)细节部分图像块的DCT像素值117120109777364546013
26、912310274756064871091009385706897103971171177874941037916414988879991746814794901028472821029592116119114122137150111112140150157163161157像素值5251515151515151505151515051525150505050515252525050514950525151505150504950495050515150494950505050515048505150505050495050504950DCT变换系数(a)DCT变换系数1027156 64 2
27、 1 111 582 500604 32 31000 222 3010000 1 20000103000 3 100 310021000 110000000000000000000000000000000000000000000000000000000000000000(b)第第1212章章 视频压缩技术视频压缩技术 图128 Z字形扫描 第第1212章章 视频压缩技术视频压缩技术 对自然景物图像的统计表明，DCT系数矩阵的能量集中在反映水平和垂直低频分量的左上角。量化以后，DCT系数矩阵变得稀疏，位于矩阵右下角的高频分量系数大部分被量化为零。游程编码的思想是，用适当的扫描方式将已量化的二维D
28、CT系数矩阵变换为一维序列，所用的扫描方式应使序列中连零的数目尽量多，或者说使连零的游程尽量长，对游程的长度进行游程编码RLC(Run Length Coding)以替代逐个地传送这些零值，就能进一步实现数据压缩。常用的Z(Zig Zag)字形扫描如图128所示。第第1212章章 视频压缩技术视频压缩技术 游程编码的方法是将扫描得到的一维序列转化为一个由二元数组(run，1evel)组成的数组序列。其中,run表示连零的长度，level表示这串连零之后出现的一个非零值。当剩下的所有系数都为零时，用一个符号EOB(End of Block)来代表。第第1212章章 视频压缩技术视频压缩技术 4.
29、混合编码 混合编码是近年来广泛采用的方法，这种方法充分利用各种单一压缩方法的长处，以期在压缩比和效率之间取得最佳的平衡。如广泛流行的JPEG和MPEG压缩方法都是典型的混合编码方案。第第1212章章 视频压缩技术视频压缩技术 12.2 静止图像压缩静止图像压缩 静止图像是指内容不变的图像。它可能是不活动场景图像或活动场景图像某一瞬时的“冻结”图像。静止图像编码是指对单幅图像的编码。静止图像用于传送文件、模型、图片和现场的实况监视图像。实况监视每隔一定时间间隔更换一幅新的图像，可以不连续地看到现场的情况，是一种准实时的监视。第第1212章章 视频压缩技术视频压缩技术 静止图像编码有以下要求：(1
30、)清晰度：静止图像中的细节容易被观察到，要求有更高的清晰度。(2)逐渐浮现的显示方式：在窄带传输时为了减少等待时间，要求编码能提供逐渐浮现的显示方式，即先传模糊的整幅图像，再逐渐变清晰。(3)抗干扰：一幅图像的传输时间较长，各种干扰噪声显示时间较长，影响观看，要求编码与调制方式都有较强的抗干扰能力。第第1212章章 视频压缩技术视频压缩技术 图129是静止图像编码传输系统示意图。摄像机摄取的全电视信号，经数据采集卡捕获一帧图像并数字化后，送至帧存储器；也可用数字摄像机直接得到数字图像。编码器对帧存储器中存放的数字图像进行压缩编码，因时间充裕可采用较复杂的算法提高压缩比，保持较高的清晰度。经调制
31、后送到信道中传输。接收的过程则相反，信号经解调、解码后送帧存储器，然后以一定的方式读出，经DA变换后在显示屏上显示，或被拷贝下来。第第1212章章 视频压缩技术视频压缩技术 图129 静止图像数字传输系统 摄像A/D帧存储器编码调制解调解码帧存储器D/A显示信道第第1212章章 视频压缩技术视频压缩技术 12.2.1 JPEG标准 JPEG是国际标准化组织ISO（International Organization for Standardization)国际电工技术委员会IEC和ITUT共同组成的联合图像专家小组(Joint Photographic Experts Group)的缩写。19
32、91年3月JPEG建议（ISOIEC10918号标准）“多灰度静止图像的数字压缩编码(通常简称为JPEG标准)”正式通过。这是一个适用于彩色和单色多灰度或连续色调静止数字图像的压缩标准，包括无损压缩和基于离散余弦变换和霍夫曼编码的有损压缩两个部分。JPEG基本算法操作可分成六个步骤，如图1210所示。第第1212章章 视频压缩技术视频压缩技术 图1210 JPEG算法步骤 彩色坐标转换DCT量化DPCM游程编码RGBYUV熵编码第第1212章章 视频压缩技术视频压缩技术 1.彩色坐标转换 彩色坐标转换是要去除数据冗余量，不属于JPEG算法，JPEG是与彩色坐标无关的。压缩可采用不同坐标(如RG
33、B、YUV、YIQ等)的图像数据。第第1212章章 视频压缩技术视频压缩技术 2.离散余弦变换 JPEG采用88子块的二维离散余弦变换算法。在编码器的输入端，把原始图像(U、V的像素是Y的一半)顺序地分割成一系列88的子块。在88图像块中，像素值变化缓慢，具有较低的空间频率。进行二维88离散余弦变换可以将图像块的能量集中在极少数系数上，DCT的(0，0)元素是块的平均值，其他元素表明在每个空间频率下的谱能为多少。一般地，离原点(0，0)越远，元素衰减得越快。第第1212章章 视频压缩技术视频压缩技术 3.量化 为了达到压缩数据的目的，对DCT系数需作量化处理。量化的作用是在保持一定质量的前提下
34、，丢弃图像中对视觉效果影响不大的信息。量化是多对一映射，是造成DCT编码信息损失的根源。JPEG标准中采用线性均匀量化器，量化过程为对64个DCT系数除以量化步长并四舍五入取整，量化步长由量化表决定。第第1212章章 视频压缩技术视频压缩技术 量化表元素因DCT系数位置和彩色分量的不同而取不同值。量化表为88矩阵，与DCT变换系数一一对应。量化表一般由用户规定(JPGE标准中给出了参考值)，可根据人类视觉系统和压缩图像类型的特点进行优化，并作为编码器的一个输入。量化表中元素为1255之间的任意整数，其值规定了它所对应DCT系数的量化步长。DCT变换系数除以量化表中对应位置的量化步长并舍去小数部
35、分后，多数变为零，从而达到了压缩的目的。表122和表123分别给出了JPEG标准所推荐的亮度量化表和色度量化表。第第1212章章 视频压缩技术视频压缩技术 表122 JPEG亮度量化步长 第第1212章章 视频压缩技术视频压缩技术 表123 JPEG色度量化步长 第第1212章章 视频压缩技术视频压缩技术 4.差分编码 64个变换数经量化后，DCT的(0，0)元素是直流分量(DC系数)，即空间域中64个图像采样值的均值，相邻88子块之间的DC系数一般有很强的相关性，变化应该较缓慢。JPEG标准对DC系数采用DPCM编码(差分编码)方法，即对相邻像素块之间的DC系数的差值进行编码能将它们中的大多
36、数数值减小。第第1212章章 视频压缩技术视频压缩技术 5.游程编码 其余63个交流分量(AC系数)采用游程编码。如果从左到右、从上到下地扫描块，零元素不集中，因此采用从左上角开始沿对角线方向Z字形扫描。量化后的AC系数通常会有许多零值。6.熵编码 为了进一步压缩数据，对DC码和AC游程编码的码字再作具有统计特性的熵编码。JPEG标准建议采用霍夫曼编码和自适应二进制算术编码。第第1212章章 视频压缩技术视频压缩技术 12.2.2 JPEG2000标准 JPEG2000是JPEG工作组制定的最新的静止图像压缩编码的国际标准，标准号为ISOIEC15444(ITUTT.800)，于2000年年底
37、陆续公布。JPEG2000主要由六个部分组成：第一部分为编码的核心部分，提供优秀的压缩性能和压缩灵活性，提供随机访问码流的机制。第第1212章章 视频压缩技术视频压缩技术 第二部分为编码扩展。第三部分为MotionJPEG2000(MJP2)。第四部分为一致性测试（测试用不同方法实现时标准的一致性）。第五部分为参考软件。第六部分为复合图像文件格式。第第1212章章 视频压缩技术视频压缩技术 1.JPEG2000采用了小波变换(DWT)JPEG基本算法中的基于子块的DCT变换被离散小波变换DWT(Discrete Wavelet Transform)所取代。DWT自身具有多分辨率图像表示性能，它
38、可以在大范围去除图像的相关性，将图像能量分布更好地集中，使压缩效率得到提高。第第1212章章 视频压缩技术视频压缩技术 一个图像可以被分成若干大小相等的片(tile)，片的具体尺寸可以由用户根据应用需要来决定，片包括所有的图像分量。假设图像有3个分量(YUV)且图像被分成4个片，实际上指的是对应的4个Y片，4个U片和4个V片，即每个片由3个分量片组成。各个分量片独立编解码，所以可以从码流中单独提取某个或某些片，解码后重建图像。这种片划分和片独立编码的机制有利于从码流中提取和解码某个图像区域。第第1212章章 视频压缩技术视频压缩技术 对分量片做不同级别的小波分解(小波变换)，小波变换的作用是对
39、图像进行多分辨率分解，即把原始图像分解成不同空间、不同频率的子图像。这些子图像实际上是由小波变换后产生的系数构成，即系数图像。对一个原始图像或分量片进行3级小波分解的例子如图12-11所示,每一级分解都把图像分解成4个不同空间、不同频带的子图像(也称子带图像或子带分量)。这4个子带分量是：低频分量LL(包含图像的低频信息，即图像的主要特征，低频分量可再次分解)；水平分量LH(包含较多的水平边缘信息)，垂直分量HL(包含较多的垂直边缘信息)和对角分量HH(包含水平和垂直边缘信息)。第第1212章章 视频压缩技术视频压缩技术 从图1211可以看出，分解级数越多，图像分辨率等级越多，每一级分解图像的
40、分辨率降为前一级的一半。在解码端，如果只想得到低于原始图像分辨率的图像，就只需对部分子带图像(子带分量)进行解码。第第1212章章 视频压缩技术视频压缩技术 小波变换本身并不具有数据压缩能力，变换前，原始图像的数据量(像素值的个数)与变换后各系数的数据量（系数个数）相等，变换的意义在于使图像的能量分布（频域内的系数分布）发生了改变，图像的主要能量集中在低频区(LL区)，而水平、垂直、对角线部分的高频能量较少。通过量化，把大量幅值较小系数抑制为零，从而压缩数据量。要进一步大幅度压缩数据量，还需进行合适的编码处理(如算术编码)，用更少的比特表示那些量化后不为零的小波系数。第第1212章章 视频压缩
41、技术视频压缩技术 图1211 DWT对静止图像进行三级分解(a)一级分解示意图；(b)二级分解示意图；(c)三级分解示意图LLHLLHHHLLHLLHHHHLLHHHLLHLLHHHHLLHHHHLLHHH(a)(b)(c)第第1212章章 视频压缩技术视频压缩技术 2.JPEG2000同时支持有损和无损压缩 小波变换可以使用可逆的LeGall(5，3)滤波器，也可以使用不可逆的Daubechies(9，7)双正交滤波器。可逆滤波器支持无损编码；不可逆滤波器不支持无损编码，但能达到更高的压缩比。第第1212章章 视频压缩技术视频压缩技术 3.JPEG2000支持ROI处理 在处理图像时，往往对
42、部分感兴趣区域ROI(Region of Interest)有较高的质量要求，希望是无损压缩。为了得到较高的压缩效率，把图像的其他部分看成是背景，进行压缩比较高的有损压缩。在传输图像码流时，ROI区域可先于图像的其他部分被传输，如果压缩码流被截取，则在一定程度上可保证ROI的质量。第第1212章章 视频压缩技术视频压缩技术 JPEG2000系统为ROI区域产生一个ROI模板，用来标志ROI区域。选择适当的比例因子s，将位于ROI模板区域之外的背景量化系数的幅值除以2 s，得到的数值小于ROI模板中最小的量化系数幅值。这样处理后，位于ROI模板内的量化系数所处的位平面高于背景系数所处的位平面，在
43、进行位平面算术编码的时候，先对ROI域中的量化系数编码，然后再对背景系数编码。因为ROI区域的位平面高于背景区域，ROI区域的压缩码流位于整个码流的前端，当码流被截断时ROI区域中的数据在一定程度上受到保护，保证了ROI的重构质量。第第1212章章 视频压缩技术视频压缩技术 4.可随机获取部分压缩码流 JPEG2000系统将码流分层组织，每一层含有一定的质量信息，在前面层的基础上改善图像质量。在网络上进行图像浏览时，可先传送第一层，给用户一个较粗的图像，然后再传送第二层，图像质量在第一层的基础上得到改善，这样一层一层地传输下去，可得到不同质量的重构图像。如果传输了所有的层，则可获得完整的图像压
44、缩码流。JPEG2000由于采用了这种思想，使得压缩生成的码流同时具有质量可分级性和分辨率可分级性。第第1212章章 视频压缩技术视频压缩技术 5.随机存取图像某个区域 有时只需得到巨幅图像的部分区域，JPEC2000标准利用小波变换的局部特性，可识别部分图像区域在子带上的映射。每个码块是独立进行编码的，通过选取含有此部分图像区域信息的码块压缩位流，进行解码，可以重构出所要的目标区域。ROI技术在很大程度上为实现随机存取码流提供了一种渠道。第第1212章章 视频压缩技术视频压缩技术 6.抗误码性能 在JPEG2000标准中，采取了一些措施来提高图像压缩码流的抗误码性能，将量化后的子带系数分成若
45、干个小的编码单元码块，对每个码块进行独立编解码。这样，当一个码块的位流发生比特错误时，只会把错误引起的影响限制在本码块中。压缩码流数据采用了称为包(packet)的结构单元，每个包的数据前面含有再同步信息，允许发生错误后重新恢复同步。第第1212章章 视频压缩技术视频压缩技术 7.视觉频率加权 在JPEG2000中，可选择使用对不同空间频率有不同敏感度的视觉系统模型。这一模型用对比度敏感函数CSF（Contrast Sensitivity Function）来衡量。因为CSF函数是由变换系数的视觉频率来决定的，所以可给小波变换后的每个子带分配一个CSF权值。CSF权值的确定依据观察重构图像的视
46、觉条件而定，有两种选取办法：固定的视觉加权编码和视觉累进加权编码。固定的视觉加权仅由视觉条件决定。对分层组织码流，因为位流可被截断，在不同的截断处，有不同的质量，因而进行观察的视觉条件是不同的。第第1212章章 视频压缩技术视频压缩技术 比如，对于低比特率的情况，缺少细节，压缩图像质量差，适合进行远距离观察；随着比特数的增加，细节越来越多，压缩图像质量逐渐变好，适合近距离观测。因此，CSF权值在不同的截断处应有不同的值，这便是视觉累进加权编码。在进行视觉累进加权编码时，不需改变系数值或者量化步长，而是根据视觉权值，改变失真矩阵，通过参考文献41中提出的PCRD算法，计算码块对每个层的贡献，通过
47、改变码块编码通道在分层组织位流中的顺序来实现。第第1212章章 视频压缩技术视频压缩技术 JPEG2000具有的多种特点使得它具有广泛的应用前景。由于采用小波变换和最新的压缩算法，能够获得较好的压缩比，且对压缩码流可进行灵活处理，如随机获取部分压缩码流、累进式传输、实现ROI以及压缩码流具有较强的容错性能等，可应用于因特网、移动通信、打印、扫描、数字摄像、遥感、传真、医疗、数字图书馆以及电子商务等方面的图像压缩。第第1212章章 视频压缩技术视频压缩技术 身份确认方面，将身份证头像照片用高清晰度的数字相机摄制，经JPEG2000压缩存储在数据库中。在需要进行身份验证的场合，验证终端可以根据证件
48、代号通过因特网从数据库里直接获取压缩的图像数据，在本地迅速恢复出大幅高清晰的头像照片。在医疗方面，JPEG2000编码器对医生指定的病变部位予以无损压缩，而对图像中不影响诊断结果的其他部分采用高达100倍的压缩率予以视觉可接受压缩。压缩之后的图像完全保存了疾病特征，而数据量非常小。医生可以把它迅速发送到千里之外的医学专家那里，以最快的速度得到权威的确诊。第第1212章章 视频压缩技术视频压缩技术 许多著名的图形图像公司如Corel，Pegasus等都开始在新开发的图像工具软件中集成JPEG2000图像压缩技术，Microsoft，Netscape等浏览器领域的公司也开始将JPEG2000新技术
49、集成到下一个版本的浏览器中。JPEG2000将在21世纪图像压缩领域发挥重要作用。第第1212章章 视频压缩技术视频压缩技术 12.2.3 数字照相机 数字照相机也称数码照相机，它是利用静止图像压缩的典型例子。数字照相机是光学技术、微电子技术与数字信号处理技术相结合的产物。其基本原理是利用普通照相机的光学系统，把被摄图像投射到图像传感器上，传感器把光信号转化成电信号，再经过模数(AD)转换、数字图像处理和压缩，最终以数字形式存储到磁盘、可移动闪速存储卡等数字存储器中。图1212是数字照相机结构示意图。第第1212章章 视频压缩技术视频压缩技术 图1212 数字照相机结构示意图 光学系统光信号图
50、像传感器电信号DSP和压缩EPROM程序被摄景物压缩的图像码流数字存储器接口计算机接口第第1212章章 视频压缩技术视频压缩技术 1.数码相机的优点 1)瞬时显示摄影效果 数码相机的液晶显示屏在拍摄照片后立即显示拍摄的效果，对不满意图像可以立即删去重拍。2)更宽的曝光控制范围 数码相机的成像器件光电灵敏度很高，在低照度条件下也能够较好地曝光。用MOS开关方式控制光电器件的感光时间，控制最小时间可达微秒级；在环境照度很高时，数码相机也可以得到合适曝光的图像。第第1212章章 视频压缩技术视频压缩技术 3)图像逼真 数码相机的数字图像可直接输入计算机用制造厂提供的处理软件进行特技处理，也可用Pho
