1、图像视频技术图像视频处理简图主要内容图像基础图像获取-CCD摄像机图像视频编解码标准彩色电视制式PAL制、NTSC制监控系统图像基础（数字图像）数字图像表示 （1）紧凑矩阵表示)1,1()1,1()0,1()1,1()1,1()0,1()1,0()1,0()0,0(),(NMfMfMfNfffNfffyxf （2）传统矩阵表示形式1,11,10,11,11,10,11,01,00,0NMMMNNaaaaaaaaaA数字图像表示 表示数字图像所用的坐标表示数字图像所用的坐标灰度图像（单色图像）如果在灰度图像中，像素灰度级用k bit表示，所以每个像素都是介于黑色和白色之间的2k种灰度中的一种。灰
2、度图像只有灰度颜色而没有彩色。空间分辨率和灰度分辨率（1 1）空间分辨率：图像空间中可分辨的最小细节。）空间分辨率：图像空间中可分辨的最小细节。一般用单位长度上采样的像素数目或单位长度上一般用单位长度上采样的像素数目或单位长度上的线对数目表示。的线对数目表示。对一幅图像采样时，若每行（即横向）像素为对一幅图像采样时，若每行（即横向）像素为M M个，每列（即纵向）像素为个，每列（即纵向）像素为N N个，则图像大小为个，则图像大小为M MN N个像素。个像素。不同采样点数对图像质量的影响不同采样点数对图像质量的影响（a）原始图像）原始图像(256256)；（；（b）采样图像）采样图像1(12812
3、8)；（；（c）采样图像采样图像2(6464)；（d）采样图像）采样图像3(3232)；（e）采样图像）采样图像4(1616)；（；（f）采样图像采样图像5(88)总结：对一幅图像，当量化级数总结：对一幅图像，当量化级数k一一定时，空间分辨率越高，图像质量定时，空间分辨率越高，图像质量越好；空间分辨率越低，图像质量越好；空间分辨率越低，图像质量越差，会出现棋盘模式。越差，会出现棋盘模式。空间分辨率和灰度分辨率（2 2）灰度分辨率：图像灰度级中可分辨的最小变）灰度分辨率：图像灰度级中可分辨的最小变化。一般用灰度级或比特数表示。化。一般用灰度级或比特数表示。L=2L=2k k当一幅图像有当一幅图像
4、有2 2k k灰度级时，通常称其为灰度级时，通常称其为k k比特图像；比特图像；或称或称2 2k k灰度级图像。灰度级图像。存储一幅存储一幅M M*N N数字图像所需的空间大小数字图像所需的空间大小B=MB=M*N N*k bitk bit不同量化级别对图像质量的影响不同量化级别对图像质量的影响（a）原始图像原始图像(256色色)；（b）量化图像量化图像1(64色色)；（c）量化图像量化图像2(32色色)；（d）量化图像量化图像3(16色色)；（e）量化图像量化图像4(4色色)；（f）量化图像量化图像5(2色色)总结：当图像的采样点数一定时，采用不总结：当图像的采样点数一定时，采用不同量化级数
5、的图像质量也不一样。灰度分同量化级数的图像质量也不一样。灰度分辨率越高，图像质量越好；灰度分辨率越辨率越高，图像质量越好；灰度分辨率越低，图像质量越差，量化级数最小的极端低，图像质量越差，量化级数最小的极端情况就是二值图像，情况就是二值图像，图像出现假轮廓。图像出现假轮廓。彩色图像基础为了定量的描述颜色对人眼的视觉作用，可以选用为了定量的描述颜色对人眼的视觉作用，可以选用与视觉特征有关的量：亮度、色调、色饱和度作为与视觉特征有关的量：亮度、色调、色饱和度作为颜色的颜色的3 3个基本属性。个基本属性。(1)(1)亮度是指人眼感觉光的明暗程度。光的能量越大亮度是指人眼感觉光的明暗程度。光的能量越大
6、，亮度越大。，亮度越大。(2)(2)色调是彩色最重要的属性，决定颜色的本质，如色调是彩色最重要的属性，决定颜色的本质，如红、橙、黄。红、橙、黄。(3)(3)饱和度是指颜色的深浅和浓淡程度，饱和度越高饱和度是指颜色的深浅和浓淡程度，饱和度越高，颜色越深。饱和度的深浅和白色成反比，白色成，颜色越深。饱和度的深浅和白色成反比，白色成分越多，饱和度越低分越多，饱和度越低三基色原理 1 1、任何一种彩色都可以由三种基本彩色光混合产生，任一种、任何一种彩色都可以由三种基本彩色光混合产生，任一种彩色都可以分解为三种基色。彩色都可以分解为三种基色。2 2、将三基色按不同比例合成可以引起不同的彩色感觉。合成、将
7、三基色按不同比例合成可以引起不同的彩色感觉。合成彩色的亮度由三基色之和决定；而色度（色调和饱和度）由三彩色的亮度由三基色之和决定；而色度（色调和饱和度）由三基色之比例决定。基色之比例决定。3 3、三个基色必须是独立的。一般用红、绿、蓝作三基色、三个基色必须是独立的。一般用红、绿、蓝作三基色彩色图像基础每种基色的取值范围是每种基色的取值范围是02550255因此可组合成因此可组合成1677(2561677(256*256256*256)256)万种不同的颜色，万种不同的颜色，常常见的见的7 7种颜色及其对应的种颜色及其对应的R R，G G，B B值见下表：值见下表：颜色名颜色名R R值值G G值
8、值B B值值红红2552550 00 0绿绿0 02552550 0蓝蓝0 00 0255255白白255255255255255255黑黑0 00 00 0青青0 0255255255255品红品红2552550 0255255黄黄2552552552550 0RGB彩色模型RGBRGB的彩色模型：的彩色模型：1.1.每个分量是其每个分量是其3 3原色之一原色之一2.2.由由3 3原色可以组成其它颜色原色可以组成其它颜色3.3.对于对于2424比特彩色，可以构成比特彩色，可以构成1677721616777216种颜色种颜色计算机、摄像机等均采用此彩色空间计算机、摄像机等均采用此彩色空间RGB
9、图像和与之对应的色调、饱和度、亮度分量YUV彩色模型Y Y指亮度指亮度(Brightness),(Brightness),即灰度值即灰度值U U和和V V也指色调，不同于也指色调，不同于YIQYIQ的的I I和和Q Q用于彩色电视广播，被欧洲的电视系统所采用（属于用于彩色电视广播，被欧洲的电视系统所采用（属于PALPAL系统）系统）Y Y分量也可提供黑白电视机的所有影像信息分量也可提供黑白电视机的所有影像信息YIQ彩色模型Y Y指亮度指亮度(Brightness),(Brightness),即灰度值即灰度值I I和和Q Q指色调，描述色彩及饱和度指色调，描述色彩及饱和度用于彩色电视广播，被北美
10、的电视系统所采用（属于用于彩色电视广播，被北美的电视系统所采用（属于NTSCNTSC系统）系统）Y Y分量可提供黑白电视机的所有影像信息分量可提供黑白电视机的所有影像信息YCrCb彩色模型Y Y指亮度指亮度(Brightness),(Brightness),即灰度值即灰度值CbCb和和CrCr由由U U和和V V调整得到调整得到JPEGJPEG采用的彩色空间采用的彩色空间摄像机摄像机的分类按光电转换器件分类：按光电转换器件分类：(1)光电导摄像管(2)固体光电传感器CCD（Charge Couple Device）：发展的趋势，不论广播级或业务级，均为CCD取代摄像管。什么是CCD？CCD是电
11、耦合器件（Charge Couple Device）的简称当被摄物体反射光线，传播到镜头，经镜头聚焦到CCD芯片上，CCD根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画面的电信号，经过滤波、放大、整形、DSP（数字信号处理）等一系列处理，通过摄像头的输出端子输出一个标准的复合视频信号。目前彩色摄像机和黑白摄像机技术以日本的SONY公司生产的芯片最为领先。其他的芯片生产商有日本的SHARP、PANASONIC、韩国LG、SAMAUNG等。摄像机的基本组成框图摄像机的基本组成框图摄像机组成一、镜头系统一、镜头系统二、主机二、主机包括五部分：摄像头、视频信号处理单元包括五部分：摄像头、视
12、频信号处理单元、同步信号发生器、编码器、供电系统、同步信号发生器、编码器、供电系统三、寻像器三、寻像器四、电源四、电源五、传声器五、传声器六、通讯系统六、通讯系统摄像机电缆、支撑系统等摄像机电缆、支撑系统等1.1.摄像头：内部光学系统，摄像器件，预放电路和电子快摄像头：内部光学系统，摄像器件，预放电路和电子快门。门。(1)(1)内部光学系统内部光学系统:色温滤色镜和分光系统组成。色温滤色镜和分光系统组成。(2)(2)摄像器件摄像器件:摄像管或摄像管或CCDCCD。CCDCCD的尺寸一般有的尺寸一般有2/32/3英寸和英寸和1/21/2英寸两种。英寸两种。(3)(3)预放电路预放电路:要求放大信
13、号噪声低、增益高（要求放大信号噪声低、增益高（90dB90dB）、频带宽。）、频带宽。(4)(4)电子快门电子快门:用于室外高亮度情况下拍摄快速运用于室外高亮度情况下拍摄快速运动的物体。有的摄象机还具有清晰度扫描开关动的物体。有的摄象机还具有清晰度扫描开关,用于拍摄用于拍摄计算机屏幕。（如计算机屏幕。（如DXC-537DXC-537摄像机）摄像机）例：面例：面CCD2.2.视频信号处理单元视频信号处理单元 视频信号处理单元，包括各种电子补偿、电视频信号处理单元，包括各种电子补偿、电子校正电路和调整、控制电路。如黑斑校正、孔子校正电路和调整、控制电路。如黑斑校正、孔阑校正、彩色校正、杂散光校正、
14、阑校正、彩色校正、杂散光校正、校正、黑白校正、黑白切割、电缆补偿等以及光圈自动调整、黑白平衡切割、电缆补偿等以及光圈自动调整、黑白平衡调整、黑电平调整、重合调整、增益控制等。调整、黑电平调整、重合调整、增益控制等。3.3.同步信号发生器同步信号发生器 同步信号发生器产生一个同步信号，保证整同步信号发生器产生一个同步信号，保证整个系统同步工作。摄像机需要的同步信号可由内个系统同步工作。摄像机需要的同步信号可由内部同步信号发生器供给，也可用外部输入的同步部同步信号发生器供给，也可用外部输入的同步信号或用一个外同步信号来控制该机的内同步信信号或用一个外同步信号来控制该机的内同步信号，（称为同步锁相或
15、台从锁相）因而摄像机的号，（称为同步锁相或台从锁相）因而摄像机的同步有内同步、外同步或同步锁相三种不同方式同步有内同步、外同步或同步锁相三种不同方式。4.4.编码器编码器 将红绿蓝三种信号将红绿蓝三种信号编码编码，以适用于传输和适，以适用于传输和适应与黑白电视相兼容的需要。三种不同的彩色电应与黑白电视相兼容的需要。三种不同的彩色电视视PALPAL、NTSCNTSC、SECAMSECAM各有其不同的编码器，到达各有其不同的编码器，到达接收机后使用相应的解码器还原出三基色图像。接收机后使用相应的解码器还原出三基色图像。输出信号的方式：输出信号的方式：VIDEO OUT VIDEO OUT；Y/CY
16、/C；RGBRGB；Y Y、B-YB-Y、R-Y R-Y。5.5.供电系统供电系统 输入到摄像机中的电源都是输入到摄像机中的电源都是12V12V直流电，而直流电，而摄像机中各个部件所需电压不尽相同，因此，摄摄像机中各个部件所需电压不尽相同，因此，摄像机中都有一套供电系统，负责把像机中都有一套供电系统，负责把12V12V电压转换成电压转换成其他各种不同的电压，以供不同之需。其他各种不同的电压，以供不同之需。按照成像色彩划分按照成像色彩划分 CCD 摄像机按成像色彩划分为摄像机按成像色彩划分为彩色摄像机彩色摄像机和和黑白摄像黑白摄像机机两种。两种。按照分辨率划分按照分辨率划分 按照分辨率划分为按照
17、分辨率划分为25 万像素左右，低档型；万像素左右，低档型；25 万至万至38万像素之间，中档型；万像素之间，中档型；38 万像素以上，高档型。万像素以上，高档型。按照摄像机灵敏度划分按照摄像机灵敏度划分 按照灵敏度可分为最低照度按照灵敏度可分为最低照度1 至至3lux 的的普通型普通型；0.1lux 左右的左右的月光型月光型；0.01lux 以下的以下的星光型星光型，采用红外，采用红外光源成像的光源成像的红外照明型红外照明型，可以为，可以为0Lux。CCD摄像机的分类 按照按照CCD CCD 靶面尺寸划分靶面尺寸划分 摄像机摄像器件（摄像机摄像器件（CCDCCD）的尺寸分为）的尺寸分为1 1
18、英寸、英寸、1/2 1/2 英寸、英寸、1/3 1/3 英寸、英寸、1/4 1/4 英寸等。其中以英寸等。其中以1/3”，1/4”，1/2”，最为常见。最为常见。CCD CCD 尺寸尺寸 水平（水平（mmmm）垂直（垂直（mmmm）对角线（对角线（mmmm）1 1 英寸英寸 12.7 9.6 1612.7 9.6 162/3 2/3 英寸英寸 8.8 6.6 118.8 6.6 111/2 1/2 英寸英寸 6.4 4.8 86.4 4.8 81/3 1/3 英寸英寸 4.8 3.6 64.8 3.6 61/4 1/4 英寸英寸 3.6 2.4 43.6 2.4 4 一般来说，大的一般来说，大
19、的CCD CCD 芯片，其相应的象素面积也较大，接收所摄芯片，其相应的象素面积也较大，接收所摄光的面积增大，必然使象素输出电荷增多，灵敏度上升，在弱光条光的面积增大，必然使象素输出电荷增多，灵敏度上升，在弱光条件下具有较好的拍摄能力，容易使摄像机整体质量提高，图像细部件下具有较好的拍摄能力，容易使摄像机整体质量提高，图像细部明显细腻自然。明显细腻自然。按扫描制式划分按扫描制式划分 PALPAL制与制与NTSCNTSC制。制。中国采用隔行扫描中国采用隔行扫描PALPAL制式（黑白为制式（黑白为CCIRCCIR），标准为），标准为625625行，行，5050场，只有医疗或其它专业领域场，只有医疗或
20、其它专业领域才用到一些非标准制式。另外，美国、日本为才用到一些非标准制式。另外，美国、日本为NTSCNTSC制式，制式，525525行，行，6060场（黑白为场（黑白为EIAEIA）。）。按供电电源划分按供电电源划分 110VAC110VAC/60HZ/60HZ（NTSCNTSC制式多属此类），制式多属此类），220VAC220VAC/50HZ/50HZ Or/60HZOr/60HZ，24VAC24VAC/50HZ Or/60HZ/50HZ Or/60HZ。12VDC12VDC或或9VDC9VDC（微型摄（微型摄像机多属此类）像机多属此类）图像视频编解码为什么要压缩l一张一张640640*48
21、0480真彩（真彩（2424位）图位）图像的大小：像的大小：l64064048048024247372800(bit)7372800(bit)为什么要压缩l以这样的图像构成视频，以每以这样的图像构成视频，以每秒钟秒钟3030帧的速度播放，所需传帧的速度播放，所需传输率为：输率为：l737280073728003030221184000(b/s)221Mbps221184000(b/s)221Mbps目前目前:局域网速率：局域网速率：100Mbps100Mbps 硬盘传输速率：硬盘传输速率：80Mbps-800Mbps80Mbps-800Mbps4040光驱传输率：光驱传输率：48Mbps48M
22、bps 一张一张4.7GB(38502.4Mb)4.7GB(38502.4Mb)的光盘只能存储约的光盘只能存储约174.2174.2秒的视频节目秒的视频节目很难满足处理要求很难满足处理要求l图像中的冗余图像中的冗余编码冗余编码冗余l如果一个图像的灰度级编码，使用了多于实际需如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余要的编码符号，就称该图像包含了编码冗余l例如：黑白二值图像编码例如：黑白二值图像编码压缩的可能性如果用如果用8位表示该图像的像素，位表示该图像的像素，我们就说该图像存在编码冗余，我们就说该图像存在编码冗余，因为该图像的像素只有两个灰度，因为该图像
23、的像素只有两个灰度，用一位即可表示用一位即可表示l图像中的冗余图像中的冗余像素间冗余像素间冗余压缩的可能性如果灰度图的描述方式，此子块所需数据量为如果灰度图的描述方式，此子块所需数据量为25*8=200bit，若将此子块最小数据以及与之偏差的数据流描述，则采用若将此子块最小数据以及与之偏差的数据流描述，则采用103及及25个差值：个差值：7,7,4,1,2,0,2,4,4,7,0,1,5,7,7,1,4,6,7,7,4,4,4,5,5，这，这25个差值大小范围个差值大小范围07，则可采用，则可采用3bit来描述，则数据量变成来描述，则数据量变成8+25*3=83bit1101101101101
24、07107104104105105103103105105107107107107110110103103104104108108110110110110104104107107109109110110110110107107107107107107108108108108平缓图像，平缓图像，可看出灰度可看出灰度值接近值接近l图像中的冗余图像中的冗余像素间冗余像素间冗余压缩的可能性l图像中的冗余图像中的冗余心里视觉冗余心里视觉冗余l正常视觉处理过程中各种信息的相对重要程度不正常视觉处理过程中各种信息的相对重要程度不同，那些不十分重要的信息称做心理视觉冗余同，那些不十分重要的信息称做心理视觉冗余
25、压缩的可能性256灰度级图像灰度级图像均匀量化为均匀量化为16个灰度级个灰度级用用IGS量化为量化为16个灰度级个灰度级由于消除心理视觉冗余由于消除心理视觉冗余数据会导致一定量信息数据会导致一定量信息的丢失，所以这一过程的丢失，所以这一过程通常称为量化通常称为量化心理视冗余压缩是不可心理视冗余压缩是不可恢复的，量化的结果导恢复的，量化的结果导致了数据有损压缩致了数据有损压缩静态图像压缩标准JPEG 静止图像压缩编码的标准，JPEG格式是目前网络上最流行的图像格式，也在一些数字电视编录设备，如非线性编辑系统中得到应用。JPEG图像压缩编码主要计算步骤JPEGJPEG压缩编码算法的主要计算步骤如下
26、：压缩编码算法的主要计算步骤如下：正向离散余弦变换正向离散余弦变换(FDCT)(FDCT)量化量化(quantization)(quantization)Z Z字形编码字形编码(zigzag scan)(zigzag scan)使用差分脉冲编码调制使用差分脉冲编码调制(differential pulse code(differential pulse code modulationmodulation，DPCM)DPCM)对直流系数对直流系数(DC)(DC)进行编码进行编码使用行程长度编码使用行程长度编码(run-length encoding(run-length encoding，RLE
27、)RLE)对交流系数对交流系数(AC)(AC)进行编码进行编码熵编码熵编码(entropy coding)(entropy coding)主要计算步骤：正向离散余弦变换正向离散余弦变换(FDCT)(FDCT)对于一个对于一个8*8的图像子块，它的原图像的像素点的图像子块，它的原图像的像素点灰度值及经过灰度值及经过DCT变换后的变换后的FDCT系数如下：系数如下：计算步骤：量化量化(Quantization)(Quantization)量化是对经过量化是对经过FDCTFDCT变换后的频率系数进行量化，其变换后的频率系数进行量化，其目的是减小非目的是减小非“0”0”系数的幅度以及增加系数的幅度以及
28、增加“0”0”值系数值系数的数目。的数目。对于有损压缩算法，使用均匀量化器进行量化。量对于有损压缩算法，使用均匀量化器进行量化。量化步距是按照系数所在的位置和每种颜色分量的色化步距是按照系数所在的位置和每种颜色分量的色调值来确定。调值来确定。计算步骤：（cont.）量化量化(Quantization)(Quantization)因为人眼对亮度信号比对色差信号更敏感，因此使因为人眼对亮度信号比对色差信号更敏感，因此使用了两种量化表：用了两种量化表：亮度亮度量化值和量化值和色差色差量化值。量化值。计算步骤：Z Z字形编排字形编排(Zigzag Scan)(Zigzag Scan)量化后的系数要重新
29、编排，目的是为了增加连续的量化后的系数要重新编排，目的是为了增加连续的“0”0”系数系数的个数，就是的个数，就是“0”0”的游程长度，方法是按照的游程长度，方法是按照Z Z字形的式样编字形的式样编排，其结果是把一个排，其结果是把一个8 8 8 8的矩阵变成一个的矩阵变成一个1 1 64 64的矢量，的矢量，频率较低的系数放在矢量的顶部。频率较低的系数放在矢量的顶部。01561415272824713162629423812172530414391118243140445310192332394552542022333846515560213437475056596135364849575862
30、63量化量化DCT系数的序号系数的序号 计算步骤：Z Z字形编排字形编排(Zigzag Scan)(Zigzag Scan)量化后的系数要重新编排，目的是为了增加连续的量化后的系数要重新编排，目的是为了增加连续的“0”0”系数的个数，就是系数的个数，就是“0”0”的游程长度，方法是按的游程长度，方法是按照照Z Z字形的式样编排，其结果是把一个字形的式样编排，其结果是把一个8 8 8 8的矩阵的矩阵变成一个变成一个1 1 64 64的矢量，频率较低的系数放在矢量的矢量，频率较低的系数放在矢量的顶部。的顶部。计算步骤：直流系数直流系数(DC)(DC)的编码的编码DCDC系数的特点系数的特点：8 8
31、 8 8图像块经过图像块经过DCTDCT变换之变换之后得到的后得到的DCDC直流系数有两个特点，一是系数的直流系数有两个特点，一是系数的数值比较大，二是相邻数值比较大，二是相邻8 8 8 8图像块的图像块的DCDC系数系数值变化不大值变化不大。JPEGJPEG算法使用了差分脉冲调制编码算法使用了差分脉冲调制编码(DPCM)(DPCM)技术技术，对相邻图像块之间量化，对相邻图像块之间量化DCDC系数的差值系数的差值(Delta)(Delta)进行编码。进行编码。1(0,0)(0,0)kkDeltaDCDCDCi-1DCiblocki-1blocki计算步骤：交流系数交流系数(AC)(AC)的编码
32、的编码ACAC系数的特点系数的特点：1 1 64 64矢量中包含有许多矢量中包含有许多“0”0”系数，并且许多系数，并且许多“0”0”是连续的。是连续的。JPEGJPEG使用非常简单和直观的游程长度编码使用非常简单和直观的游程长度编码(RLE)(RLE)对它们进行编码。对它们进行编码。计算步骤：熵熵(Entropy)(Entropy)编码编码使用熵编码的原因使用熵编码的原因：对：对DPCMDPCM编码后的直流编码后的直流DCDC系数系数和和RLERLE编码后的交流编码后的交流ACAC系数作进一步的压缩。系数作进一步的压缩。在在JPEGJPEG有损压缩算法中，使用霍夫曼有损压缩算法中，使用霍夫曼
33、编码器，编码器，霍夫霍夫曼编码器使用很简单的查表曼编码器使用很简单的查表(lookup table)(lookup table)方法进行方法进行编码编码 。压缩数据符号时，霍夫曼编码器对出现频度比较高的压缩数据符号时，霍夫曼编码器对出现频度比较高的符号分配比较短的代码，而对出现频度较低的符号分符号分配比较短的代码，而对出现频度较低的符号分配比较长的代码。这种可变长度的霍夫曼码表可以事配比较长的代码。这种可变长度的霍夫曼码表可以事先进行定义。先进行定义。帧间运动补偿预测帧间运动补偿预测编码技术（比静态图像压缩编码技术（比静态图像压缩多出来的技术）多出来的技术）帧间预测编码帧间预测编码+-熵编码熵
34、编码帧间帧间预测器预测器运动运动补偿补偿压缩图像块压缩图像块输入图像块输入图像块运动补偿预测帧间误差图像运动补偿预测帧间误差图像运动补偿预测图像运动补偿预测图像视频图像压缩帧间编码nfnfne帧间运动补偿预测帧间运动补偿预测编码技术编码技术帧间预测编码帧间预测编码向前预测向前预测双向预测双向预测前一帧前一帧当前帧当前帧前一帧前一帧当前帧当前帧下一帧下一帧压缩标准:视频图像压缩帧间运动补偿预测帧间运动补偿预测编码技术编码技术帧间预测编码帧间预测编码I I 帧帧不进行帧间预测、进行帧内编码的编码帧（参考不进行帧间预测、进行帧内编码的编码帧（参考帧）帧）P P帧帧通过向前预测得到的误差编码帧通过向前
35、预测得到的误差编码帧B B帧帧通过双向预测得到的误差编码帧通过双向预测得到的误差编码帧因图像序列存放在存储器中，可以使用下一帧因图像序列存放在存储器中，可以使用下一帧压缩标准:视频图像压缩帧间运动补偿预测帧间运动补偿预测编码技术编码技术编码中的运动补偿编码中的运动补偿运动补偿概念是以对帧间运动的估算为基础的，运动补偿概念是以对帧间运动的估算为基础的，若物体均在空间上有一位移，那么用有限的运动若物体均在空间上有一位移，那么用有限的运动参数来对帧间的运动加以描述，如对于像素的平参数来对帧间的运动加以描述，如对于像素的平移运动，可用运动矢量来描述。移运动，可用运动矢量来描述。一个来自前一编码帧的运动
36、补偿预测像素，就能一个来自前一编码帧的运动补偿预测像素，就能给出一个当前像素的最佳预测。预测误差和运动给出一个当前像素的最佳预测。预测误差和运动矢量一同参与编码。矢量一同参与编码。压缩标准:视频图像压缩帧间运动补偿预测编码技术帧间运动补偿预测编码技术编码中的运动补偿编码中的运动补偿由于一些运动矢量之间的空间相关性通常较高，因由于一些运动矢量之间的空间相关性通常较高，因此，一个像素的运动矢量，可以代表一个相邻像素此，一个像素的运动矢量，可以代表一个相邻像素块的运动。块的运动。实现中，画面一般划分成一些不连接的像素块实现中，画面一般划分成一些不连接的像素块(在在MPEG1MPEG1和和MPEG2M
37、PEG2标准中一个像素块为标准中一个像素块为16161616像素像素)，对于每一个这样的像素块，只估算一个运动矢量对于每一个这样的像素块，只估算一个运动矢量。压缩标准:视频图像压缩帧间运动补偿预测帧间运动补偿预测编码技术编码技术编码中的运动补偿编码中的运动补偿举例：常用的基于块的运动估算和补偿举例：常用的基于块的运动估算和补偿块匹配法块匹配法K K帧帧K+l K+l 帧帧块块查找窗口查找窗口压缩标准:视频图像压缩帧内编码与帧间编码流程的区别帧内编码帧内编码只与当前视频帧信息有关。只与当前视频帧信息有关。帧内编码图像仅经过帧内编码图像仅经过DCTDCT，量化器和比特流编码器即生成编码，量化器和比
38、特流编码器即生成编码比特比特流，而不经过预测处理。流，而不经过预测处理。DCTDCT直接应用于原始的直接应用于原始的图像数据图像数据。帧帧间编码间编码帧间编码主要解决时间冗余问题。帧间编码主要解决时间冗余问题。输入的帧数据与经过运动补偿的前帧信号相减，对差值数据输入的帧数据与经过运动补偿的前帧信号相减，对差值数据进行进行DCTDCT。再进行量化处理，之字形扫描，熵编码，然后输出再进行量化处理，之字形扫描，熵编码，然后输出。区别区别帧帧内编码与帧间编码流程的区别在于是否经过预测环节的内编码与帧间编码流程的区别在于是否经过预测环节的处处理理MPEG-2视频压缩标准图像组的结构及其相互关系图像编码时
39、的顺序：图像编码时的顺序：IPBBPBBPBBIPBBPBBPBB图像显示时的顺序：图像显示时的顺序：IBBPBBPBBPIBBPBBPBBP视频压缩编码器的构成一个典型的一个典型的MPEGMPEG图像编码器的组成框图图像编码器的组成框图MPEG-2视频压缩方案中关键技术介绍余弦变换余弦变换DCTDCT量化器量化器Z Z型扫描与游程编码型扫描与游程编码熵编码熵编码运动估计运动估计运动补偿运动补偿运动估计特点特点运动估计时，运动估计时，P P帧和帧和B B帧图像所使用的参考帧图帧图像所使用的参考帧图像是不同的。像是不同的。前向预测前向预测P P帧图像使用前面最近解码的帧图像使用前面最近解码的I
40、I帧或帧或P P帧作参考图帧作参考图像。像。双向预测双向预测B B帧图像使用两帧图像作为预测参考。其中一个帧图像使用两帧图像作为预测参考。其中一个参考帧在显示顺序上先于编码帧参考帧在显示顺序上先于编码帧(前向预测前向预测)，另，另一帧在显示顺序上晚于编码帧一帧在显示顺序上晚于编码帧(后向预测后向预测)，B B帧的参考帧在任何情况下都是帧的参考帧在任何情况下都是 I I 帧或帧或P P帧。帧。运动补偿方法方法利用运动估计算出的运动矢量，将参考帧图像利用运动估计算出的运动矢量，将参考帧图像中的宏块移至水平和垂直方向上的相对应位置中的宏块移至水平和垂直方向上的相对应位置，即可生成对被压缩图像的预测。
41、，即可生成对被压缩图像的预测。效果效果绝大多数的自然场景中运动都是有序的。绝大多数的自然场景中运动都是有序的。因此这种运动补偿生成的预测图像与被压缩图因此这种运动补偿生成的预测图像与被压缩图像的差分值是很小的。像的差分值是很小的。视频基本码流的帧结构ES流组成流组成流程图流程图编码器编码器ES流流1打包成打包成PES编码器编码器ES流流2打包成打包成PES编码器编码器ES流流3打包成打包成PES视频输入视频输入音频输入音频输入信息输入信息输入编码器编码器ES流流1打包成打包成PES编码器编码器ES流流2打包成打包成PES编码器编码器ES流流3打包成打包成PES视频输入视频输入音频输入音频输入信
42、息输入信息输入节目节目1（共同时间基准（共同时间基准)节目节目2（共同时间基准（共同时间基准)复用器复用器解复用器解复用器节目节目1（PS流流)节目节目2（PS流流)调制调制 信道信道 解调解调解解 码码 器器说明：解复用器同一时间说明：解复用器同一时间只能输出一个只能输出一个PS流流电视会议标准电视会议标准 CCITT CCITT H.261H.261、H.262 H.262、H.263H.263多媒体标准多媒体标准 ISO ISO 通过了动态图像专家组（通过了动态图像专家组（Moving Picture Experts Group Moving Picture Experts Group）
43、MPEGMPEG系列标准系列标准图像视频压缩标准图像视频压缩标准H.261 H.261 H.261H.261是是19901990年年ITU-TITU-T制定的一个视频编解制定的一个视频编解码标准，属于视频编解码器。码标准，属于视频编解码器。是可视电话和电话会议的国际标准。是可视电话和电话会议的国际标准。H.261H.261标准标准应用范围：应用范围：ISDNISDN的视频会议的视频会议主要编码技术：主要编码技术：DCTDCT变换变换向前运动补偿预测向前运动补偿预测Zig-zagZig-zag排序排序霍夫曼编码霍夫曼编码IPPPPPPIPPP.IPPPPPPIPPP.图像视频压缩标准MPEG1M
44、PEG1标准标准应用范围：视频应用范围：视频CD_ROMCD_ROM存储、视频消费存储、视频消费主要编码技术：主要编码技术：DCTDCT变换变换前向、双向运动补偿预测前向、双向运动补偿预测Zig-zagZig-zag排序排序霍夫曼编码、算术编码霍夫曼编码、算术编码每每1515帧至少要有一个帧至少要有一个I I帧帧IBBPBBPBBIBBP.IBBPBBPBBIBBP.图像视频压缩标准MPEG4MPEG4标准标准应用范围：互联网、交互视频、移动通信应用范围：互联网、交互视频、移动通信主要编码技术：主要编码技术：DCTDCT变换、小波变换变换、小波变换前向、双向运动补偿预测前向、双向运动补偿预测Z
45、ig-zagZig-zag排序排序霍夫曼编码、算术编码霍夫曼编码、算术编码每每1515帧至少要有一个帧至少要有一个I I帧帧IBBPBBPBBIBBP.IBBPBBPBBIBBP.图像视频压缩标准图像视频压缩标准H.264H.264H.264H.264，同时也是，同时也是MPEG-4MPEG-4第十部分，是由第十部分，是由ITU-TITU-T视视频编码专家组（频编码专家组（VCEGVCEG）和）和ISO/IECISO/IEC动态图像专家动态图像专家组（组（MPEGMPEG）联合组成的联合视频组（）联合组成的联合视频组（JVTJVT，Joint Joint Video TeamVideo Tea
46、m）提出的高度压缩数字视频编解码标）提出的高度压缩数字视频编解码标准。准。20032003年年3 3月正式发布。月正式发布。H.264/MPEG-4 AVCH.264/MPEG-4 AVC（H.264H.264）是）是19951995年自年自MPEG-MPEG-2 2视频压缩标准发布以后的最新、最有前途的视视频压缩标准发布以后的最新、最有前途的视频压缩标准。频压缩标准。图像视频压缩标准H.264H.264主要编码技术主要编码技术1.1.帧内预测编码：帧内预测编码：6 6种模式进行种模式进行4 44 4像素宏块预测，包像素宏块预测，包括括1 1种直流预测和种直流预测和5 5种方向预测种方向预测2
47、.2.帧间预测编码帧间预测编码3.3.整数变换整数变换 ：在变换方面，：在变换方面，H.264H.264使用了基于使用了基于4 44 4像素像素块的类似于块的类似于DCTDCT的变换，但使用的是以整数为基础的空的变换，但使用的是以整数为基础的空间变换，不存在反变换间变换，不存在反变换4.4.量化量化5.5.熵编码熵编码MPEG2MPEG2标准标准应用范围：数字电视、高质量视频、有线应用范围：数字电视、高质量视频、有线电视、视频编辑、视频存储电视、视频编辑、视频存储主要编码技术：主要编码技术：DCTDCT变换变换前向、双向运动补偿预测前向、双向运动补偿预测Zig-zagZig-zag排序排序霍夫
48、曼编码、算术编码霍夫曼编码、算术编码每每1515帧至少要有一个帧至少要有一个I I帧帧IBBPBBPBBIBBP.IBBPBBPBBIBBP.图像视频压缩标准彩色电视制式彩色电视制式PAL(Phase-Alternative Line)Phase-Alternative Line)称为称为逐行倒相正逐行倒相正交平衡调幅制交平衡调幅制。德国、英国等一些西欧国家，以及。德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。中国、朝鲜等国家采用这种制式。NTSC(National Television Systems Committee)National Television Systems
49、Committee)称为称为正交平衡调幅制正交平衡调幅制。美国、加拿大等国家，以及。美国、加拿大等国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制日本、韩国、菲律宾等国和中国的台湾采用这种制式。式。SECAM 称为称为顺序传送彩色与存储制。法国、前。法国、前苏联及东欧国家采用这种制式。苏联及东欧国家采用这种制式。TVTV制式制式 PAL PAL NTSCNTSCSECAM SECAM 行行/帧帧 625 625 525 525 625 625 帧帧/秒秒(场场/秒秒)25(50)25(50)30(60)30(60)25(50)25(50)行行/秒秒 15625 15625 15734 1
50、5734 15625 15625 参考白光参考白光 C C白白 D D65006500 D D65006500 声音载频声音载频(MHz)(MHz)6.5 6.5 4.5 4.5 6.5 6.5 彩色副载频彩色副载频(Hz)(Hz)4433618 4433618 3579545 3579545 4250000(+U)4250000(+U)4406500(-V)4406500(-V)彩色调制彩色调制 QAM QAM QAM QAM FM FM 色度带宽色度带宽(MHz)(MHz)1.3(Ut)1.3(Ut)1.3(Vt)1.3(Vt)1.3(I)0.6(Q)1.3(I)0.6(Q)1.0(Ut)
