1、第4章数字彩色电视制式数字电视技术数字电视技术114.1 数字彩色电视制式概述数字彩色电视制式概述模拟彩色电视制式的缺陷模拟彩色电视制式的缺陷高清晰度电视的需求高清晰度电视的需求数字技术的发展数字技术的发展国际电信联盟国际电信联盟(ITU)(ITU)对高清晰度电视的定义：对高清晰度电视的定义：垂直和水平方向的空间分解力大致是垂直和水平方向的空间分解力大致是CCIR601CCIR601号建议号建议书中规定值的两倍，例如水平书中规定值的两倍，例如水平19201920像素，垂直像素，垂直10801080像像素；素；宽高比为宽高比为16:916:9，屏幕对角线长度大于，屏幕对角线长度大于1 1米，并配
2、有多米，并配有多声道优质伴音；声道优质伴音；观看距离为屏幕高度的三倍时，图像的主观质量接近观看距离为屏幕高度的三倍时，图像的主观质量接近或达到观看真实景物的效果，相当于或达到观看真实景物的效果，相当于35mm35mm电影放映的电影放映的图像质量。图像质量。4.1.1 多极化的传输标准多极化的传输标准2美国美国1986年以前支持日本的年以前支持日本的MUSE制制1987年提出发展年提出发展ATV(Advanced Television，高级电视，高级电视)1990年年5月月,美国美国GI公司正式发表全数字公司正式发表全数字HDTV传输制式传输制式DigiCipher1993年年5月成立月成立HD
3、TV大联盟大联盟(Grand Alliance,GA)，着，着手制定统一的美国手制定统一的美国HDTV标准标准1995年年4月通过了月通过了ATSC(Advanced Television System Committee)数字电视标准数字电视标准3欧洲欧洲1981年英国独立广播公司研制出年英国独立广播公司研制出C-MAC(Multipled Analogue Component)制制:亮度、色差时分，两个色差逐行轮换，射频载波调频传送，视频亮度、色差时分，两个色差逐行轮换，射频载波调频传送，视频带宽带宽8.4MHz1986年提出年提出HD-MAC制制受美国数字制式影响，受美国数字制式影响，1
4、993年开展年开展DVB(Digital Video Broadcasting)研究研究1995年，欧洲成立了年，欧洲成立了DVB联盟，共同制定数字电视的联盟，共同制定数字电视的DVB标准：标准：DVB-S(Satellite)、DVB-C(Cable)、DVB-T(Terrestrial)4日本日本l日本广播协会日本广播协会(NHK)1970-80年代提出模拟高清晰度电视年代提出模拟高清晰度电视制式制式MUSE制（多重亚奈抽样编码）：制（多重亚奈抽样编码）：1125行，行，60场，隔行扫描，场，隔行扫描，16:9幅型比；色度信号与亮幅型比；色度信号与亮度信号时分复用：度信号时分复用：TCI（
5、时间压缩合成）；多重亚奈抽样（时间压缩合成）；多重亚奈抽样压缩信号频带：压缩信号频带：4场传送场传送1幅幅HDTV图像；图像；8.1MHz带宽，带宽，调频传送调频传送l1996年启动数字电视研制年启动数字电视研制l1998年年9月制订月制订ISDB-T(Integrated Services Digital Broadcasting-Terrestrial)数字电视地面广播系统标准数字电视地面广播系统标准，与欧洲的，与欧洲的DVB-T类似类似5中国中国l2002年组建音视频技术（年组建音视频技术（AVS）标准工作组）标准工作组l2006年视频部分正式颁布为国家标准年视频部分正式颁布为国家标准需
6、要注意：上述标准适用于需要注意：上述标准适用于HDTV和和SDTV6 4.1.2 通用的压缩编码标准通用的压缩编码标准 数据压缩的必要性数据压缩的必要性4:2:2，PAL：8646252528=216Mb/s(108MHz)数字电视系统框图数字电视系统框图7 通用的信源编码标准通用的信源编码标准MPEG-2MPEG(Moving Pictures Experts Group)即活动图即活动图像专家组，建立于像专家组，建立于1988年年MPEG-1：4:2:0采样压缩，每秒采样压缩，每秒1.5Mbps的传输码的传输码率，图像大小率，图像大小352240，扫描频率，扫描频率30场场/秒。图像质秒。
7、图像质量比电视略强，适合于非专业视频领域，如量比电视略强，适合于非专业视频领域，如VCD等等。MPEG-4：一种广域传输标准，传输码率：一种广域传输标准，传输码率10kbps-1Mbps，于，于2000年正式成为国际标准年正式成为国际标准:内容的交互性内容的交互性,高效的压缩性，通用的访问性高效的压缩性，通用的访问性8MPEG-2：1994-1996年提出的用于广播电视的视年提出的用于广播电视的视频压缩标准。频压缩标准。“Profile”和和“Level”(“型型”和和“级级”)按视频格式分按视频格式分四个级四个级按编码工具分按编码工具分五个型五个型“级级”与与“型型”的若干组合构成的若干组合
8、构成MPEG-2视频编码视频编码标准在某种特定应用下的子集：对某一输入格式的标准在某种特定应用下的子集：对某一输入格式的图像，采用特定集合的压缩编码工具，产生规定速图像，采用特定集合的压缩编码工具，产生规定速率范围内的编码码流。在率范围内的编码码流。在20种可能的组合中，目前种可能的组合中，目前有有11种是已获通过的，称为种是已获通过的，称为MPEG-2适用点适用点。91011MPEG-2MPEG-2适用点适用点124.2.1 视频信源编码的理论依据视频信源编码的理论依据原始图像数据在空间及时间上的统计冗余度很大，存在大原始图像数据在空间及时间上的统计冗余度很大，存在大量无需传送的多余信息：量
9、无需传送的多余信息：l图像的相邻像素、相邻行之间存在很强的相关性图像的相邻像素、相邻行之间存在很强的相关性空空间相关性间相关性l相邻场或帧对应像素间存在相关性相邻场或帧对应像素间存在相关性时间相关性时间相关性l信息保持无损压缩编码信息保持无损压缩编码人眼对图像细节、幅度的变化、图像的运动不同时具有最人眼对图像细节、幅度的变化、图像的运动不同时具有最高的分辨力：高的分辨力：l信息非保持有损压缩编码信息非保持有损压缩编码4.2 视频信源编码原理视频信源编码原理134.2.2 预测编码原理预测编码原理预测编码概述预测编码概述l预测编码也称为预测编码也称为差分脉冲编码调制差分脉冲编码调制(DPCM，D
10、ifferential Pulse Code Modulation)，使用已编码像素的线性组合对，使用已编码像素的线性组合对未编码像素进行预测，传送其预测误差（残差）。未编码像素进行预测，传送其预测误差（残差）。l约约80%-90%以上的残差信号的绝对值落在以上的残差信号的绝对值落在16-18个量化级以个量化级以内。可以用较少的比特表示差值，达到数据压缩的目的。内。可以用较少的比特表示差值，达到数据压缩的目的。l帧内预测采用帧内预测采用1阶前值预测，利用空间相关性；帧间预测采阶前值预测，利用空间相关性；帧间预测采用用1阶前向预测或阶前向预测或2阶双向预测，利用时间相关性。阶双向预测，利用时间相
11、关性。l预测编码的主要缺点是抗误码能力差。若传输中产生误码，预测编码的主要缺点是抗误码能力差。若传输中产生误码，由于递归预测算法，对于帧内编码会使误差扩散到图像中一由于递归预测算法，对于帧内编码会使误差扩散到图像中一个较大的区域，对于帧间编码会使误差扩散到后续的若干帧个较大的区域，对于帧间编码会使误差扩散到后续的若干帧中。中。14为便于联合运用帧内编码和帧间编码技术，把由连续的电视画面组成为便于联合运用帧内编码和帧间编码技术，把由连续的电视画面组成的视频序列的视频序列 （sequence sequence）划分为许多图像组（划分为许多图像组（GOP,Group of GOP,Group of
12、PicturePicture），每个图像组由几帧或十几帧图像组成，这些图像相互间存），每个图像组由几帧或十几帧图像组成，这些图像相互间存在预测和生成关系。在预测和生成关系。采用帧内预测编码的图像称为采用帧内预测编码的图像称为I I图像图像(Intra-Coded Picture)(Intra-Coded Picture)采用前向帧间预测编码的图像称为采用前向帧间预测编码的图像称为P P图像图像(Predictively-Coded(Predictively-Coded Picture)Picture)采用双向帧间预测编码的图像称为采用双向帧间预测编码的图像称为B B图像图像(Bidirecti
13、onally-Coded(Bidirectionally-Coded Picture)Picture)下页为由下页为由9 9帧图像组成的帧图像组成的GOPGOP示意图示意图15编码器输入端或解码器输出端的显示顺序编码器输入端或解码器输出端的显示顺序编码器输出端或解码器输入端的编解码顺序编码器输出端或解码器输入端的编解码顺序16 视频数据结构视频数据结构块块:Block 8:Block 88 8像素块像素块宏块宏块:Macroblock:Macroblock16161616像素块像素块像条像条:Slice:Slice由多由多个个MacroblockMacroblock组成组成图像组：图像组：GO
14、PGOP视频序列：视频序列：SequenceSequence图像：图像：PicturePicture17宏块的组成宏块的组成124350YCrCb12375460YCrCb12437568910110YCrCb4:2:04:2:0格式的宏块格式的宏块4:2:24:2:2格式的宏块格式的宏块4:4:44:4:4格式的宏块格式的宏块宏块的三种构成方式，其宏块的三种构成方式，其中亮度块的数目均为中亮度块的数目均为4 4，而，而色度块的数目分别为色度块的数目分别为2 2、4 4和和8 8。18在对在对I I图像进行帧内预测编码之前，首先对每一个图像进行帧内预测编码之前，首先对每一个8 88 8的像块进
15、行的像块进行二维离散余弦变换（二维离散余弦变换（DCTDCT，Discrete Cosine TransformDiscrete Cosine Transform），将像块），将像块变换为由变换为由8 88 8个变换系数组成的系数块。个变换系数组成的系数块。位于系数块左上角的第一个系数是像块中位于系数块左上角的第一个系数是像块中8 88 8个像素的平均值，代个像素的平均值，代表像块的直流分量，称为表像块的直流分量，称为DCDC系数系数，其余系数为，其余系数为ACAC系数系数。帧内预测编码是对各个系数块的帧内预测编码是对各个系数块的DCDC系数进行的，目的是去除在相邻系数进行的，目的是去除在相邻
16、像块的直流分量之间较强的相关性。像块的直流分量之间较强的相关性。帧内预测编码只在像条所在的区域进行。帧内预测编码只在像条所在的区域进行。帧内预测编码采用前值预测：帧内预测编码采用前值预测：0000(1)()ynyn19帧间预测编码是以图像组帧间预测编码是以图像组GOP为单位进行的为单位进行的I图像图像帧内编码图像，其编码不依赖于其它图像，它还是帧内编码图像，其编码不依赖于其它图像，它还是P图像和图像和B图像编码、解码的参考图像。使用周期性的图像编码、解码的参考图像。使用周期性的I帧便于帧便于初始化接收机和捕获频道。初始化接收机和捕获频道。I帧出现的频度可以变化，由编帧出现的频度可以变化，由编码
17、器选择。码器选择。P图像图像前向编码预测图像，像素的预测值为其前面一帧前向编码预测图像，像素的预测值为其前面一帧I图图像或像或P图像中相应像素值，即帧间运动补偿前值预测。图像中相应像素值，即帧间运动补偿前值预测。B图像图像双向预测编码图像，像素的预测值为其前后相邻帧相双向预测编码图像，像素的预测值为其前后相邻帧相应像素值的加权平均。应像素值的加权平均。B图像不能作为其它图像的编码参考图像不能作为其它图像的编码参考图像。使用图像。使用B帧可提高压缩效率，但需要帧存储器。帧可提高压缩效率，但需要帧存储器。20帧间预测编码中的运动帧间预测编码中的运动补偿补偿最简单的时域预测就是用最简单的时域预测就是
18、用前一帧作为当前帧的预测前一帧作为当前帧的预测参考帧。参考帧。一个视频序列里两个相邻一个视频序列里两个相邻帧如右图所示。第一帧作帧如右图所示。第一帧作为第二帧的参考帧，残差为第二帧的参考帧，残差是第二帧与参考帧之差。是第二帧与参考帧之差。21在右图中，中间灰度代表差在右图中，中间灰度代表差值为零，浅灰和深灰分别对值为零，浅灰和深灰分别对应正、负差值。这种简单预应正、负差值。这种简单预测的明显问题是残差帧中剩测的明显问题是残差帧中剩余能量太多，也就是说预测余能量太多，也就是说预测后还有很多信息需要压缩。后还有很多信息需要压缩。多数残差是由于两帧之间物多数残差是由于两帧之间物体运动引起的，所以更好
19、的体运动引起的，所以更好的预测是在两帧之间进行运动预测是在两帧之间进行运动补偿。补偿。22运动补偿预测示意图运动补偿预测示意图23运动矢量运动矢量：表示从编码帧到参考帧像素运动的方向：表示从编码帧到参考帧像素运动的方向和距离。和距离。运动估值运动估值：通过比较参考帧与编码帧中的图像，求：通过比较参考帧与编码帧中的图像，求出运动物体像素的运动矢量。出运动物体像素的运动矢量。运动补偿运动补偿：考虑了运动矢量的帧间预测称为具有运：考虑了运动矢量的帧间预测称为具有运动补偿的帧间预测。动补偿的帧间预测。采用采用块匹配算法块匹配算法进行运动估值进行运动估值l摄像机所摄取的景物的运动可能是十分复杂的，摄像机
20、所摄取的景物的运动可能是十分复杂的，精确对每个像素进行运动估值是十分困难的。精确对每个像素进行运动估值是十分困难的。l在许多情况下物体上的各个像素均做相同的在许多情况下物体上的各个像素均做相同的运动，这时只需估计其整体的运动就可以了。运动，这时只需估计其整体的运动就可以了。24块匹配算法：对每个编码帧宏块中的块匹配算法：对每个编码帧宏块中的16161616亮度块，在参考帧中一定搜索范围亮度块，在参考帧中一定搜索范围内，搜索与它最相似的亮度块内，搜索与它最相似的亮度块匹配块，并根据匹配块与它的坐标差，确定匹配块，并根据匹配块与它的坐标差，确定运动矢量。运动矢量。25像块匹配程度的判定常采用平均绝
21、对差准则（像块匹配程度的判定常采用平均绝对差准则（MADMAD，Mean Absolute Mean Absolute DifferenceDifference），即在搜索范围内按下式求帧间像素块亮度差的绝对值的平均值。），即在搜索范围内按下式求帧间像素块亮度差的绝对值的平均值。16161111(,)(,)(,)256kkmnMAD i jfmi njfm n当当MAD(i,j)MAD(i,j)达到最小时，两个像素块匹配。此时运动矢量为达到最小时，两个像素块匹配。此时运动矢量为MVMV（i,ji,j）。这种搜索方法称为全搜索，运算量相当大。为加快搜索过程，提出了三步法、这种搜索方法称为全搜索，
22、运算量相当大。为加快搜索过程，提出了三步法、共轭方向法、正交搜索法等，但效果不如全搜索，全搜索仍然是通用的方法。共轭方向法、正交搜索法等，但效果不如全搜索，全搜索仍然是通用的方法。;MiMNjN 26MPEG-2MPEG-2中运动补偿的精度是半像素，中运动补偿的精度是半像素，H.264H.264中运动补偿的精度是四分之一像素，中运动补偿的精度是四分之一像素，都需要在参考帧中根据已知整像素值，用线性内插的方法得到半像素和四分都需要在参考帧中根据已知整像素值，用线性内插的方法得到半像素和四分之一像素值以后，再进行块匹配计算。之一像素值以后，再进行块匹配计算。2728B帧图像的帧间预测编码帧图像的帧
23、间预测编码预测值是其前面参考帧的前向预测值与其后面参考帧的预测值是其前面参考帧的前向预测值与其后面参考帧的后向预测值的平均值后向预测值的平均值双向预测。双向预测。在进行运动补偿时，需要前向和后向两个运动矢量。在进行运动补偿时，需要前向和后向两个运动矢量。图图4-9在图像序列中，在图像序列中，P帧和帧和B帧传送的是像素值与预测帧传送的是像素值与预测值的差值和每个宏块的运动矢量。考虑到邻近宏值的差值和每个宏块的运动矢量。考虑到邻近宏块间运动矢量存在相关性，对运动矢量也采用预块间运动矢量存在相关性，对运动矢量也采用预测编码。测编码。29帧间预测模式帧间预测模式为了既能处理逐行扫描图像，又能处理隔行扫
24、描图像，为了既能处理逐行扫描图像，又能处理隔行扫描图像，数字电视的帧间预测编码主要有两类：帧预测和场预测。数字电视的帧间预测编码主要有两类：帧预测和场预测。帧预测：预测来自于最近的重构参考图像。帧预测：预测来自于最近的重构参考图像。Reference FramePossible Intervening B-pictures(Not yet decoded)Reference FramePossible Intervening B-pictures(Not yet decoded)Reference FramePossible Intervening B-pictures(Already dec
25、oded)P帧预测示意帧预测示意B帧预测示意帧预测示意30P场预测：预测来自于最近的重构参考图像。场预测：预测来自于最近的重构参考图像。编码帧中第一场编码帧中第一场图像的预测图像的预测Top Reference FieldBottom Reference FieldPossible Intervening B-pictures(Not yet decoded)Top Reference FieldBottom Reference FieldPossible Intervening B-pictures(Not yet decoded)编码帧中第二场图编码帧中第二场图像为底场的预测像为底场的预测
26、31B场预测：用于预测的两个参考场来自于最近的解码参考场预测：用于预测的两个参考场来自于最近的解码参考顶场和底场。顶场和底场。编码帧中第二场图编码帧中第二场图像为顶场的预测像为顶场的预测Top Reference FieldBottom Reference FieldPossible Intervening B-pictures(Not yet decoded)Top Reference FieldBottom Reference FieldPossible Intervening B-pictures(Not yet decoded)Possible Intervening B-pictur
27、es(Already decoded)Top Reference FieldBottom Reference FieldB场图像或场图像或B帧帧图像的预测图像的预测324.2.3 变换编码原理变换编码原理变换编码是为了将图像数据或运动补偿残差数据转换到变变换编码是为了将图像数据或运动补偿残差数据转换到变换域，以去除空间相关性，对变换后的系数编码，达到数换域，以去除空间相关性，对变换后的系数编码，达到数据压缩的目的。据压缩的目的。变换编码系统基本结构变换编码系统基本结构33离散余弦变换离散余弦变换(DCT，Discrete Cosine Transform)考虑到空间相关性只在一定范围内存在，变
28、换是以块为单考虑到空间相关性只在一定范围内存在，变换是以块为单位进行的，采用位进行的，采用88块。块。设由设由88像素组成的像素块用矩阵像素组成的像素块用矩阵X表示，变换后的系数表示，变换后的系数块用矩阵块用矩阵Y表示，则：表示，则：正向正向DCT反反DCT其中其中C表示表示88的的DCT矩阵，矩阵，CT是其转置矩阵是其转置矩阵TTYCXCXC YC18(21)12160,07cos17,07ijijijCijTTCCC CIC C满足正交矩阵性质满足正交矩阵性质34右图为右图为8 88DCT8DCT基本图基本图像。任何像。任何8 88 8图像块图像块都可以用基本图像与都可以用基本图像与变换系
29、数乘积的组合变换系数乘积的组合来表示。来表示。DCTDCT系数矩阵左上角系系数矩阵左上角系数数y y0000对应空间直流分对应空间直流分量，称为量，称为DCDC系数，其系数，其他他6363个对应交流分量，个对应交流分量，称为称为ACAC系数。系数。3536经过经过DCT变换后，变换后，64个样值仍然得到个样值仍然得到64个系数。原样值是个系数。原样值是9比特，数据从比特，数据从0511；得到的直流系数的范围是；得到的直流系数的范围是04095，交流系数的范围是，交流系数的范围是-20482047；量化之后大多数高频分；量化之后大多数高频分量的系数变为量的系数变为0。人眼对低频分量比较敏感，对高
30、频分量则。人眼对低频分量比较敏感，对高频分量则不太敏感；因而量化的结果是去掉了不太重要的高频分量不太敏感；因而量化的结果是去掉了不太重要的高频分量，降低了码率。，降低了码率。I帧：系数矩阵左上角部位的系数对应空间低频分量，采用帧：系数矩阵左上角部位的系数对应空间低频分量，采用较小的量化间隔，位于右下角部位的系数采用较大的量化较小的量化间隔，位于右下角部位的系数采用较大的量化间隔。间隔。P帧和帧和B帧：是对帧间预测差值的变换，帧：是对帧间预测差值的变换，DCT系数不仅仅决系数不仅仅决定于空间频率，故采用相同的量化间隔。定于空间频率，故采用相同的量化间隔。DCT系数的量化系数的量化37对于对于I
31、I帧的亮度和色度的量化帧的亮度和色度的量化加权矩阵加权矩阵对于对于P P帧和帧和B B帧的亮度和色度帧的亮度和色度的量化加权矩阵的量化加权矩阵38对自然景物图像的统计表明，对自然景物图像的统计表明，DCT系数矩阵的能系数矩阵的能量集中在反映水平和垂直低频分量的左上角。量集中在反映水平和垂直低频分量的左上角。图图游程编码的方法是将扫描得到的一维序列转化为游程编码的方法是将扫描得到的一维序列转化为一个由二元数组一个由二元数组(run,level)组成的数组序列，其组成的数组序列，其中中run表示连零的长度，表示连零的长度，level表示紧接在这串连表示紧接在这串连零之后出现的非零值。当剩下的所有系
32、数都为零零之后出现的非零值。当剩下的所有系数都为零时，用符号时，用符号EOB(End of Block)来代表。来代表。游程编码游程编码(RLC，Run Length Coding)39帧图像的帧图像的DCTDCT系数分布（按系数分布（按非零系数可能性画图）非零系数可能性画图）场图像的场图像的DCTDCT系数分布（对照帧图像，系数分布（对照帧图像，左侧有更多的非零系数，这是由于场图左侧有更多的非零系数，这是由于场图像在垂直方向有更强的高频分量）像在垂直方向有更强的高频分量）对应这两种图像结构，规定了两种扫描方式，对应这两种图像结构，规定了两种扫描方式，ZigzagZigzag扫描与交替扫描。扫描与交替扫描。40经经DCTDCT变换以后，系数大多数集中在左上角，即低频分量区，因此按变换以后，系数大多数集中在左上角，即低频分量区，因此按ZigzagZigzag扫描读出扫描读出实际上是按二维频率的高低顺序读出系数的。扫描后出现连零的机会比较多，特别实际上是按二维频率的高低顺序读出系数的。扫描后出现连零的机会比较多，特别到最后，如果都是零，在读到最后一个数后，只要给出到最后，如果都是零，在读到最后一个数后，只要给出“块结束块结束”（EOBEOB）码，就可）码，就可以结束输出，因此节省了很多码率。如图以结束输出，因此节省了很多码率。如图 41
