1、5.1 数字音视频编码标准概述数字音视频编码标准概述5.2 MPEG-1音频编码标准音频编码标准5.3 杜比杜比AC-3音频编码算法音频编码算法5.4 MPEG-2音频编码标准音频编码标准5.6 MPEG-1和和MPEG-2视频编码标准视频编码标准 5.7 MPEG-4视频编码标准视频编码标准5.8 H.264/AVC视频编码标准视频编码标准5.9 AVS视频编码标准视频编码标准国际上数字音视频编码标准主要有两大系列。一个系列由国际标国际上数字音视频编码标准主要有两大系列。一个系列由国际标准化组织（准化组织（ISO）和国际电工委员会（）和国际电工委员会（IEC）制定，另一个系列）制定，另一个系
2、列由国际电信联盟电信标准部（由国际电信联盟电信标准部（ITU-T）制定。制定这些标准的背）制定。制定这些标准的背景有所不同，面向的主要应用也有所区别，但有的标准或标准的景有所不同，面向的主要应用也有所区别，但有的标准或标准的某些部分为不同国际标准化组织及其标准共用，有的由不同国际某些部分为不同国际标准化组织及其标准共用，有的由不同国际标准化组织联合制定，它们采用的技术有很多共同点，应用领域标准化组织联合制定，它们采用的技术有很多共同点，应用领域有所重叠。有所重叠。ISO/IEC:JPEG,JPEG2000,MPEG-x ITU-T:H.26xJPEG(Joint Photographic Ex
3、perts Group)是联合图片专家组的英文缩写。是联合图片专家组的英文缩写。ISO的的JPEG主主要针对静止图像的存储领域，制定了要针对静止图像的存储领域，制定了JPEG系列系列标准。其中主要有以下几个标准。标准。其中主要有以下几个标准。JPEG标准标准：静止图像存储压缩标准。：静止图像存储压缩标准。JPEG-2000标准标准：面向静止图像的压缩标准。：面向静止图像的压缩标准。比比JPEG标准压缩效率高标准压缩效率高2倍以上，性能也更好。倍以上，性能也更好。MJPEG标准标准：面向视频序列，将各帧分别编：面向视频序列，将各帧分别编码成码成JPEG图像，成为图像，成为JPEG图像序列，但它们
4、图像序列，但它们均为帧内编码帧，不进行帧间预测编码。均为帧内编码帧，不进行帧间预测编码。ITU-T的视频编码专家组（的视频编码专家组（VCEG）制定了）制定了H.26 标准系列，主要针对实时视频通信领域的应用，如可视电标准系列，主要针对实时视频通信领域的应用，如可视电话、会议电视等。话、会议电视等。（1）H.261标准标准：“速率为速率为p64kbit/s（p=1，2，30）视听业务的视频编解码视听业务的视频编解码”，简称为，简称为p64kbit/s标准。标准。（2）H.262:同同MPEG-2的视频部分（的视频部分（ISO/IEC13818-2）。）。（3）H.263:（4）H.264:等同
5、于等同于MPEG-4 AVC（ISO/IEC14496-10）MPEG(Moving Picture Experts Group)是运动图是运动图片专家组的英文缩写。这个专家组开发的标准通常称片专家组的英文缩写。这个专家组开发的标准通常称为为MPEG标准。到目前为止，已经开发和正在开发的标准。到目前为止，已经开发和正在开发的MPEG标准包括：标准包括：MPEG-1：针对：针对1.5 Mbit/s以下数码率的数字存储媒以下数码率的数字存储媒体应用的运动图像及其伴音编码，标准号体应用的运动图像及其伴音编码，标准号ISO/IEC 11172。MPEG-2：运动图像及其伴音信息的通用编码，标：运动图像
6、及其伴音信息的通用编码，标准号准号ISO/IEC 13818。MPEG-4：音视对象编码，标准号：音视对象编码，标准号ISO/IEC 14496。MPEG-7：多媒体内容描述接口，标准号：多媒体内容描述接口，标准号ISO/IEC 15938。MPEG-21：多媒体框架，标准号：多媒体框架，标准号ISO/IEC 21000。AVS是我国具备自主知识产权的第二代信源编码是我国具备自主知识产权的第二代信源编码标准，是标准，是信息技术信息技术先进音视频编码先进音视频编码系列标准系列标准的简称。的简称。AVS视频标准（视频标准（GBT 20090.2-2006）主要面）主要面向高清晰度和高质量数字电视广
7、播、网络电视、高密向高清晰度和高质量数字电视广播、网络电视、高密度激光数字存储媒体和其他相关应用，具有以下特点：度激光数字存储媒体和其他相关应用，具有以下特点：（1）性能高，编码效率是）性能高，编码效率是MPEG-2的的2倍以上，与倍以上，与H.264的编码效率处于同一水平；的编码效率处于同一水平；（2）复杂度低，算法复杂度比）复杂度低，算法复杂度比H.264明显低，软硬件明显低，软硬件实现成本都低于实现成本都低于H.264；（3）我国掌握主要知识产权，专利授权模式简单，费）我国掌握主要知识产权，专利授权模式简单，费用低。用低。5.2.1 MPEG-1音频编码算法的特点音频编码算法的特点5.2
8、.2 MPEG-1音频编码的基本原理音频编码的基本原理MPEG-1音频编码标准（音频编码标准（ISO/IEC 11172-3）是）是世界上第一个世界上第一个高保真高保真音频编码标准。为了保证音频编码标准。为了保证其普遍适用性，其普遍适用性，MPEG-1音频编码算法具有以下音频编码算法具有以下特点：特点：宽带音频宽带音频MPEG-1编码器32kHz，44.1kHz 48kHz PCM32kbit/s384kbit/sMPEG-1音频压缩标准提供三个独立的压缩层次：音频压缩标准提供三个独立的压缩层次：第第1层（层（Layer 1）:编码器最为简单，应用于数字编码器最为简单，应用于数字小型盒式磁带（
9、小型盒式磁带（Digital Compact Cassette，DCC）记录系统。记录系统。第第2层（层（Layer 2）:编码器的复杂程度属中等，应编码器的复杂程度属中等，应用于数字音频广播（用于数字音频广播（DAB）、）、CD-ROM、CD-I和和VCD等。等。第第3层（层（Layer 1）:编码器最为复杂，应用于综合编码器最为复杂，应用于综合业务数字网（业务数字网（ISDN）上的音频传输、因特网上的广）上的音频传输、因特网上的广播、播、MP3光盘存储等。光盘存储等。用户对层次的选择可在编码方案的复杂性和用户对层次的选择可在编码方案的复杂性和压缩比之间进行权衡。压缩比之间进行权衡。表表5-
10、2 MPEG-1音频压缩算法的压缩比音频压缩算法的压缩比 层次层次 算法算法 压缩比压缩比 立体声信号所对应的数码率立体声信号所对应的数码率123MUCSICAM*MUCSICAMASPEC*4:16:18:110:112:1384 kbit/s256192 kbit/s128112 kbit/s在尽可能保持在尽可能保持CD音质为前提的条件下，音质为前提的条件下，MPEG-1音音频压缩算法一般所能达到的压缩比如表频压缩算法一般所能达到的压缩比如表5-2所示，所示，音质要求音质要求 声音带宽（声音带宽（kHz）声道数声道数 数码率（数码率（kbit/s)压缩比压缩比电话电话优于短波优于短波优于调
11、幅广播优于调幅广播类似于调频广播类似于调频广播接近接近CDCD2.55.57.5111515单声道单声道单声道单声道单声道单声道立体声立体声立体声立体声立体声立体声8163256649611212896:148:124:12624:116:11210:1 MPEG-1使用感知音频编码来达到既压使用感知音频编码来达到既压缩音频数据又尽可能保证音质的目的。听觉缩音频数据又尽可能保证音质的目的。听觉系统有许多特性，感知音频编码的理论依据系统有许多特性，感知音频编码的理论依据是听觉系统的掩蔽效应特性。其基本思想就是听觉系统的掩蔽效应特性。其基本思想就是在编码过程中保留有用的信息而丢掉被掩是在编码过程中
12、保留有用的信息而丢掉被掩蔽的信号，其结果是经编解码之后重构的音蔽的信号，其结果是经编解码之后重构的音频信号与编码之前的原始音频信号不完全相频信号与编码之前的原始音频信号不完全相同，但人的听觉系统很难感觉到它们之间的同，但人的听觉系统很难感觉到它们之间的差别。这也就是说，对听觉系统来说这种压差别。这也就是说，对听觉系统来说这种压缩是缩是“无损压缩无损压缩”。MPEG-1音频编码标准提供音频编码标准提供3个独立的压缩层个独立的压缩层次，它们的基本模型是相同的。层次，它们的基本模型是相同的。层1是最基础的，是最基础的，层层2和层和层3都是在层都是在层1的基础上有所提高。的基础上有所提高。MPEG-1
13、音频码流按照规定构成音频码流按照规定构成“帧帧”的格式，的格式，层层1的每帧包含的每帧包含384(=3212)个样本数据的码字，个样本数据的码字，384个样本数据来自个样本数据来自32个子带个子带，每个子带，每个子带12个样本个样本数据；层数据；层2和层和层3的每帧包含的每帧包含1152(=3236)个样本个样本数据的码字，每个子带包含数据的码字，每个子带包含36个样本数据，如图个样本数据，如图5-1 所示。所示。子带滤波器子带滤波器0子带滤波器子带滤波器1子带滤波器子带滤波器2子带滤波器子带滤波器3子带滤波器子带滤波器3112个个样本样本12个个样本样本12个个样本样本12个个样本样本12个
14、个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本12个个样本样本层层1层层2，层，层3音频样本音频样本数据输入数据输入图图5-2 层层1、层、层2和层和层3的子带样本的子带样本 美国高级电视制式委员会美国高级电视制式委员会(ATSC)规定电视伴音压缩规定电视伴音压缩标准是杜比实验室开发的标准是杜比实验室开发的AC-3系统。该系统的音响效果系统。该系统的音响效果为高保真立体环绕声。目前市场流行的称为为高保真立体环绕声。目前市场流行的称为“家庭影院家庭影院”的音响系统多数采用此标准。的音响系统
15、多数采用此标准。杜比杜比AC-3规定的取样频率为规定的取样频率为48kHz，它锁定于它锁定于27MHz的系统时钟。每个音频节目最多可有的系统时钟。每个音频节目最多可有6个音频信道。这个音频信道。这6个个信道是：中心、左信道是：中心、左(Left)、右右(Right)、左环绕左环绕(Left Surround)、右环绕右环绕(Right Surround)和低频增强和低频增强(LFE Low Frequency Enhancement)。LFE信道的带宽限于信道的带宽限于20120Hz，主信道的带宽为主信道的带宽为20kHz。美国的美国的HDTV标准中标准中AC-3可以对可以对1到到5.1信道的
16、音信道的音频源编码。所谓频源编码。所谓0.1信道是指用来传送信道是指用来传送LFE的信道。动态的信道。动态范围可达到范围可达到100dB。关于立体声的形式，关于立体声的形式，ITU-R，SMPTE，EBU的专家组建的专家组建议用一个中心信道议用一个中心信道C和两个环绕声信道和两个环绕声信道Ls、Rs加上基本的左加上基本的左和右立体声信道和右立体声信道L和和R作为基准的声音格式。这叫作为基准的声音格式。这叫“32立体立体声声”(3向前向前2环绕信道环绕信道)，共需，共需5个信道如图个信道如图5-4所示。在用作所示。在用作图像的伴音时，三个向前的信道保证足够稳定的方向性和清图像的伴音时，三个向前的
17、信道保证足够稳定的方向性和清晰度。晰度。图图5-4 5-4 五声道立体声扬声器的安排五声道立体声扬声器的安排C屏幕屏幕收听区收听区LRRsLsAC-3编码原理概述编码原理概述 AC-3编码系统采用了全音域杜比噪声衰减编码系统采用了全音域杜比噪声衰减系统，在没有音频信号掩蔽时，集中力量降低系统，在没有音频信号掩蔽时，集中力量降低或消除噪声，在其它时间根据人的听觉频率选或消除噪声，在其它时间根据人的听觉频率选择性把每个声道的音频频谱分割成不同带宽的择性把每个声道的音频频谱分割成不同带宽的子频带，结果使噪声处在距音频信号频率分量子频带，结果使噪声处在距音频信号频率分量很近的频率上，就很容易被音频信号
18、所遮盖。很近的频率上，就很容易被音频信号所遮盖。除了降低噪声以保证音质外，杜比除了降低噪声以保证音质外，杜比AC-3AC-3系系统为降低数码率，对各频带采用不同的取样率统为降低数码率，对各频带采用不同的取样率，根据频谱或节目的动态特性来分配各频带的，根据频谱或节目的动态特性来分配各频带的比特数。比特数。AC-3AC-3通过一个共同通过一个共同“比特池比特池”(类似缓冲类似缓冲存储器存储器)来决定不同声道的比特数分配，含频来决定不同声道的比特数分配，含频率多的声道分配比特数多，频率稀疏的声道率多的声道分配比特数多，频率稀疏的声道分配比特数少，这样可以用一个声道的强信分配比特数少，这样可以用一个声
19、道的强信号遮盖其它声道的噪声。在每一声道中则必号遮盖其它声道的噪声。在每一声道中则必须保证每一频带所分配的比特数都足够多，须保证每一频带所分配的比特数都足够多，以全部掩蔽声道内噪声。这一功能通过听觉以全部掩蔽声道内噪声。这一功能通过听觉掩蔽模型使编码器改变它的频率选择性掩蔽模型使编码器改变它的频率选择性(以便以便动态地划分窄频带动态地划分窄频带)来实现。可见杜比来实现。可见杜比AC-3AC-3的的高级掩蔽模型和共享比特池是实现高效编码高级掩蔽模型和共享比特池是实现高效编码的关键因素。的关键因素。AC-3将多声道作为一个整体进行编码，比单声道将多声道作为一个整体进行编码，比单声道编码效率高，同时
20、对各个声道和每个声音内的各频带编码效率高，同时对各个声道和每个声音内的各频带信号用不同的取样率进行量化、对噪声进行衰减或掩信号用不同的取样率进行量化、对噪声进行衰减或掩蔽，结果蔽，结果AC-3系统的数码率降低而音质损害很小。系统的数码率降低而音质损害很小。AC-3至少可以处理至少可以处理20bit动态范围的数字音频信号，动态范围的数字音频信号，频率范围从频率范围从20Hz20kHz(0.5dB)，3Hz和和20.3kHz处处为为-3dB。重低音声道频率范围为重低音声道频率范围为20120Hz(0.5dB)，3Hz和和12Hz处为处为-3dB。且支持且支持32kHz，44.1kHz，48kHz的
21、取样频率。的取样频率。AC-3的数字音频数据经加误码纠的数字音频数据经加误码纠错后数码率仅为错后数码率仅为384kbs，因此因此ITU-R在在1992年正式年正式接受接受AC-3的的5.1声道格式。声道格式。AC-3含有含有MPEG系统的时间印记系统的时间印记(time stamp)，故可与故可与MPEG视频同步。视频同步。AC-3系统的方框图系统的方框图 AC-3AC-3编码器接受声音编码器接受声音PCMPCM数据，最后产生压缩数据流。数据，最后产生压缩数据流。AC-3AC-3算算法通过对声音信号频域表示的粗略量化，可以达到很高的编码增法通过对声音信号频域表示的粗略量化，可以达到很高的编码增
22、益，其编码过程如图益，其编码过程如图5-85-8所示。所示。图图5-8 AC-35-8 AC-3编码器原理方框图编码器原理方框图分析滤分析滤波器组波器组6声道声道PCM数据数据耦合预耦合预处理处理尾数尾数量化量化窗窗处理处理频谱包频谱包络编码络编码核心比核心比特分配特分配AC-3数数据据帧帧格格式式AC-3码流码流比特比特分配分配 第一步把时间域内的第一步把时间域内的PCMPCM数据值变换为频域内成块的一系数据值变换为频域内成块的一系列变换系数。每个块有列变换系数。每个块有512512个数据值，其中个数据值，其中256256个数据值在连个数据值在连续的两块中是重叠的，重叠的块被一个时间窗相乘，
23、以提高续的两块中是重叠的，重叠的块被一个时间窗相乘，以提高频率选择性，然后被变换到频域内。由于前后两块重叠。每频率选择性，然后被变换到频域内。由于前后两块重叠。每一个输入数据值出现在连续两个变换块内。因此，变换后的一个输入数据值出现在连续两个变换块内。因此，变换后的变换系数可以去掉一半而变成每个块包含变换系数可以去掉一半而变成每个块包含256256个变换系数，每个变换系数，每个变换系数以二进制指数形式表示，即一个二进制指数和一个变换系数以二进制指数形式表示，即一个二进制指数和一个尾数。指数集反映了信号的频谱包络，对其进行编码后，个尾数。指数集反映了信号的频谱包络，对其进行编码后，可以粗略地代表
24、信号的频谱。同时，用此频谱包络决定分配可以粗略地代表信号的频谱。同时，用此频谱包络决定分配给每个尾数多少比特数。如果最终信道传输码率很低，而导给每个尾数多少比特数。如果最终信道传输码率很低，而导致致AC-3AC-3编码器溢出，此时要采用高频系数耦合技术，以进一编码器溢出，此时要采用高频系数耦合技术，以进一步减少数码率。最后把步减少数码率。最后把6 6块块(1536(1536个声音数据值个声音数据值)频谱包络、粗频谱包络、粗量化的尾数以及相应的参数组成量化的尾数以及相应的参数组成AC-3AC-3数据帧格式，连续的帧数据帧格式，连续的帧组成了码流传输出去。组成了码流传输出去。AC-3AC-3解码器
25、基本上是编码的反过程，图解码器基本上是编码的反过程，图5-105-10是其原理方是其原理方框图。框图。AC-3AC-3解码器首先必须与编码数据流同步，经误码纠错解码器首先必须与编码数据流同步，经误码纠错后再从码流中分离出各种类型的数据，如控制参数、系数配后再从码流中分离出各种类型的数据，如控制参数、系数配置参数、编码后的频谱包络和量化后的尾数等。然后根据声置参数、编码后的频谱包络和量化后的尾数等。然后根据声音的频谱包络产生比特分配信息，对尾数部分进行反量化，音的频谱包络产生比特分配信息，对尾数部分进行反量化，恢复变换系数的指标和尾数，再经过合成滤波器组由频域表恢复变换系数的指标和尾数，再经过合
26、成滤波器组由频域表示变换到时域表示，最后输出重建的示变换到时域表示，最后输出重建的PCMPCM数据值信号。数据值信号。图图5-10 AC-35-10 AC-3解码器原理方框图解码器原理方框图AC-3帧同帧同步、步、纠错纠错、解、解帧格帧格频谱包频谱包络解码络解码比特比特分配分配 比特分比特分配信息配信息尾数尾数反量化反量化合成滤合成滤波器组波器组PCM码流码流AC-3码流码流MPEG-2标准定义了两种音频压缩编码算法，一标准定义了两种音频压缩编码算法，一种称为种称为MPEG-2 Audio（标准号为（标准号为ISOIEC 13818-3），或称为），或称为MPEG-2 BC，它是与，它是与MP
27、EG-1音频压缩编码标准（音频压缩编码标准（ISOIEC 11172-3）后向）后向兼容的多声道音频编码标准；另一种称 为兼容的多声道音频编码标准；另一种称 为MPEG-2高级音频编码（高级音频编码（MPEG-2 Advanced Audio Coding）标准，简称为）标准，简称为MPEG-2 AAC，因，因为它与为它与MPEG-1音频压缩编码算法是不兼容的，音频压缩编码算法是不兼容的，所以也称为所以也称为MPEG-2 NBC（Non Backward Compatible，非后向兼容）标准。，非后向兼容）标准。MPEG-2 AAC支持的采样频率为支持的采样频率为896kHz，编码器的音，编
28、码器的音源可以是单声道、立体声和多声道的声音，多声道扬声源可以是单声道、立体声和多声道的声音，多声道扬声器的数目、位置及前方、侧面和后方的声道数都可以设器的数目、位置及前方、侧面和后方的声道数都可以设定，因此能支持更灵活的多声道构成。定，因此能支持更灵活的多声道构成。MPEG-2 AAC可可支持支持48个主声道、个主声道、16个低频音效增强（个低频音效增强（LFE）声道、）声道、16个配音声道（个配音声道（overdub channel）或者称为多语言声道）或者称为多语言声道（multilingual channel）和）和16个数据流。个数据流。MPEG-2 AAC在压缩比为在压缩比为11
29、1，即每个声道的数码率为（，即每个声道的数码率为（44.116）/1164kbit/s，5个声道的总数码率为个声道的总数码率为320 kbit/s的情况下，的情况下，很难区分解码还原后的声音与原始声音之间的差别。与很难区分解码还原后的声音与原始声音之间的差别。与MPEG-1的第的第2层相比，层相比，MPEG-2 AAC的压缩比可提高的压缩比可提高1倍，而且音质更好；在质量相同的条件下，倍，而且音质更好；在质量相同的条件下，MPEG-2 AAC的数码率大约是的数码率大约是MPEG-1第第3层（即层（即MP3）的）的70%。5.6.1 I帧、帧、P帧和帧和B帧帧5.6.2 视频码流的分层结构视频码
30、流的分层结构5.6.3 MPEG-1/-2视频编解码原理视频编解码原理5.6.4 MPEG-2的功能扩展的功能扩展 MPEG-1(ISO/IEC11172)于于1992年年11月最后通月最后通过，过，1993年年8月公布，是针对月公布，是针对1.5Mbit/s以下数据传以下数据传输率的数字存储媒介应用的运动图像及其伴音编输率的数字存储媒介应用的运动图像及其伴音编码的国际标准。码的国际标准。MPEG-1的目标是将压缩后的视的目标是将压缩后的视/音频码流存入光盘（如音频码流存入光盘（如CD-ROM、VCD等），数等），数据传输率为据传输率为1.416 Mbit/s，其中，其中1.1 Mbit/s用
31、于视频，用于视频，128 kbit/s用于音频，其余的用于系统开销。用于音频，其余的用于系统开销。MPEG-1是一个开放的、统一的标准，在商业是一个开放的、统一的标准，在商业上获得了巨大的成功。尽管其图像质量仅相当于上获得了巨大的成功。尽管其图像质量仅相当于VHS视频的质量，还不能满足广播级的要求，但视频的质量，还不能满足广播级的要求，但已广泛应用于已广泛应用于VCD等家庭视听产品中。等家庭视听产品中。在制订在制订MPEG-1的过程中，广播电视的设备制造商立即的过程中，广播电视的设备制造商立即意识到意识到MPEG技术对提高卫星转发器和有线电视信道效率技术对提高卫星转发器和有线电视信道效率的潜力
32、。但数字电视广播不能满足于的潜力。但数字电视广播不能满足于VHS的图像质量，数的图像质量，数码率也不必像码率也不必像MPEG-1限制得那样低。于是限制得那样低。于是MPEG为数字为数字电视广播的应用制订了电视广播的应用制订了MPEG-2标准。标准。MPEG-2不是不是MPEG-1的简单升级，它在系统和传送的简单升级，它在系统和传送方面作了更加详细的规定和进一步的完善。它的应用领域方面作了更加详细的规定和进一步的完善。它的应用领域非常广泛，包括存储媒介中的非常广泛，包括存储媒介中的DVD、广播电视中的数字、广播电视中的数字电视和电视和HDTV、以及交互式的视频点播（、以及交互式的视频点播（VOD
33、）和准视频）和准视频点播（点播（NVOD）等。）等。MPEG-1是是MPEG-2的一个子集，任何的一个子集，任何MPEG-2的解的解码器要能够对码器要能够对MPEG-1的码流进行解码。下面我们首先介的码流进行解码。下面我们首先介绍绍 MPEG-1和和 MPEG-2 的一些共同点，然后再介绍的一些共同点，然后再介绍MPEG-2的一些特点。的一些特点。MPEG标准所规定的视频编码算法在实现高压缩比的标准所规定的视频编码算法在实现高压缩比的同时，又能获得较高的重建图像质量，并且还要满足能够同时，又能获得较高的重建图像质量，并且还要满足能够随机存取的要求。如果只采用帧内编码，则不可能在高的随机存取的要
34、求。如果只采用帧内编码，则不可能在高的压缩比下获得好的图像质量，所以必须要采用帧间编码，压缩比下获得好的图像质量，所以必须要采用帧间编码，但要能随机存取，则用帧内编码最容易实现。这就要在帧但要能随机存取，则用帧内编码最容易实现。这就要在帧间和帧内编码之间仔细地平衡。不仅如此，间和帧内编码之间仔细地平衡。不仅如此，MPEG视频编视频编码算法在利用运动补偿帧间预测来减少时间冗余度时，不码算法在利用运动补偿帧间预测来减少时间冗余度时，不仅用上一帧的图像来预测当前帧图像，而且也用下一帧图仅用上一帧的图像来预测当前帧图像，而且也用下一帧图像来预测当前帧图像，即双向预测。所以，像来预测当前帧图像，即双向预
35、测。所以，MPEG标准将标准将编码图像分为三种类型，分别称为编码图像分为三种类型，分别称为I（Intra）帧、）帧、P（Predicated）帧和）帧和B（Bi-directional）帧。）帧。I帧、帧、P帧帧 与与 B 帧的示意图如图帧的示意图如图5-14所示。所示。图图5-14 I帧、帧、P帧与帧与 B 帧的示意图帧的示意图 1 1I I帧帧I帧，又称帧内编码帧，是作为预测基准的独立帧。帧，又称帧内编码帧，是作为预测基准的独立帧。该帧采用类似该帧采用类似JPEG算法的帧内算法的帧内DCT编码，只利用了本帧编码，只利用了本帧图像内的空间相关性，而没有利用时间相关性，所以图像内的空间相关性，
36、而没有利用时间相关性，所以I帧帧图像的压缩比相对较低。图像的压缩比相对较低。设置设置I帧的主要理由是：（帧的主要理由是：（1）当某帧找不到匹配的参）当某帧找不到匹配的参考帧时，就只好进行考帧时，就只好进行帧内编码帧内编码，场景切换或图像中的，场景切换或图像中的“遮遮挡挡”和和“暴露暴露”部分就是这种情况的例子；（部分就是这种情况的例子；（2）解码）解码I帧帧不需要参考帧，因而可以在不需要参考帧，因而可以在I帧进行码流的切换和编辑等帧进行码流的切换和编辑等操作，操作，提供随机存取的插入点提供随机存取的插入点；（；（3）长时间连续地进行）长时间连续地进行预测编码，预测误差会不断累积，使压缩效率逐渐
37、降低，预测编码，预测误差会不断累积，使压缩效率逐渐降低，图像质量不断下降。为防止解码图像损伤的逐渐加剧，需图像质量不断下降。为防止解码图像损伤的逐渐加剧，需定时进行帧刷新定时进行帧刷新，即周期性地插入，即周期性地插入I帧，以便重新开始一帧，以便重新开始一个新的预测编码过程。个新的预测编码过程。2 2P P帧帧P帧，又称前向预测编码帧。它用前面最近帧，又称前向预测编码帧。它用前面最近的的I帧或帧或P帧作为参考进行前向预测，采用带运动帧作为参考进行前向预测，采用带运动补偿的帧间预测编码方式。由于同时利用了空间补偿的帧间预测编码方式。由于同时利用了空间和时间上的相关性，所以和时间上的相关性，所以P帧
38、比帧比I帧的压缩效率高。帧的压缩效率高。P帧也可作为参考帧。帧也可作为参考帧。3 3B B帧帧B帧，又称双向预测编码帧。它既用源视频序帧，又称双向预测编码帧。它既用源视频序列中位于前面且已编码的列中位于前面且已编码的I帧或帧或P帧作为参考帧，帧作为参考帧，进行前向运动补偿预测，又用位于后面且已编码进行前向运动补偿预测，又用位于后面且已编码的的I帧或帧或P帧作为参考帧，进行后向运动补偿预测。帧作为参考帧，进行后向运动补偿预测。即即B帧可采用帧内编码、前向预测编码、后向预测帧可采用帧内编码、前向预测编码、后向预测编码、或双向预测编码编码、或双向预测编码4种技术，其压缩比最高。种技术，其压缩比最高。
39、但但B帧不能用作对其他帧进行运动补偿预测的参考帧不能用作对其他帧进行运动补偿预测的参考帧。帧。视频数据经过压缩编码后形成视频基本码流视频数据经过压缩编码后形成视频基本码流（ES）。）。MPEG为了更好地表示编码比特流，为了更好地表示编码比特流，用句法规定了一个分层结构，如用句法规定了一个分层结构，如图图5-16所示，共所示，共分分6层，从高到低依次是视频序列、图像组层，从高到低依次是视频序列、图像组（GOP）、图像、宏块条（）、图像、宏块条（Slice）、宏块层及）、宏块层及像块层。像块层。对应的码流句法结构如对应的码流句法结构如图图5-17所示。所示。图图5-16 MPEG5-16 MPEG
40、视频基本码流的分层结构视频基本码流的分层结构图像图像图像组图像组视频序列视频序列宏块条宏块条宏块宏块像块像块图图5-17 视频基本码流结构视频基本码流结构 视频序列是指构成一段或整个电视节目的连续图像序列，是视频序列是指构成一段或整个电视节目的连续图像序列，是随机选取节目的一个基本单元。从节目内容看，一个视频序列大随机选取节目的一个基本单元。从节目内容看，一个视频序列大致对应于一个镜头。切换一个镜头，即表示开始一个新的序列。致对应于一个镜头。切换一个镜头，即表示开始一个新的序列。在视频序列层，起始码后是序列头，它包含有视频序列参数，在视频序列层，起始码后是序列头，它包含有视频序列参数，如图像的
41、尺寸大小、幅型比、帧频、数码率、缓冲区大小等。在如图像的尺寸大小、幅型比、帧频、数码率、缓冲区大小等。在MPEG-2中，序列头后面还跟着包含附加数据的序列扩展数据、中，序列头后面还跟着包含附加数据的序列扩展数据、序列纠错数据等。为了确保能在不同的时间随时进入视频序列，序列纠错数据等。为了确保能在不同的时间随时进入视频序列，MPEG允许重复发送序列头。序列扩展数据后面跟若干个图像组允许重复发送序列头。序列扩展数据后面跟若干个图像组层的数据。视频序列层以序列结束码（层的数据。视频序列层以序列结束码（SEQEC）结束。）结束。GOP是由一个视频序列中连续的若干帧图像组成。每个是由一个视频序列中连续的
42、若干帧图像组成。每个GOP由一由一个个I帧和一些帧和一些P帧、帧、B帧组成，帧组成，GOP的第一帧一定为的第一帧一定为I帧。帧。这样分组的目的是这样分组的目的是便于随机存取和编辑便于随机存取和编辑，以及，以及定时进行帧刷定时进行帧刷新新，以防止由于帧间预测可能引起的传输误码的长时间扩散。，以防止由于帧间预测可能引起的传输误码的长时间扩散。值得注意的是，由于值得注意的是，由于B帧是双向预测编码帧，所以需等前、帧是双向预测编码帧，所以需等前、后的参考帧编码后才能编码。而后的参考帧编码后才能编码。而MPEG视频码流的传输要有利于视频码流的传输要有利于解码器的解码，为此，解码器的解码，为此，MPEG视
43、频编码器输出码流的帧顺序，即视频编码器输出码流的帧顺序，即解码器输入码流的帧顺序，应不同于输入到编码器的源图像序列解码器输入码流的帧顺序，应不同于输入到编码器的源图像序列的帧顺序（也就是自然次序），必须进行重新排序；同理，解码的帧顺序（也就是自然次序），必须进行重新排序；同理，解码器解码这种码流，送去显示的帧顺序也必须重新排列，使之恢复器解码这种码流，送去显示的帧顺序也必须重新排列，使之恢复源图像帧顺序，这种过程称为源图像帧顺序，这种过程称为帧重排帧重排。例如，当图像帧的显示的顺序是例如，当图像帧的显示的顺序是I1B2B3P4B5B6P7B8B9P10 时，视频码流中帧的传输顺序则是时，视频码
44、流中帧的传输顺序则是I1P4B2B3P7B5B6P10B8B9。图像是一个独立的显示单元，它可以作为一个整体被显图像是一个独立的显示单元，它可以作为一个整体被显示设备显示。图像层包括不同编码类型的图像，即示设备显示。图像层包括不同编码类型的图像，即I I、B B、P P帧。在图像层头中包含了图像编码的类型和时间参考帧。在图像层头中包含了图像编码的类型和时间参考信息。在信息。在MPEG-1MPEG-1中，图像的扫描方式是逐行的，因而图中，图像的扫描方式是逐行的，因而图像总是帧格式。而在像总是帧格式。而在MPEG-2MPEG-2中，图像的扫描方式既可以中，图像的扫描方式既可以逐行的，也可以是隔行的
45、。逐行扫描的图像只能是帧格逐行的，也可以是隔行的。逐行扫描的图像只能是帧格式；而隔行扫描的图像可以是帧格式，也可以是场格式。式；而隔行扫描的图像可以是帧格式，也可以是场格式。一个图像包含亮度分量和色度分量。在一个图像包含亮度分量和色度分量。在MPEG-1MPEG-1中，亮度中，亮度和色度的采样格式是和色度的采样格式是420420；而在；而在MPEG-2MPEG-2中，除了这中，除了这一格式，还可以采用一格式，还可以采用422422及及444444的格式。的格式。每个宏块条包括若干个连续宏块，其顺序和行扫描每个宏块条包括若干个连续宏块，其顺序和行扫描顺序一致。宏块条可以从一个宏块行（顺序一致。宏
46、块条可以从一个宏块行（1616行宽）的任何行宽）的任何一个宏块开始。在一个宏块开始。在MPEG-2 MPMLMPEG-2 MPML格式中，一个宏块条必格式中，一个宏块条必须在同一宏块行中起始和结束，而且一个宏块条至少包须在同一宏块行中起始和结束，而且一个宏块条至少包括一个宏块。括一个宏块。宏块条是比特流重新同步的基本单元宏块条是比特流重新同步的基本单元。一旦因传输。一旦因传输差错发生误码而导致接收端解码失步，此时，可根据起差错发生误码而导致接收端解码失步，此时，可根据起始码重新获得同步。划分成宏块条的主要目的在于防止始码重新获得同步。划分成宏块条的主要目的在于防止误码的扩散，即如果一个宏块条内
47、的数据因传输差错发误码的扩散，即如果一个宏块条内的数据因传输差错发生误码，但又不可纠正时，下一个宏块条不受其影响，生误码，但又不可纠正时，下一个宏块条不受其影响，仍能准确地找到下一个宏块条的起始位置并正常解码。仍能准确地找到下一个宏块条的起始位置并正常解码。一个宏块由一个宏块由16161616像素的亮度阵列和同区域内的像素的亮度阵列和同区域内的CbCb、CrCr色差色差阵列共同组成。阵列共同组成。MPEG-2MPEG-2中定义了三种宏块结构：中定义了三种宏块结构：420420宏块、宏块、422422宏块和宏块和444444宏块；而在宏块；而在MPEG-1MPEG-1中只采用中只采用420420
48、宏块结宏块结构。构。宏块是运动补偿预测的基本单元宏块是运动补偿预测的基本单元。为了提高编码性能，。为了提高编码性能，MPEGMPEG算算法除了在法除了在I I帧中全部宏块都采用帧内编码模式之外，在帧中全部宏块都采用帧内编码模式之外，在P P帧和帧和B B帧中帧中以宏块为单位自适应地选择合适的运动补偿预测模式。以宏块为单位自适应地选择合适的运动补偿预测模式。P P帧中的宏帧中的宏块主要采用前向运动补偿预测模式，但当预测效果不佳时，则切块主要采用前向运动补偿预测模式，但当预测效果不佳时，则切换到帧内编码模式。对换到帧内编码模式。对B B帧中的宏块既可以采用前向运动补偿预测帧中的宏块既可以采用前向运
49、动补偿预测模式，也可以采用后向运动补偿预测模式，还可以采用双向运动模式，也可以采用后向运动补偿预测模式，还可以采用双向运动补偿预测后取平均的模式，当然，亦可以采用帧内编码模式，这补偿预测后取平均的模式，当然，亦可以采用帧内编码模式，这取决于哪一种模式下编码该宏块所需的比特数为最少。取决于哪一种模式下编码该宏块所需的比特数为最少。像块是像块是MPEGMPEG算法中最小的编码单元，它包含算法中最小的编码单元，它包含8 88 8个个像素，并且是下面三种图像信息之一：亮度信号（像素，并且是下面三种图像信息之一：亮度信号（Y Y）、）、色差信号色差信号CbCb或或CrCr。像块是像块是DCTDCT的基本
50、单元的基本单元。像块层的数。像块层的数据包含据包含8 88 8个像素的样值经个像素的样值经DCTDCT后所生成的后所生成的DCTDCT系数的编系数的编码码字。码码字。一个一个420420的宏块由的宏块由6 6个块组成，其中有个块组成，其中有4 4个亮度个亮度块、块、1 1个个CbCb块和块和1 1个个CrCr块。块。一个一个422422的宏块由的宏块由8 8个块组成，其中有个块组成，其中有4 4个亮度个亮度块、块、2 2个个CbCb块和块和2 2个个CrCr块。块。一个一个444444的宏块由的宏块由1212个块组成，其中有个块组成，其中有4 4个亮度个亮度块、块、4 4个个CbCb块和块和4
