1、第5章 多媒体视频监控系统 对多媒体视频监控系统的架构、原理及其维护方法进行分析，并介绍其维护与日常故障的处理方法。5.1 压缩图像 图像压缩有减少数据存储量、降低传输速率、压缩频带、降低传输成本的作用。数字视频信号的压缩分为有损压缩和无损压缩两类。如果在进行数据压缩的过程中不丢弃任何无效信息，使还原出的数据与未经压缩的原始信号完全相同，就称为无损压缩。无损压缩的压缩比很低，一般是作为有损压缩的辅助方法进行应用。有损压缩在压缩过程中丢弃了一些视频信息，使还原后的视频信号与原始信号有所差别。由于人眼的分辨力有限，某些图像信息被丢弃后是难以察觉的，因此可以保证视频信号在压缩程度较大的情况下仍有较高
2、的信号质量。有时又把图像压缩称为图像编码，其冗余度和压缩比成正比，所以，应设法减少图文、视频数据的冗余度，以达到压缩数据率的目的，从而节约传输带宽或存储空间。5.1.1 编码方法 实质上，对视频信号的压缩就是对其进行编码，理论中有多种编码方法，但实际应用的主要有如下几种。1预测编码 预测编码技术的重要应用就是差分脉冲编码调制，在依靠图像信号冗余度高的条件下，当前的像素值可用与其邻近的像素值预测获得。由于视频信号的相关性很强，即邻近像素的样值很接近，所以预测有较高的准确性。在预测编码中，并不直接传送像素样值本身，而是对实际样值及其一个预测值之间的差值进行量化、编码再传送，以达到很大的压缩比。这个
3、差值称为预测误差，预测误差被量化后再编码的方式叫做DPCM，是预测编码中最重要的一种编码方法。2变换编码（1）变化编码方法变化编码方法是将空间域描写的图像信号变换到一个正交的变换域进行描写。如果所选的正交向量空间的基准向量与图像本身的特性向量很接近，那么同一信号在这种变换域内的描写就简单得多。空间域的一个由NN个像素组成的像块经过正交变换后，在变换域变成了同样NN的变换系数块。变换前后的明显差别是，在空间域像素块中的像素之间存在着很强的相关性，能量集中在直流和少数低频系数上，去除了相关性，降低了冗余度，在变换域内进行滤波、量化及统计编码，即可实现有效的码率压缩。（2）应用方法例如，对图像进行二
4、维傅里叶变换，就是将空间域变换到频域，在水平和垂直方向上进行频谱展开。经过传输后，在接收端可用这些频谱恢复出信号。因为视频信号的能量主要集中在低频部分，随着频率的升高，能量迅速下降。考虑到人眼的主观视觉对调频不如对低频敏感的特点，在编码时对高、低频成分分别采用粗、细不同的量化，甚至对很高的频率成分舍去不传，这样既可以降低码率又可以保持良好的主观图像质量。3熵编码 熵编码又称统计编码，其目的是降低平均字长，以达到压缩码率的目的。在熵编码过程中保持信息的熵值不变，因此也称为熵保持编码或无损伤编码。算术编码也属于熵编码，其中的自适应二进制算术编码已经为新的视频标准H264所采用。5.1.2 数字视频
5、信号 在认识数字信号之前，有必要了解传统的模拟视频信号，以便更深入地认识前者的重要性。1传统的模拟视频信号 传统视频信号采用模拟技术，在传统的视频监控系统中，由前端的摄像机输出到中心端的矩阵切换、监视及录像，采用的都是模拟视频信号，在整个系统中传输的也都是模拟视频信号。即使DSP摄像机采用了数字信号处理技术，其输出仍为模拟视频信号。传统的模拟视频信号标准主要有复合视频、Y/C视频、分量视频。2数字视频信号 由于大规模集成电路LSI（LARGE-Scale Integrated Circuit）向着微型化、高速化的方向发展，数字技术已经应用于视频信号的处理。通过模/数（A/D）转换，将模拟信号数
6、值化，模拟信号就可变换为数字信号。同模拟信号相比，数字信号主要有以下几方面的优点。数字信号处理技术（DSP）能轻易对付传统模拟信号模式难以进行的算法、处理技术及各种功能。采用计算机处理，并通过计算机网络传输。全面、有效地在大规模集成电路中应用。现在，数字视频技术技术开始广泛应用于非线性编辑、Flash、数字视频特技、数字图像修复等视频信号的处理领域，同时，与此相关的Adobe Premiere、3D Studio Max、Cool3D等计算机图像处理软件也应运而生。它们在很大程度上为人们的各种应用提供了方便，其中也包括针对多媒体视频监控系统开发的专用软件。将来，视频监控系统将完全采用数字视频技
7、术，其具体内容是：将连续、模拟的视频信号经取样、量化及编码转换成用二进制表示的数字视频信号，再进行各种功能的处理、传输、存储和记录，最后利用计算机进行处理、监测和控制。采用数字处理技术不仅使各种视频设备获得比模拟设备更高的技术性能，而且还具有模拟技术的全部新功能：视频监控技术将进入崭新的时代。5.1.3 数字灰度图像 关于灰度图像的数字化，一般是利用Flash A/D变换器进行，而A/D变换设备一般为8位，产生256级灰度，足以保证灰度的层次。如图5-1所示。图5-1 数字灰度图像数字化的例子（1）观察图5-1，其中，灰度图像是指人类视觉对物体的亮度的反映（先用Flash A/D变换器来进行转
8、换）。（2）图像分成栅格状，其中的每一个小格子代表一个位置确定像素。（3）通过光电亮度传感器，可以得到物体的灰度信号。Zf(x,y)式中，Z是光强信号；(x,y)是二维空间坐标。（4）还可以利用矩阵对灰度图像进行数字化，以更直观、科学。例如，一幅灰度图像被划分为以空间坐标(x,y)表示的NM个点，则灰度信号的数学表达式为(0,0)(0,1).(0,1)(1,0)(1,1).(1,1)(,)(1,0)(1,1).(1,1)fffMfffMF x yf Nf Nf NM一幅黑白灰度图像，要对其进行数字化，步骤如下：用Flash A/D变换器对每个像素进行取样；将每个像素的取样值（如灰度级）以2的整
9、数幂表示，即G2m。当m8,7,6,1时，其对应的灰度等级为256,128,64,2；Flash A/D变换器处理这些数据；Flash A/D变换器将经处理后的数据存储在存储器中，使图像变为计算机可以操作的一系列数据。采用上述处理后，灰度图像除了可通过电子数据来描述外，还能通过电子数据来重建。5.1.4 数字化彩色图像 众所周知，无论是视频模拟信号还是视频数字信号，对彩色图像的还原与记录，都是采用三基色原理。其彩色信号可以分解为R,G,B三个分量。例如，要记录和重建一幅彩色画面，就可以方便地用R,G,B三种传感器来进行，其中每个分量都可以采用和灰度图像相同的方式表示。实际上，对于人类的视觉特性
10、来说，一幅彩色图像的亮度信息应该比色度信息丰富。因此，现行的电视系统都是把亮度信号和色度信号分开进行处理，并把调制后的色度信号以频谱交错的方式置于亮度信号的频谱的高端，以亮/色信号混合的方式进行传输。而对于数字彩色视频信号，仍然遵循这一原则，即对亮度信号和色度信号分配以不同的比特率进行编码。由R,G,B信号进行等自由度的可逆线性变换，就可得到构成彩色视频信号的亮度信号Y和两个色差信号RY及BY。其中，RY和BY经简单的幅度处理后分别用V和U表示，即有如下的变换式Y0.587G0.3114B0.3299RU0.331G0.500B0.169RV0.419G0.081B0.500R针对人类视觉的亮
11、度灵敏度比色度灵敏度高的特点，亮度信号和色度信号在编码时分配以不同的比特。其中，亮度信号经较多的比特进行编码，而色度信号则给以较少的比特。这也可以看作是对彩色数据的初始压缩。5.1.5 数字视频信号的形成 模拟信号在时间、数值上是连续的，所以，从信息理论上分析，模拟信号包含了无限的信息数量。而数字化是采取保留所考虑的信号的某些代表值的方法，使信息内容减少到一种合理层次。具体从时间和幅度上采样两方面来解决这个问题。数字视频也包括这两方面的内容，即空间位置的离散、数字化及亮度电平值的离散、数字化。这就关系到生成数字化视频信号的过程，即扫描、采样、量化和编码。1扫描过程（1）逐行扫描逐行扫描有点像用
12、眼睛阅读书籍，一行接一行地进行。逐行扫描将二维图像转换为一维电信号表示。为了将二维图像空间所覆盖面积上的每一个最小单位面积都照顾到，扫描过程都是按从左到右、从上到下的顺序进行。进行扫描时，扫描头从图像的左上角开始沿水平方向移动到图像的右端，完成一个扫描行，然后再快速地返回到下行的开始点，开始第二个扫描行，依此继续，直到扫描完整个图像。绝大多数计算机显示器都是采用逐行扫描，其集合称为帧。由于扫描过程是连续的，因此逐行扫描得到的图像具有较高的清晰度。（2）隔行扫描现行电视系统大多数都采用隔行扫描，其方式为隔一行后再扫描下一行。隔行扫描行的集合称为场。由于一场扫描仅得到逐行扫描所对应的一半的扫描行，
13、因此，一场图像的清晰度显然不如一帧图像的清晰度高，而随后下一场的扫描应该对本场刚刚没有扫描过的那些行来进行。这就涉及到奇数场和偶数场的概念。一帧完整的图像应该由奇、偶两场组成，它们在时间上有一段延时，但在空间上却相互补充。2采样过程（1）采样采样是指以一个周期为T的窄脉冲流对模拟信号的幅度进行抽取，把时间上连续变化的模拟信号变成时间上的离散信号，包括取样和抽样两部分。此过程是在每一条水平扫描线上等间隔地抽取视频图像的属性值。（2）视频信号的属性对模拟视频信号进行数字化，关键是捕获包含在模拟信号中的有用信息，并去除冗余成分。为了正确进行模/数转换，就须认识数字化信号的属性，如带宽、信噪比、信号失
14、真度和动态范围等。带宽说明给定时间周期内的模拟信号的最大可能变化，它决定了为保留信号的信息内容而必须在每个单位时间的采样点数。动态范围和其他因素决定了保存信号振幅的精确程度。为了将模拟信号转换为数字信号，通常对模拟信号进行等时间间隔采样，而且每个采样的幅值都数量化，并分配给一个数字码字。（3）采样频率的选取采样频率对数字系统非常重要。若采样频率取得过高，其数字化后的数据比特率就很高，会造成传输和存储速度缓慢；过低则会丢失信号的重要信息，除产生某些干扰信号外，分辨率也会下降。应用奈奎斯特采样定理采样，如图5-2所示。要保证采样的样值信号正确恢复其原始信号，采样频率fs就要达到信号最高频率fM的2
15、倍以上。若采样频率fs2fM，则会出现混叠现象，将对视频图像信号本身产生干扰。要解决这个难题，在采样前，一般要对有噪声的视频图像信号进行低通滤波。模拟信号被看作是一个连续的图像函数f(x,y)，采样便是对图像函数f(x,y)的空间坐标(x,y)进行离散化处理。对这样一个函数，沿x方向以等间隔x采样，采样点数为M；沿y方向以等间隔y采样，采样点数为N：于是得到一个MN的离散样本阵列f(x,y)MN。3量化过程（1）量化的意义经采样后的视频图像，仍以空间上的离散像素阵列行式存在，对每个像素的亮度值而言，还是连续的，需要把它转换为有限个离散值，这个过程称为量化，如图5-3所示。若像素值等间隔分层量化
16、，则称为均匀量化；若使用非等间隔进行分层量化，则称为非均匀量化。（2）量化的实质 量化的实质是对每个像素的灰度或颜色样本进行数字化处理，在样本幅值的动态范围内进行分层、取整，以正整数表示。如图5-4所示，采用有限个量化电平来代替无数个采样电平，使原来幅度连续变化的模拟信号变成一系列离散的量化电平值。为进一步显示信号幅值被数字化，在A/D转换器的输出端，模拟信号采样的瞬时值是由有限而且定长的二进制代码值表示的。转换到离散幅值时，可能引入舍入误差和量化噪声。为了尽可能不失真地重现模拟信号，需合理选择量化电平。显然，将量化电平分得越细，其失真程度就越低，但数字化后的比特率也会成倍增加；如果选得太低，
17、信号就会出现轮廓效应，并伴随有量化噪波。最佳量化的目标是使用最少的电平数实现最小量化误差。设计最佳量化器的方法有两种。一种是客观的计算方法，根据量化误差的均方值为最小的原则，计算出判决电平和量化器输出的电平值；另一种是主观准则设计方法，根据人眼的视觉特性设计量化器。对二进制方式，其量化比特数一般取为8 bit，由于其量化电平数为256（28）个量化电平，基本上满足了人眼的视觉特性。因此，现在的数字视频领域已广泛采用8 bit量化。4编码实质 码（coding）就是按照一定的规律，将量化后的值用数字表示，然后变换成二进制或其他进制的数字信号。通过采样、量化和二进制编码所形成的信号称为脉冲编码调制
18、信号，如图5-5所示。对于一个模拟信号，若采用4个量化电平，编码就是对每一个量化电平分配一个二进制码的过程。对于4个量化电平，通常用2 bit表示。如果这4个电平仅是256个量化电平中的一部分，那么就要用8 bit表示。图5-5 编码实质视频信号是一种有灰度层次的图像信号。视频信号数字编码的实质是：在保证一定质量的前提下，以最少的比特数来表示视频图像。对标量量化来说，对视频信号进行线性PCM编码，其信噪比与量化比特数的关系为：当像素的编码比特数每增加或减少1时，其信噪比约增加或减少6 dB。图像压缩编码标准主要有ITUR601,MJPEG,MPEG,H.263,H.264等几种。5.1.6 数
19、字视频编码标准 1ITUR601标准 ITUR601标准在视频信号的数字化进程中起重要作用，见表5-1。该标准采用分量编码，其中，亮度信号Y的采样频率为13.5 MHz，为525/60和625/50两系列三大现行电视制式行频公倍数（2.25 MHz）的6倍，而色度信号的采样频率则是亮度信号采样频率的一半，即RY和BY的采样频率都取为6.75 MHz（因人类视觉对彩色分辨率不敏感）。无论对哪种制式，每行的样值数都为720个，两个色差信号的样值数则各为360个，由此形成了720 360 360的采样结构，简记作4 2 2格式。由于图像处理技术的发展，对数字视频存储的需求越小越好，因而在近几年中，某
20、些新型录像机又提出了采用4 2 0与4 1 1两种采样格式，用以进一步降低数字视频码率。由于4 2 0的采样结构是对色差信号进行轮换采样，相当于降低了信号的时间分辨率，因此虽在水平方向上每两个亮度样点对应一个Cr/Cb 样点，但在垂直方向上则是每两个Y样点含一行Cr/Cb 样点。而4 1 1的采样格式，是将对色差信号的采样频率进一步降低到亮度信号采样频率的1/4，相当于进一步降低了色度信号的空间分辨率。在每个有效行内有720个亮度样点，只有180个色差样点。参数名称625行/50场525行/60场编码信号Y，RY，BY亮度、色差信号每行取样数亮度864，色差432亮度858，色差429取样结构
21、正交、按行、场、帧重复，RY，BY样点同位置，并与每行中第奇数个Y样点同位置取样频率亮度信号13.5 MHz色差信号6.75 MHz编码方式亮度信号和色差信号都采用线性PCM，每个取样值8比特均匀量化一个有效的取样数亮度信号720每个色差信号360视频信号与量化等级数对应亮度信号共220个量化级，黑电平对应于量化第16级，峰值白电平对应于量化235级每个色差信号共224个量化级，零电平相应于0225量化层的中心，即第128级2MJPEG标准 作为运动静止图像压缩技术，MJPEG是较早使用的一种图像压缩编码标准，它将运动的视频序列作为连续的静止图像来处理，可单独完整地压缩每一帧，在编辑过程中可随
22、机存储每一帧，进行精确到帧的编辑。但MJPEG只对帧内空间冗余进行压缩，不对帧间的时间冗余进行压缩，故压缩效率不高。3MPEG标准 MPEG标准是指由ISO的活动图像专家组制定的一系列关于音/视频信号及多媒体信号的压缩与解压缩技术的标准。此标准又分成几种：1991年批准的MPEG1和MPEG3、1994年批准的MPEG2、1999年批准的MPEG4和MP4，以及正在制定的MPEG7和MEPG21。其中，MPEG1与MPEG2已经广泛应用于包括多媒体视频监控系统在内的各种数字视频领域中，MP4作为目前最新的数字视频标准之一（另外一种是H.264标准），也逐渐成为多媒体视频监控系统采用的主流数字视
23、频标准。（1）MPEG2标准 MPEG2作为现行大多数多媒体视频监控系统使用的视频压缩标准，其基本框架如图5-6所示。MPEG2标准规定视频码流的层次化结构，以便更好地表示编码数据。MPEG2的视频码流共分为六层，见表5-2。表中层次从高至低依次为图像序列（Video Sequence）层、图像组（Group of Pictures）层、图像（Picture）层、宏块条（Slice）层、宏块（Macroblock）层、块（Block）层。MPEG2是MPEG1的扩充、丰富、改进与完善，MPEG2标准的视频数据位速率为415 Mbps，能提供720480（NTSC）或720576（PAL）分辨率
24、的广播级质量的图像，可用于包括宽屏幕和HDTV在内的高质量电视广播。其主要特点如下：语法规定的层次功 能图像序列层随机存取段落图像组层随机存取视频单位图像层基本编码单位宏块条层重新同步单位宏块层运动补偿单位块层DCT单位 MPEG2解码器通常支持MPEG1和MPEG2两种标准；MPEG2的基本分辨率为720480，传输率为30帧/秒，并具有CD级音质；MPEG2有“按帧编码”和“按场编码”两种模式。在MPEG1中，没有定义电视帧，只支持逐行扫描，不支持隔行扫描。在MPEG2中，针对隔行扫描的常规电视中的电视图像，专门设置了“按帧编码”模式。与之相对应，运行补偿算法进行相应扩充，分为“按帧运动补
25、偿”和“按场运动补偿”，因而编码效率显著提高；MPEG2允许在一定范围内改变压缩比，以便在画质、存储容量和带宽之间作出权衡，它可在30 1或更低的压缩比时提供广播级质量；MPEG2的压缩比高达200 1，能够实现以30帧/秒的速度播放全屏幕影像，实现压缩比依赖于节目内容及重放质量，运动及变化背景越多，压缩比就越低；MPEG2可对分辨率可变的视频信号进行压缩编码，预计传输率将为10 Mbps。（2）MPEG4标准 MPEG4是MPEG专家组于1994年开始制定的新标准，编号为ISO/IEC 14496，其基本框架如图5-7所示。MPEG4的主要特点是提出了基于各种媒体对象的编码规范，因而更便于对
26、象的描述与交互处理。同时，其视频编码部分也保留了在MPEG1和MPEG2标准中的一些解决方案，见表5-3，MPEG4基于内容图像编码简化的原理图如图5-8所示。MPEG4压缩标准由以下几方面构成。MPEG-4标准组成ISO/IEC 14496-1（系统）ISO/IEC 14496-2（视频）ISO/IEC 14496-3（音频）ISO/IEC 14496-4（一致性测试）ISO/IEC 14496-5（参考软件）ISO/IEC 14496-6（多媒体传送集成框架DMIF）ISO/IEC 14496-7（最优化视觉工具软件）ISO/IEC 14496-8（在IP网上传送MPEG4）ISO/IEC
27、 14496-9（用VHDL描述MPEG4的尝试）ISO/IEC 14496-10（AVC/H.264编码）MPEG1MPEG2MPEG4标准确定时间/年199219951999最大图像输出35228819201152720576默认图像输（PAL）352288720576720576最大音频取样/kHz489696最大音频声道288最大数据率/Mbps380510常用数据率1.38 Mb/s6.5 Mb/s880 kbps图像质量满意度一般非常好好编码硬件要求低高非常高解码硬件要求非常低一般高 多媒体传送整体框架 多媒体传送整体框架（DMIF，The Delivery Multimedia
28、Integration Framework），主要解决交互网络中、广播电视环境下的多媒体视频监控系统及DVR中多媒体应用的操作问题。通过传输多路合成比特信息来建立客户端和服务器端的交互和传输。通过DMIF、MPEG4可以建立具有特殊品质服务（QoS）的信道和面向每个基本流的带宽。数据平面 MPEG4中的数据平面分为传输关系部分和媒体关系部分。为使基本流和AV对象在同一场景中出现，MPEG4引用了对象描述（OD）和流图桌面（SMT）的概念。OD传输与特殊AV对象相关的基本流的信息流图。桌面把每一个流与一个CAT（Channel Assosiation Tag）相连，CAT可实现该流的顺利传输。缓
29、冲区的管理和实时识别 MPEG4定义了一个系统解码模式（SDM），该解码模式描述一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式，通过有效地管理，可以更好地利用有限的缓冲区空间。音频编码 MPEG4的优越之处在于它不仅支持自然声音，而且支持合成声音。MPEG4的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征。视频编码 与音频编码类似，MPEG4也支持对自然和合成的视觉对象的编码。合成的视觉对象包括2D、3D动画和人类面部表情动画等。a形状编码视频对象的形状信息有两类：二值形状信息和灰度形状信息。二值形状信息用0、1来表示，0表示非视频对象面区域，1表示
30、视频对象面区域。二值形状信息的编码采用基于运动补偿块的技术，可以是无损失或有损失编码。灰度形状信息用0255之间的数值来表示视频对象面的透明程度。其中，0表示完全透明，相当于二值形状信息中的0；255则表示完全不透明，相当于二值形状信息中的1。b运动信息编码在MPBG4中也采用运动预测和运动补偿技术，与MPEG1和MPEG2不同的是，这些运动信息的编码技术是针对任意形状视频对象面的帧内、帧间预测和帧间双向预测编码。c纹理编码纹理编码可针对任意视频对象面进行，编码方法仍采用基于88像素块的DCT。但对位于视频对象面之外的像素块，则不进行编码。d分级编码分级编码对系统在时域、空间及质量方面提供了一
31、定的伸缩性，使解码系统可依据具体的信道带宽、系统处理能力、显示能力及用户需求进行分辨，即接收机可视具体情况对编码数据流进行部分解码，从而降低了解码的复杂度，当然此时的图像质量也有所下降。场景描述功能 MPEG4提供了一系列工具，用于组成场景中的一组对象。一些必要的合成信息就组成了场景描述，这些场景描述以二进制格式BIFS（Binary Format for Scene description）表示，BIFS与AV对象一同传输、编码。场景描述主要用于描述各AV对象在一具体AV场景坐标下、如何组织与同步等问题。MPEG4为多媒体视频监控系统提供了丰富的AV场景。4H.263标准 H.263是ITU
32、T提出的作为H.324终端使用的视频编/解码建议。H.263经过不断的完善和多次的升级已经日臻成熟，如今已经大部分代替了H.261，而且由于其能在低带宽上传输高质量的视频流而日益受到欢迎。H.263是基于运动补偿的DPCM的混合编码，运动补偿的DPCM混合编码在运动搜索的基础上进行运动补偿，然后运用DCT变换和“之”字形扫描编码，从而得到输出码流。H.263在H.261建议的基础上，将运动矢量的搜索增加为半像素点搜索，同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和PB帧编码等四个高级选项，从而达到进一步降低码速率和提高编码质量的目的。5H.264标准 H.264是ITUT的VC
33、EG和ISO/IEC的MPEG的联合视频组开发的一个新的数字视频编码标准，实际上是ISO/IEC的MPEG4的第十部分。在相同的重建图像质量下，H.264能够比H.263节约50%左右的码率，在性能方面比目前根据MPEG4实现的视频格式提高33%左右，即H.264拥有更快的码速，其压缩速度与传输图像、声音及数据的速度更快，更适应多媒体视频监控系统对多媒体信息进行快速、高效处理的需要。作为最新的图像视频压缩标准，H.264拥有高压缩效率、高质量的编码效果，还具有自适应延时约束与容错功能。H.264支持分层设计，支持高精度、多模式运动估计，支持基于44块的整数变换；支持统一的视频编码层（VCL），
34、支持帧内预测，支持面向IP和无线环境。H.264从设计上把视频的编码与传输分开，采用网络友好的结构和语法，形成视频编码层（VCL）与网络提取层（NAL）。其中，前者提供核心的高质量视频压缩，后者针对具体的网络传输环境把压缩数据进行环境封装，这样更利于封装打包和信息优先级控制，提高了其对不同网络的适应能力，这也是基于网络的视频监控系统将H.264标准作为其视频压缩标准的首选原因。5.2 多媒体监控系统 1物理结构多媒体监控系统是多媒体计算机与视频监控系统相结合的产物。按多媒体计算机与监控系统的融合程度的高低，分为简单的多媒体监控系统和标准的多媒体监控系统。此分法也间接地反映了多媒体监控系统的发展
35、过程：由早期简单的、传统监控系统主机外挂多媒体计算机到将多媒体计算机融入监控系统，使其形成一个统一的系统。2多媒体技术应用多媒体监控系统的应用有两种形式。（1）第一种形式视频监控系统经过与多媒体计算机配合，由计算机操作平台开发出图形用户界面（GUI）。该系统为用户提供一个形象化的人机交互界面，还可在计算机操作平台上将视频监控与其他技术系统的各种不同的数据处理和控制功能进行集成。其结构为网络化分布式，即所谓前端控制功能（主要是图像信号的分配、切换和前端设备的控制）。（2）第二种形式直接输入模拟视频信号，数字化后进行图像压缩，然后进行存储、传输及相关的处理，即所谓中心端处理。其实质为数字视频记录（
36、DVR）和远程监控设备。DVR具有图像识别与特征提取能力，通过图像分析实现运动物体的探测和报警；控制相关的机构，使视频监控更智能化。这种形式是以图像的中心端处理为主的形式。以上形式正在逐渐融合，将成为未来视频监控系统控制器的主要工作模式。5.2.1 外挂多媒体监控系统 如图5-9所示，外挂多媒体监控系统是将原来的系统主机的控制键盘部分省去，并保留系统主控制器及视频/音频矩阵切换器，由外接的计算机来控制系统主控制器、音频矩阵切换器，并为传统的矩阵切换器/系统主机增加RS-232C串行通信端口，使其与计算机的RS-232C端口相连。运行于计算机的视频监控系统软件，通常具有与原来矩阵切换器/系统主机
37、的控制键盘类似的图形界面，各屏幕按钮的功能也与控制键盘上对应按钮的功能完全相同。这样，当用鼠标单击各屏幕按钮时，控制指令便通过RS-232C通信端口传送到矩阵切换器/系统主机，使其完成指定的功能。由于计算机充当了控制键盘的角色，所以这种系统属于早期改造传统视频监控系统的一种形式。这种形式的多媒体监控系统的主画面通常不具备多画面开窗功能，也不能支持网络操作分控制器，仍然采用常规的分控键盘，所以这种系统不能称为真正的多媒体监控系统。改进的系统在计算机中增加一块图像采集卡和声卡，图像采集卡和声卡可分别接受由视、音频矩阵切换主机第一路输出端口传来的视/音频信号，采用画中画形式在屏幕上显示视频画面，并通
38、过与声卡连接的外接式音箱放出监听的声音。这样，通过操作鼠标，就可以在计算机屏幕上打开视频窗口，通过选择摄像机通道号再单击控制按钮，就可以对照视频窗口，对远端摄像机的云台及电动镜头进行全方位控制。但整个系统的前端解码器仍是通过RS485总线与系统主控制器直接连接。5.2.2 标准多媒体监控系统 1标准多媒体监控系统的结构如图5-10所示，标准多媒体监控系统采用模块式结构，包括主机和前端解码器。其主机部分由视频矩阵切换卡、音频矩阵切换卡、通信控制卡、图像采集卡、声卡、网络通信卡及内置式调制解调器（又称Modem卡）等构成，并统一装置在工控机的机箱里。各功能模块间建立了必要的内在联系，故各功能模块间
39、的冲突得以消除，所以系统的集成度、稳定性都有很大的提高，功能也更加完善。现在的标准多媒体监控系统，在控制方式上采用的是包含数字压缩图像传输的TCP/IP网络分控（有关TCP/IP网络分控内容在后面章节中具体介绍）。（1）视频矩阵切换卡 视频矩阵切换卡如图5-11所示。其基本功能与普通视频矩阵切换器相同，也由多路模拟开关集成电路构成，可将任一输入端口的视频信号切到任一视频输出端口，实现了视频的分配及切换放大。由于该卡要实现对多路信号的切换，而插卡后面板的有限面积上不能提供过多的视频输入/输出接口，因此，该插卡的后面板上只有一个多针脚的“female”型D型连接器，并由外接的“male”型D型连接
40、器引出多根视频电缆并配接视频BNC座。每个视频矩阵切换卡各配有这种具有16个视频输入/输出接口的视频BNC座。与普通视频切换器不同的是，视频矩阵切换卡具有计算机ISA总线接口并直接接受计算机指令的控制，其控制速度达到了107 s。此外，视频矩阵切换卡上的电路部分采用视频差分放大，使视频干扰降低到一定程度。标准视频矩阵切换卡含有1616视频矩阵和扩展接口，小型系统也可选用44或88的矩阵卡。切换卡之间简单的并联或跳线设置，可方便地扩展视频输入/输出路数，还不会影响扩展后切换开关的控制速度。（2）音频矩阵切换卡 音频矩阵切换卡的结构和功能音频矩阵切换卡的结构与视频矩阵切换卡基本相同，能完成音频信号
41、的分配与切换放大，还能一直确保与对应的视频图像进行同步切换。由于也涉及到多路音频信号的输入/输出，所以每块音频矩阵切换卡同样配有两把具有16路RCA音频接口的“小辫子”。标准音频矩阵切换卡含有1616音频矩阵和扩展接口，小型系统同样也可选用44或88的矩阵卡。切换卡之间简单的并联或跳线设置，可方便地扩展音频输入/输出路数，还不会影响扩展后切换开关的控制速度。音频矩阵切换卡的功能和视频矩阵卡基本相同，也不对音频信号进行数字化处理。因此，若要使音频信号进入计算机做进一步的处理，并进行网络传输，需将由音频矩阵卡切出的音频信号再通过声卡返送回计算机。音频矩阵切换卡的设置原则上，网络分控有多少路声音就需
42、设置多少块声卡，也有的利用其左、右声道各传送一路音频信号，从而使声卡的数量减少了50%。然而在实际工程中，有的监视点只观察图像，有的监视点只监听声音，所以系统中摄像机的数量与监听头的数量并不要求完全一致，需结合实情相应设置。（3）矩阵日常故障的处置 对于矩阵的日常故障，应该先从编程方面入手，再检查矩阵本身的问题，不至于因对故障方位的错误判断而耽误系统正常的运转。1）检查编程是否正确，有无遗漏之处 使用分控键盘时，检查对监视器的分配和授权的编程是否正确。设置报警监控和录像时，检查是否正确连接报警设备；检查编程是否合理（相关设备的数据冲突）。连接外部受控设备（如快球、解码器、报警设备）时，要注意说
43、明书所提供的数据端口，正确连接，必要时应得新编程。2）对矩阵本身故障的检查 开机无显示，请查看保险丝。32路以上矩阵箱开机无显示时，查看插板发光二极管的工作是否正常。不正常时，重插该板。某路无输出时，可调换一路正常的画面，以便查看是矩阵问题还是其他问题。控制失效时，查看是否接对控制端口，受控器是否有编码；或者更换另一端口试一试。（4）通信控制卡的功能 通信控制卡提供RS485通信接口，同时也是ISA总线插卡，主要用于与前端解码器进行半双工通信。RS485通信的传输方式为平衡差分输入/输出，其通信速度与抗干扰性均较高。RS485在总线上只用于控制指令的传输，所以其对线路没有太高的要求。此外，通信
44、卡上还设有硬件发送和接收缓冲区，提高了通信线路中数据的可靠性。（5）图像采集卡的功能 图像采集卡接收视频矩阵切换卡输出的视频信号，并实时对其数字化处理，再交由计算机后期处理。这样，通过软件就可以实现对视频图像的显示、静态存储、实时捕捉和报警等功能。在系统中，把切换卡的输出交由视频卡处理，使其拥有对每路视频输入的图像激活、显示、存储、捕捉和视频报警等能力。摄像机的图像可经视频采集卡在显示器上开窗显示，还能省去传统的监视器。此外，一台计算机可以插入多块图像采集卡，因而可以同时对多路图像进行采集处理，使系统拥有多画面同屏实时显示的能力。（6）声卡的功能与应用 声卡的功能声卡的功能是指对声音信号的采集
45、与输出。在多媒体监控系统的主机上，声卡的采集功能与图像采集卡的功能基本相同，即接受从音频矩阵切换卡输出的音频信号，然而，它却多出一个输出功能来。声卡用于接收音频矩阵切换器输出的来自摄像机现场的声音信号，并经过外接的扬声器发出音响。声卡的应用实际应用时，声卡的线路输出信号可作为另一块音频矩阵切换卡的输入源，以实现双向对讲功能。由于新型多媒体系统主机支持多块声卡并行工作，故可实现多路声音信号的网上传输。因此，利用声卡的线路输出并与音频矩阵切换卡配合，即拥有主控与前端、主控与分控、前端与分控的多路交叉、双向对讲的功能。（7）解码器 解码器属于前端设备，但与多媒体系统主机连接的解码器比传统矩阵解码器具
46、有较多的功能，因此它也是最小单元的系统。解码器主要包括8路报警、6路无源触点、3路220 V有源触点可控开关、8选1控制模拟数据通路和1路RS485通信接口及云台镜头控制接口。实现这些功能的核心是单片机电路，用单片机进行编、解码操作。解码器中还装有小型监控程序，一旦发生报警，会自动产生相关动作，启动本地报警连动装置，并将报警信息编码后经RS485总线传回到控制中心。通过跳线的不同接法，解码器的6路无源触点可以选择接入12 V,6 V,3 V等不同的电压或不接入电压。因此，解码器的6路行动输出接口既可以输出不同的电压，又可以作为无源开关使用。解码器的报警接口为模拟接口，通过8位A/D转换器接入单
47、片机系统。因而单片机可以辨别出接口的256种变化量。对于普通的报警控头，采用三线制能够有效辨别报警控头的电源线，地线，数据线的断路、短路和数据线上的报警状态。对于温度探测器、压力探测器等模拟量输出型探测器，可以识别出各种温度、湿度、压力等的变化，从而实现对环境因素的监视和控制，为今后的功能扩展奠定坚实的物质基础。2基于网络的多媒体分控 通过硬件接口及软件设置，多媒体视频监控系统可适用于多种网络环境。例如，在以太网环境下，通过TCP/IP通信协议即可实现网络多级分控，网络上的任何授权客户端都可以通过系统主机来调看任意监视现场的图像，并向前端解码器发布指令，对云台镜头进行控制。多个监视现场的图像可
48、以在同一网络分控端的屏幕上同时显示出来。在SDH环网上，经由2 Mbps的E1信道传输还可以实现远程多媒体视频监控，这种系统在控制中心可以监看数十千米外的现场图像，并监听该现场的声音，并对前端的解码器进行各种控制，还可以接收远端的报警信号，使无人值守的远程视频监控成为可能。另外，在光纤主干、ISDN、DDN、ADSL卫星接入、无线网桥等网络环境下的远程多媒体视频监控也相继获得成功。通过软件设置，多媒体视频监控系统还具有多种与外设的通信方式及接口，以快速方便地实现不同的通信控制要求，如通过RS485或RS232通信及控制。当然，如果本系统的多媒体计算机没有联网，通过RS485总线仍可实现分控功能
49、。3标准多媒体监控系统的结构特点 标准多媒体监控系统，采用以分布式结构、高性能多媒体工控机为核心的中心控制设备，完全代替了传统视频监控系统的中心控制端设备。和外挂多媒体监控系统相比，它有两个特点：具有友好的人机交互界面；具有基于网络的多级分控能力，每一级都有自我管理和控制的功能，并可受上一级的控制。5.3 多媒体监控系统软件 多媒体监控系统是软件、硬件结合的统一体。从理论上讲，在保证硬件系统物理连接的基础上，通过正确的软件设置，它拥有以下功能。1控制软件的功能（1）基本记录功能多媒体监控系统所监视的图像、声音、报警数据都能实时、有效地记录在计算机的硬盘上，供将来以多种检索方式来检索事件发生的时
50、间、地点及内容，并且有清晰的图像与可辨的声音。此外，多媒体监控系统还提供完整的值班记录、布（撤）防记录、报警记录、动（静）态视频图像记录，并可由系统的打印机打印成书面资料，为管理者在将来处理事件时提供多方面、第一手的信息。（2）分级授权控制功能 为防止系统被非法使用，提高系统的安全保密性能，多媒体监控系统对安装者、系统管理员及各级操作员可分别授予不同的权限，进行分权限控制与管理。其授权安装者可以使用系统软件对整个系统进行任意设置，如安排各监控区域图层，布置摄像机、报警器的位置，以及对整个系统的初始化设置等。其编程窗口拥有非常强的系统编程设置能力，可把本机设置为系统的主控制器或某个级别的分控制器
