1、 视频通讯(视频会议)：依托数据网络，通过音频、视频、数据交互，为有效的沟通、协作和决策提供了一个重要的手段。 使在人们无法聚集到同一个地点时，会议也可以照常举行。第一部分视频通讯基础协议 H.320协议 H.323协议 SIP协议 ITU-T关于N-ISDN网络中会议终端设备和业务的框架协议 保证服务质量的多媒体通信和业务。 适用于ISDN,DDN,E1，卫星等电路交换网络 专网专用,呼叫不灵活VideoH.261H.263H.264DataT.120H.239AudioG.711G.722G.728MultiplexingH.221ControlsignalingH.242H.243H.2
2、30NetworkInterfacesV.xxX.xxI.xxLineProtocolsI.361I.363I.400H.320 H.323是ITU的一个标准建议族，最新版本为V6版本 基于分组交换网络的多媒体通信终端系统 针对没有QoS保障的IP网络环境中的视听业务而制定 目前主流的视频会议基础协议 低码率的音视频编码标准G.723、G.729、H.263等 媒体打包和控制协议H.225.0 H.225.0标准描述了无QoS保证的LAN上媒体流的打包分组与同步传输机制。H.225.0对传输的控制流进行格式化，以便输出到网络接口，同时从网络接口输入报文中检索出接收到控制流。 定义在传送层之上
3、网络层采用IP协议 传送层采用TCP/UDP通信控制和呼叫信令采用TCP实时传输/实时传输控制协议建立UDP之上GKMCUGWTerminalTerminalendpointPSTN终端：基于IP的网络上是一个客户端点。它需要支持下面3项功能：支持信令和控制；支持实时通信；支持编码，即传前压缩，收后进行解压缩网关：提供在包交换网络和电路交换网络（SCN，Switch Circuit Network）之间的一个连接。网守：完成地址翻译、接纳控制、带宽控制、域管理4个必须功能。网守还支持呼叫控制信令、呼叫鉴权、带宽管理和呼叫管理，以及用户管理等可选的功能。多点控制单元（MCU）：多点控制单元支持3
4、个以上的端用户进行会话。典型的MCU包括一个多点控制器（MC）和若干个（也可以没有）多点处理器（MP）。MC提供控制功能，如终端之间的协商。MP完成会话中的媒体流的处理，如话音的混合、话音视频的交换。Video CodecH.261,H.263Audio CodecG.711,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0H.225.0层LAN接口视频 I/O 设备音频 I/O 设备用户数据应用T.120系统控制用户接口 H.323通信节点设备与其他终端设备的转换功能传输
5、格式和通信规程的转换 分组交换端与电路交换端之间的接口，语音图像编解码器的转换，呼叫建立和拆除接口FXS/FXOE1VI/T1VIE&MVideo/ Audio CodecSystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0LAN接口PSTN/ISDN分组交换网络分组交换网络网关网关 网闸（Gatekeeper） 完成呼叫控制功能，改善服务质量 地址翻译 接纳控制以防止壅塞 限定终端所使用的带宽、控制通化模式地址解析地址解析接入控制接入控制带宽控制带宽控制GK 域管理域管理 MCU多点控制单元 支持3个以上接点设备的会
6、议 MCU提供会议管理、终端能力的交换、音视频混合与切换 多点处理器（MP) 完成音视频混合与切换功能的部分 多点控制器（MC） 处理终端间H.245控制信息MCMP(Audio)MP(Video)MP(Data)CallVideoDataAudioMCU MCU对终端进行有限数量的视频编解码 通常不在分屏显示上的终端不进行解码 音频采用全编全解 通常具有演讲者模式和相同分屏模式 同等硬件平台下可实现的接入点数更多 MCU对全部的终端进行编解码 音频采用全编全解 除具有演讲者模式和相同分屏模式外可以实现灵活的个人分屏 同等硬件平台下可实现的接入点数少 网络适应性和设备兼容性最好 最传统的MCU
7、工作模式 对视频码流不做任何处理，仅做为转发 硬件消耗最小，可以实现海量MCU 通过SVC技术可以实现混速、分屏等原本需要DSP完成的功能 使低成本云网成为可能 Setup Call Proceeding Alerting Connect Release Complete Information 交互交互RTP流流Call ProceedingSetupAlerting终端终端 A终端终端 BConnect建立建立H.245会话会话Release Complete H.245的主要作用是多媒体通信控制 通信双方的能力协商 建立用于传输多媒体信息流的RTP通道 主要信令消息 TCS（Termin
8、al Capability Set，能力交换） MSD（Master-Slave Determination，主从确定） OLC （Open Logical Channel，打开逻辑通道）Terminal Capability Set ACK终端终端 A终端终端 BTerminal Capability Set ACKTerminal Capability SetMaster-Slave DeterminationMaster-Slave Determination ACKOpen Logical ChannelTerminal Capability SetMaster-Slave Deter
9、minationMaster-Slave Determination ACKOpen Logical ChannelOpen Logical Channel ACKOpen Logical Channel ACK交互交互RTP流流 DRQ终端终端 AGK终端终端 BACFARQ ARQ ACFSetupRelease CompleteConnectAlerting交互交互RTP流流建立建立H.245会话会话Call Proceeding DCF DRQ DCF ARQ LRQ LCF ACF Call Proceeding ARQ Alerting Setup ACF Connect 建立建立
10、H.245会话会话 交互交互RTP流流 Release Complete DCF DRQ DRQ DCF终端终端 A终端终端 BGK AGK B终端1SetupConnectCal l Proceedi ngAl erti ng终端2建立TCP连接Q . 931呼叫信令信道G KARQACFSetupConnectCal l Proceedi ngAl erti ng建立TCP连接G KARQACF终端1终端2SetupCal l Proceedi ng建立TCP连接Al erti ngConnect RTP（Real-Time Transport Protocol，实时传输协议）是一个传输层
11、的、基于UDP的协议 RTP协议被用来为音视频等实时数据提供端到端的网络传输，传输的模型可以是单点传送或是多点传送 RTP协议是为支持实时业务而设计的，保证业务的接收和发送在很短时间内完成lV：版本lP：填充标志lX：扩展lCC：贡献者计数lM：标记lPT：净荷类型VP XCCMPTsequence numbertimestampsynchronization source（SSRC）identifiercontributing source （CSRC）identifierdata012345678901234567890123456789012 序列号和时间戳在通信双方进行通信的过程中实现
12、下述功能： 确保业务数据包的正确顺序 是否有数据包被抛弃或丢失 对业务流进行同步 RTCP（RTP Control Protocol，实时传输控制协议） RTCP作用是监控服务质量，同时为端点之间提供“交互服务质量信息”的机制 RTCP和RTP一起提供流量控制和拥塞控制服务 在RTP会话期间，各参与者周期性地传送RTCP包 RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计信息，端点可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型 Session Initiation Protocol -会话发起协议 是IETF制定的多媒体通信协议，它是一个基于文本的应用层控制协议，独立于
13、底层协议，用于建立、修改和终止IP网上的双方或多方的多媒体会话 SIP协议最早由是由MMUSIC IETF工作组在1995年研究的，由IETF组织在1999年提议成为的一个标准 SIP主要借鉴了Web网的HTTP和SMTP两个协议 SIP协议支持代理、重定向、登记定位用户等功能，支持用户移动（Personal Mobility），支持多媒体业务和各种特色业务SIP ：客户/服务器协议 H.323：多媒体通讯协议 协议消息（请求、响应） - Q931 呼叫消息 邀请建立或终结会话 呼叫请求、响应、摘机等 SDP描述 - H.245信令 交换媒体类型和媒体参数 媒体协商、控制、管理 UAC用户代理
14、客户机 - H.323智能终端 UAS用户代理服务器 - H.323网关/网守受理呼叫 路由和代理呼叫 Proxy代理服务器 - H.323网关 RedirectServer重定向服务器 - H.323网守 RegistServer登记服务器 - H.323用户网守 LocationServer定位服务器 - H.323网守/顶级网守 对应关系：SIP是由IETF提出的IP电话信令协议，解决IP网中的信令控制。ITU-T制定的支持IP网络多媒体通信的H.323协议族相对应，两者的比较如下：相同点：1、均为多媒体通信的应用层控制（信令）协议，目前一般用于IP电话2、能实现的信令控制功能基本相同3
15、、都利用RTP作为媒体传输的协议异同点：SIP由IETF提出，借鉴了其他Internet标准和协议的设计思想，SIP协议简单，采用文本方式，具有较好的功能扩充性和网络可扩展性，并易于实现。 lH.323由ITU-T提出，采用的是传统的实现电话信令的模式，便于与传统的电话网互通； H.323协议发展得比较成熟，但相对复杂得多： PSTN互通， H.323吸取很多Q931信令的设定内容，使得与传统的PSTN网、以及H.320网等具备良好的互通能力； 编码方式，H.323采用ASN.1 PER算法；使得H323协议栈在互通性、扩展性、以及实现方面难度很大； 媒体协商， H.323有完善的主从、能力交
16、互、媒体切换等规范，并具备强大的多媒体会议拓展、主席控制、带宽管理等功能；SIPAdapterH323GKH323AdapterSIPEndpointH323EndpointInvite（SDP）Setup （Media）AlertingAlerting通话180 RingingARQACFSetup （FS）100 TryingConnect （FS）Connect （Media）200 OK (SDP)Ack第二部分 编码协议 视频编码 音频编码 视频压缩：使用视频压缩算法技术将视频中数据的冗余信息去除，降低表示原始视频所需的数据量，以便视频数据的传输 时间冗余信息 空间冗余信息 感知冗余
17、信息 统计冗余信息 I帧是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码 视频序列中的第一个帧始终都是I帧 如果所传输的比特流遭到破坏，则需要将I帧用作新查看器的起始点或重新同步点 I帧可以用来实现快进、快退以及其它随机访问功能 I帧的会占用更多的数据位 P帧（帧间预测编码帧）需要参考前面的I帧和/或P帧的不同部分才能进行编码 P帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧 P帧对前面的P和I参考帧有依赖性，存在解码错误的扩散 P帧的压缩比较高 B帧（双向预测编码帧以前帧和后作为参考帧 B帧需要根据相邻的前帧、本帧以及后帧数据参考压缩本帧 B帧压缩率最高,可达到200:
18、1 由于参考前后两帧,画面精度最高 由于依赖后帧,所以不适合实时传输使用ITU:ISO/IEC: H.261是第一个实用的数字视频编码标准 MPEG-1，MPEG-2H.262，H.263，H.264都延续了H.261的设计架构 使用了混合编码框架，包括了基于运动补偿的帧间预测，基于离散余弦变换的空域变换编码，量化，zig-zag扫描和熵编码 设计的目的是能够在带宽为64kbps的倍数的综合业务数字网上传输质量可接受的视频信号 码率能够支持40kbps到2Mbps之间工作，能够对CIF和QCIF进行编码 H.263是由ITU-T制定的视频会议用的低码率视频编码标准 H.263的性能在所有码率下
19、都优于H.261 1998年发布了H.263+ 2000年发布了H.263+ H.263+最高分辨率可直到16CIF H.264是由ITU-T视频编码专家组（VCEG）和ISOIEC动态图像专家组联合组成的联合视频组提出的高度压缩标准 H.264可支持更高的像素精度、支持更高的色度抽样 系统支持更灵活的自定义功能 相同的图像质量下，码率可以减少50% 除视频会议以外，广泛应用与监控、广电等领域 具有Baseline Profile、Main Profile、Extension Profile、 High Profile H.264标准的不同profile代表了针对不同应用的算法集及技术限定。
20、Baseline针对低复杂度应用，High Profile针对高效能运算 Baseline Profile ：提供I/P帧，仅支持逐行扫描 Extended Profile ：提供I/P/B/SP/SI帧，仅支持逐行扫描 Main Profile 提供I/P/B帧，支持逐行扫描和隔行扫描。 High Profile 在Main Profile基础上新增8x8 帧内预测, 、自定义量化, 无损视频编码, 更多的yuv格式 H.264 SVC（H.264可分层编码）作为H.264标准的一个扩展最初由JVT在2004年开始制定 在编码时利用对时间上（帧率）、空间上（分辨率）、视频质 量（分辨率）进行
21、分层，可产生不同帧速率、分辨率或质量等级的解码视频 相对与传统的AVC编码增强了数据包之间的关联性 具有更好的网络适应性 使海量MCU成为可能Temporal & Spatial ScalabilityEfficiency 声音是携带信息的极其重要的媒体（20） 声音是通过空气传播的一种连续的波，叫声波，也具有反射、折射和衍射现象。 声音信号是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。 带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。 声音是时基类媒体。 音调、音强、音色为声音的三要素。 音强（响度）取决于声音的幅度（分贝）。 音调取决于
22、声音的频率。 音色是由混入基音的泛音所决定的。 声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。声音类型带 宽电话语音200Hz3.4kHz调幅广播50Hz7kHz调频广播20Hz15kHzCD20Hz20kHz 声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。 声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化。 采样（sampling）：将声音信号在时间上离散化，即每隔相等的一段时间抽取一个信号样本。 量化（quantization）：将连续的信号幅度离散化。如果幅度的划分是等间隔的，称为线性量化，否则为非线性量化。 电压范围 量化(d
23、ec) 编码(bin) 0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001 -0.1 0.1 0 000 -0.3 -0.1 -1 111 -0.5 -0.3 -2 110 -0.7 -0.5 -3 101 -0.9 -0.7 -4 100 采样频率 奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。 fs = 2fmax 话音信号最高频率约为3.4kHz，所以采样频率取为8kHz。协议类型协议类型最大音频采样范围最大音频采样范围音频采样率音频采样率压缩带宽压缩带宽G.7113.4kHz8KHZ
24、64kG.7227kHz16KHZ64kbps, 56kbps,48kbpsG.722.1C/SIREN 1414 kHz24kHZ32kbps/48kbps/64kbpsG.71922 kHz48kHZ32kbps/48kbps/64kbps 音频系统的输出回到音频系统的输入，讲话人能够从音箱中听见自己讲话的回声 声波从音箱出来又回到话筒中产生延时，声音在空气中传播速度较慢，不同大小的会议室音箱到话筒的距离也不相同，因此产生的延时长短也不相同终端保留输出声音样本话筒会把本地会场声音与音箱声音同时采集混合信号经过回声消除器时，回声消除器开始启动回音消除其将混合信号和保留的声音样本进行对比如果音
25、频信号频率有相同部分，那么就会切掉同保留记录信号一样的信号，再发送到远程DTMF 双音多频: DTMF（Dual Tone Multi Frequency），一个高频信号和一个低频信号叠加组成一个组合信号，代表一个数字第三部分 视频通讯输出设备 显示设备 音频设备 让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有一亮一暗的感觉。如果闪烁频率足够高，人眼看到的则是一个恒定的亮点。闪烁感刚好消失的重复频率叫做临界闪烁频率，经测定为46HZ。 电影播放过程中，每秒投射24幅画面，每幅画面投射过程中用机械挡光阀遮挡一次，这样就得到了48HZ的闪烁频率。 要保持画面中物体运动的连续性，要求
26、每秒钟摄取的画面数约为25帧左右。 人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低，通常把RGB空间表示的彩色图像变换到YUV或者YIQ颜色空间。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而且亮度信号(Y)和色度信号(U、V)是相互独立的，每一种变换使用的参数都是为了适应某种类型的显示设备。 彩色电视信号中采用YIQ或者YUV空间一是为了兼容黑白电视，二是为了实现压缩。倒相正交平衡调幅制PAL制式电视信号的特性： 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 每场中有25行作为场回扫，所以每帧中只有575行是有效行。(3) 高宽比(aspect ratio)：
27、4:3 (4) 隔行扫描，2场/帧，312.5行/场(5) 颜色模型：YUV(6) 西欧、中国和朝鲜等国家采用这种制式NTSC彩色电视制的主要特性是：(1) 525行/帧, 30帧/秒(2) 高宽比：电视画面的长宽比为4:3 (3) 隔行扫描，一帧分成2场(field)，262.5线/场 (4) 在每场的开始部分保留20扫描线作为控制信息，因此只有485条线的可视数据。 (5) 每行63.5微秒，水平回扫时间10微秒(包含5微秒的水平同步脉冲)，所以显示时间是53.5微秒(6) 颜色模型：YIQ(7)美国、加拿大等大部分西半球国家，及日本、韩国、菲律宾和中国的台湾采用这种制式。CIF ： Co
28、mmon Intermediate FormatQCIF ： Quarter CIFSQCIF：Sub-Quarter CIF 过扫描就是画面的一部份显示在屏幕以外 CRT电视通过电子束扫描的水平像素和垂直像素的点距加大来实现图像放大 避免模拟信号本身不精确，受到干扰后边缘失真 国家规定显示面积不低于信号面积的95% 主流1080P平板显示器的物理分辨率为： 19201080、1366768 平板电视的物理分辨率无法实现“点对点”显示 为了接收普通电视仍然保留过扫描模式 复合端子：Composite video connector 传送的是模拟电视讯号的三个来源要素：Y、U、V U和V先被混合
29、成一个信号中，再与Y信号作叠加 信号混合造成了画质上的减损 仅用于传输标清图像 独立视讯端子：Separate video 将视频数据分成两个单独讯号（亮度和色度）进行传送 图像质量优于复合端子 S-端子最高支持到480或576分辨率 数字视频接口：Digital Visual Interface 通过数字化的传送来强化显示器的画面品质 DVI接口可以传送未压缩的数字视频数据到显示设备 未压缩传输协议与HDMI兼容 (单链结) WUXGA 1920 1200 60 Hz(双链结) WQXGA (2560 1600) 60 Hz 分量接口：Component Video Connector 把模
30、拟视频中的亮度、色度、同步信号分解开来各自传送的端子 分量视频主流采用RGB方式直接传输 避免了因繁琐的传输过程所带来的图像失真 最高分辨率1080P 高清晰度多媒体接口：High Definition Multimedia Interface HDMI发起者包括各大消费电子制造商 设计初衷为简化系统安装与版权保护 在传送时各种视频数据将被HDMI收发芯片以TMDS编码分组 最大带宽可达到10G，可支持4K高清 由于信号衰减，存在线材长度限制 数字分量串行接口：serial digital interface 分为标准清晰度SD-SDI、高清标准HD-SDI和3G-SDI 采用75欧同轴电缆线材 适合场距离传输 如果反复解压和压缩，将引起图像质量下降和延时增加 RCA接头:莲花头 每一根RCA线缆负责传输一个声道的音频信号 右声道用红色标注，左声道则用蓝色或者白色标注 单线缆同时传输左、右两个声道 三个尺寸规格，分别是2.5mm、3.5mm和6.22mm接头
