1、音视频基础知识2目录1. 视频分辨率和帧率2. 视频接口3. 音频接口4. 协议标准5. 视频会议视频分辨率和帧率视频分辨率和帧率 视频分辨率：代表图像静态清晰度的参数完整表述用象素“长*宽”（1920*1080），简要表述用宽（1080P）视频会议常用分辨率：CIF、4CIF（DVD）、720P（HD）、1080P（FullHD）、4K视频分辨率视频分辨率4K=3840*2160或=4096*21601080P=1920*1080720P=1280*7204CIF=704*576=DVDVCD=CIF=352*2881专用词分辨率XGA1024768WXGA (Wide XGA)128076
2、8 1280800 1366768WSXGA (Wide Super-XGA)1280854Quad-VGA1280960WXGA+ (Wide XGA+)1440900SXGA (Super-XGA)12801024WXGA+ (Wide XGA+)1600900SXGA+14001050WSXGA+ (Wide Super-XGA+)16801050UXGA (Ultra-XGA)16001200WUXGA (Wide Ultra-XGA)19201200QXGA (Quad-XGA)20481536WQXGA (Wide Quad-XGA)25601600QSXGA (Quad-Supe
3、r-XGA)25602048QUXGA (Quad-Ultra-XGA) 320024004K2K40962048VESAVESA标准分辨率标准分辨率VESA（Video Eletronics Standard Association，视频电子标准协会）视频会议双流中，Content经常会遇到这些分辨率1P P还是还是I I？1080P和1080i，有什么不同呢P：逐行扫描显示屏显示图像进行扫描时，从屏幕左上角的第一行开始逐行进行，整个图像扫描一次完成。因此图像显示画面闪烁小，显示效果好。目前先进的显示器大都采用逐行扫描方式i：隔行扫描一幅图像分两次扫描，即分两场，第一场扫1、3、5(单数行)
4、，称为奇数场，第二场扫2、4、6(双数行)，称为偶数场。奇数场和偶数场组合起来，就构成一幅完整的图像。缺点当图像上下两行的对比度差别很大时产生行间闪烁1视频帧率视频帧率视频帧率：代表图像动态流畅度的参数，帧率越高越流畅视频会议主流帧率：30/60（NTSC制）、25/50（PAL制）PAL电视标准，每秒25帧，电视扫描线为625线，奇场在前，偶场在后，标准的数字化PAL电视标准分辨率为720*576, 24比特的色彩位深，画面的宽高比为4：3, PAL电视标准用于中国、欧洲等国家和地区。NTSC电视标准，每秒29.97帧（简化为30帧），电视扫描线为525线，偶场在前，奇场在后，标准的数字化N
5、TSC电视标准分辨率为720*486, 24比特的色彩位深，画面的宽高比为4：3。NTSC电视标准用于美、日等国家和地区中国的行货设备 一般为PAL制，主要参数表现是25帧/50帧请注意，NTSC30帧与PAL制25帧实现效果是一样的1视频接口视频接口l 将视频信号中的亮度信号（Y）、色度信号（C），和同步信号复合传输和存储的方式l 复合视频（Composite）通常采用黄色的RCA（莲花插座）接头 也可用BNC接头（同轴电缆）l “复合”含义是同一信道中传输亮度和色度信号的模拟信号l PALz720*576/50i和NTSC720*480/60i 复合视频接口（复合视频接口（CVBSCVBS
6、）2VGA（Video Graphics Array）也称作D-SubVGA接口共有15针，是显卡及显示器上应用最为广泛的接口它传输红、绿、蓝模拟信号以及同步信号（水平和垂直信号）支持高清视频信号的输出： WUXGA（19201200）、WQXGA（25601600）由于是模拟信号，线材质量及接头质量不好都可能引起图像中出现虚影、拖尾VGAVGA接口接口2色差分量接口色差分量接口n 色差分量（Component）接口采用YPbPr和YCbCr两种标识 - YPbPr：逐行扫描色差输出 - YCbCr：表示隔行扫描色差输出n 用红、绿、蓝三种颜色来标注每条线缆和接口 - 绿色线缆（Y），传输亮度
7、信号 - 蓝色和红色线缆（Pb/Cb 和Pr/Cr）传输的是颜色差别信号n 色差分量接口是模拟接口，支持视频信号： - 480i/480p/576p/720p/1080i/1080p2 u 有DVI-A、DVI-D和DVI-I三种不同的接口形式u DVI-D数字接口，24+1PIN,只传数字信号，u DVI-I有数字和模拟接口， 24+5PIN,兼容DVI-D和DVI-A，兼容与VGA直接转换u 是一种国际开放的接口标准，在PC、DVD、高清晰电视（HDTV）、高清投影仪等设备上有广泛的应用u DVI-D单通道： 1920 x1200,60Hzu DVI-D双通道： 2560 x1600,60
8、Hz/1920 x1080,120Hzu VGA： 2048x1536,60HzDVI-DDVI-IDVIDVI接口接口24+1PIN24+5PINDVI（Digital Visual Interface），即数字视频接口2HDMI高清晰度多媒体接口（High Definition Multimedia Interface） 传输全数字信号传输全数字信号 不仅能传输高清数字视频信号，还可以同时传输高质量的音频信号不仅能传输高清数字视频信号，还可以同时传输高质量的音频信号 HDMIHDMI端口支持端口支持4K4K、1080P1080P，720P720P的高清格式视频输出的高清格式视频输出 HDM
9、I 1.4HDMI 1.4带宽带宽10.2Gbps,10.2Gbps,最高支持最高支持3840384021602160（4K4K）30FPS30FPS帧率帧率 HDMI 2.0HDMI 2.0带宽扩充到了带宽扩充到了18Gbps18Gbps，可以支持，可以支持3840384021602160（4K4K） 50FPS 50FPS、60FPS60FPS帧率帧率HDMIHDMI接口接口2SDI接口是数字分量串行接口(serial digital interface)接口速率接口速率- 标准清晰度SD-SDI：速率分别是270Mb/s- 高清标准HD-SDI： 1.485Gb/s- 3G-SDI：2.
10、97Gb/s支持支持1080P1080P，720P720P的高清格式视频输出的高清格式视频输出SDISDI信号中嵌入数字音频信号信号中嵌入数字音频信号物理介质使用物理介质使用7575欧姆同轴电缆欧姆同轴电缆SDISDI接口接口2DPDP接口接口DisplayPort也是一种高清数字显示接口标准，20针可以同时传输视频和音频，可以连接电脑和显示器，也可以连接电脑和家庭影院 作为HDMI的竞争对手和DVI的潜在继任者，DisplayPort赢得了AMD、Intel、NVIDIA、戴尔、惠普、联想、三星等业界巨头的支持，而且它是免费使用的。最大支持10.8Gb/S的传输带宽全尺寸全尺寸DPDP接口接
11、口Mini DPMini DP接口接口HDMIHDMI与与DPDP对比对比2USB3.0USB3.0接口接口USB 3.0是一种USB规范，该规范由英特尔等公司发起USB2.0USB2.0的最大传输带宽为的最大传输带宽为480Mbps480MbpsUSB3.0USB3.0的最大传输带宽高达的最大传输带宽高达5.0Gbps5.0GbpsUSB3.0 引入全双工数据传输。新增5根线路中2根用来发送数据，另2根用来接收数据，还有1根是地线可外接高分辨率的视频摄像机；USB接口的数码相机、数码摄像机；2常见视频输入输出设备常见视频输入输出设备HD-SDIHDMIDVI-DUSB3.0VGAHDMIVG
12、AHDMIYPbPrCVBSHD-SDIHDMIDVI-DVGAVGADVI-DHDMIHD-SDIHDMI2音频接口音频接口XLRXLR（卡农）插头（卡农）插头u 输出/输入平衡信号，高阻抗。分“公”、“母”两种u “公”用于输出信号，比如将信号输入给调音台u “母”用与接受信号，比如接受话筒的信号等36.35mm6.35mm音频音频插头插头TRS插头，俗称“大三芯”，音频设备连接插头u 用于平衡信号的传输（此时功能与卡农插头一样）u 或者用于不平衡的立体声信号的传输l TS插头，俗称“大二芯”，单声道信号的传输l 比大三芯少一个环（Ring），可以直接通过芯对芯，屏蔽层对屏蔽层的焊接与RC
13、A，BNC等用于单声道的接头实现转换l 只能传输非平衡信号33.5mm3.5mm音频音频插头插头 3.5mm插头是直径为3.5mm的同轴音频插头 最常见的立体声耳机分三芯，也有两芯的，每一层都有对应的功能31. MIC卡侬插座：连接麦克风2. Line in线路输入端：高阻输入部分，要用 6.35cm TRS立体声接头作平衡输入小鱼声卡输出对接线路输入端（小鱼声卡输出对接线路输入端（LineLine）调音台连接方法调音台连接方法3.MAIN OUT： L-R主声道输出，XLR卡侬或TRS大三芯4.AUX OUT：辅助输出，监听、录音或连接辅助音箱小鱼声卡输入接口对接小鱼声卡输入接口对接AUXA
14、UX输出输出3音频输入区MIC(XLR卡侬)Line in(TRS大三芯)TAPE in (RCA)音频输出区MAIN OUT：主输出MONITOR：监听输出AUX OUT:辅助输出音效调节区音量调节区重要提示重要提示: :需要在调音台需要在调音台上小鱼对应的输入通道，上小鱼对应的输入通道，将将AUXAUX的旋钮调制的旋钮调制0 0小鱼声卡输入接口对小鱼声卡输入接口对接接AUXAUX输出输出小鱼声卡输出接口对小鱼声卡输出接口对接接Line inLine in输入输入3THANK YOUSUCCESS2022-5-153AUX1回声产生的机制回声产生的机制InOut常用音频设备及接口常用音频设备
15、及接口调音台XLR卡侬TS大二芯TRS大三芯RCA音箱RCA-3.5mm无线麦克风XLR卡侬TS大二芯TRS大三芯鹅颈麦克风XLR卡侬-TRS大三芯全向麦克风XLR卡侬-TRS大三芯麦克混音器XLR卡侬TRS大三芯3协议标准协议标准 如ISDN，E1，ATM，IP专网，互联网等通信网络 H.320,H.323,SIP,私有通信标准等通信标准 视频会议终端（T),多点控制单元（MCU）,多媒体网关（GW），网闸/网守（GK）系统设备视频会议系统组成视频会议系统组成4通信协议：通信协议：H.323H.323和和SIPSIPH.320基于电路交换在ISDN和E1线路使用已经被H.323取代H.323
16、ITU-T组织提出分组交换，IP网络为视频会议而生，由H.320发展而来定义完整严格细致，扩展困难成熟稳定，目前主流90%以上SIPIETF组织提出一开始是在VOIP中使用定义基础开放，容易扩展互连互通容易，稳定性慢慢被认可Terminal终端Gateway网关MCU多点控制单元Gatekeeper网守IP网PSTN4实时传输协议RTP（Real-time Transport Protocol）l 该协议提供的信息包括：时间戳（用于同步）、序列号（用于丢包和重排序检测）、以及负载格式（用于说明数据的编码格式）l RTP被认为是在IP网络中传输音频和视频的基本标准l 可视为传输层的子层，介于传输
17、层及应用层之间视频通信常用的传输协议视频通信常用的传输协议4Video CodecH.264,H.263Audio CodecG.711,G.729ReceivePathDelaySystem ControlH.245 ControlCall ControlH.225.0RAS ControlH.225.0复用复用/解复用解复用H.225/H.221LAN接口接口视频视频 I/O 设备设备音频音频 I/O 设备设备用户数据应用用户数据应用T.120系统控制系统控制用户接口用户接口 发端，从输入接口获取的视频和音频信号，经编码器压缩后，同步和复用处理，通过网络发送； 收端，来自网络的数据包首先被
18、解复用，获得视频、音频压缩数据，经解码后送入输出设备，用户数据和控制数据也得到了相应的处理。H.323H.323终端架构终端架构4视频编解码算法视频编解码算法H.261/263/263+/263+标清时代的视频算法H.264 AVC（H.264HP） 高清视频会议主流算法，其中high profile大幅降低了带宽需求，让高清普及H.264SVC/ H.265主流技术发展趋势4H.264/SVC时间上可扩展一次编码产生不同的帧速率，例如：7.5帧、15帧、30帧空间上可扩展一次编码产生不同的分辨率，例如：180p、360p、720p、1080P视频质量扩展一次编码产生不同质量等级的视频H.26
19、4 SVC（Scalable Video Coding，可分级编码）视频编解码：视频编解码：H.264 SVCH.264 SVCu 是H.264标准的一个扩展u SVC的编码复杂度要超过AVCu 对于DSP性能或者CPU性能 要求更高u 对异构系统的适应性更好u MCU的计算压力降低，适合云服务4传统视频协议(H.264/AVC)SVC视频协议(H.264/SVC)视频会议可以容忍的网络丢包率20%对网络的要求专线共享线路视频会议延迟:视频会议效果400毫秒实时性一般 200毫秒实时交互异构系统的兼容性兼容性差兼容性极佳视频编解码：视频编解码：H.264 SVCH.264 SVC小鱼采用的是更
20、牛一些的小鱼采用的是更牛一些的H.264 SVCH.264 SVC4 H.265旨在有限带宽下传输更高质量的网络视频 相比H.264,提高了压缩率，可节省39%-44%的带宽 相比H.264提升了错误恢复能力，对网络的适应性也显著提升 H.265支持4K、8K的超高清视频。视频编解码：视频编解码：H.265/HEVCH.265/HEVC4G.711 带宽：64K 采样率：8KHZ 带宽高、压缩比小、延时短G.728 带宽：16K/8K 采样率：8KHZ 延时短，算法复杂G.729/G.729A 带宽：8K 采样率：8KHZ 带宽小，低时延，运算要求高付费音频编解码：窄频语音音频编解码：窄频语音
21、4G.722 带宽：48K-64K 频宽：7K-14K CD级音质 G.722.1C来自POLYCOMG.719 带宽：64-128K 频宽：20K 剧院级音效 当前主流AAC 带宽：96-128 kbps 采样率：44KHZ 20KHZ以上宽频语音Opus 发展趋势音频编解码：宽频语音音频编解码：宽频语音4u 适用于网络上的实时声音传输u 低码率下Opus完胜曾经优势明显的HE AAC，中码率就已经可以媲敌码率高出30%左右的AAC格式，而高码率下更接近原始音u 特点 6 kb /秒到510 kb / s的比特率 采样率从8 kHz（窄带）到48 kHz（全频） 支持恒定比特率（CBR）和可
22、变比特率（VBR） 从窄带到全频段的音频带宽 支持单声道和立体声 可动态调节比特率，音频带宽和帧大小 网络适应性好音频编解码音频编解码OPUS:OPUS:互联网工程任务组（IETF）开发，RFC 6716小鱼采用小鱼采用OPUSOPUS音频编解码音频编解码4视频会议视频会议视频会议主要解决异地之间的沟通问题利用计算技术和通信设备，通过传输信道在两点或多个地域之间建立可视通信，实现数据、语音、图像的多方互动视频会议简介视频会议简介520世纪70年代80年代90年代中期2000年以后2015年模拟视频会议黑白图像两点之间会议数字视频会议出现出现了统一的协议得以广泛应用视频会议进入中国基于E1专线链
23、路H.320协议，电路交换H.323会议系统快速发展视频会议在中国普遍应用主要在政府及央企使用互联网、移动互联网迅猛发展视频应用已经深入各行各业Saas服务模式成为新的应用趋势视频会议发展历史视频会议发展历史模拟数字H.320H.323云服务5视频应用的演进与发展视频应用的演进与发展面向会议室面向会议室面向员工面向员工面向客户面向客户嵌入/被嵌入实时/非实时全时/全设备阶段特征面向对象应用类型行政会议上传下达讨论会议培训学习业务助力业务支撑业务拓展知识管理管理方式自主/自助面向业务行为集中/智能角色核心操作/流程面向设施工具级工具级互动与交流 系统级系统级普及与扩展业务级业务级嵌入与云媒体多方
24、异地实时融合互通5MCUMCU架构的演变架构的演变第一代第一代MCU第二代第二代MCU第三代第三代MCU适用网络专网专网任意网络应用类型宣贯型大会1个主会场+N个分会场宣贯型会议讨论型会议宣贯型会议讨论型会议随时随地沟通技术架构单层码流，单次编码为主会场编一个多分屏分会场看主会场单层码流，全编全解为每个会场单独编解码多层码流，按需转发特点减少编解码，节省芯片对网络带宽的统一性要求高，各会场效果互相影响多组会议次数受限抗丢包技术差任意混网混速混协议任意多组会议讨论消耗芯片资源多，单点成本高会议延时较大抗丢包技术有所提升任意混网混速混协议任意多组会议讨论计算效率高，单点成本低会议延时低抗丢包技术强代表产品华为：8650、8660宝利通：RMX500/1000华为：9630/9650/9660宝利通：RMX1800/2000/4000小鱼易连5业务形态的变迁业务形态的变迁传统专有自建买设备自主运维内部协作现代轻资产租服务免运维基于互联网全生态协作5视频会议发展趋势视频会议发展趋势H.320H.320H.323H.323互联网云视频互联网云视频小鱼将推动视频会议的又一次革命小鱼将推动视频会议的又一次革命电路交换网设备单价几十万应用范围小IP网络设备单价几万-十几万应用范围扩大互联网单点成本下降普及各行各业5谢谢！THANK YOUSUCCESS2022-5-15
