1、数字视频处理1课程内容第一章 数字视频基础人类视觉特性，彩色模型，视频简介，多维随机信号与系统，模拟视频信号数字化，视频质量评价，视频模型。第二章 二维运动估计基于光流的运动估计，基于像素的运动估计，基于块的运动估计，基于网格的运动估计，基于区域的运动估计，全局运动估计，多分辨率运动估计。第三章 三维运动估计基于特征对应的运动估计，基于光流的运动估计，直接运动估计，运动目标分割，运动目标跟踪。2课程内容第四章 数字视频编码理论基础，离散信源的无失真编码，预测编码，变换编码，基于内容的视频编码，分级视频编码，视频编码标准。第五章 三维视频处理立体视觉，立体成像原理，视差估计，三维变换编码，分布式
2、视频编码，立体视频显示技术。第六章 数字视频水印信息隐藏概述，数字水印原理，视频水印概述，视频水印关键技术，视频水印算法。3数字视频基础4提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型5视觉感知人类的感觉视觉、听觉、嗅觉、味觉和触觉“第六感觉”内部因素：人眼人类视觉系统外部因素：可见光6人类视觉系统人类获取外界图像、视频信息的工具。涉及光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等科学领域。视觉光辐射刺激人眼所引起的复杂的生理和心理变化。人类最重要最完美的感知手段。7人眼的构造视网膜：由大量的光敏细胞和神经纤维组成光敏细胞包括：1）锥状细胞：明亮环境 2
3、）杆状细胞：黑暗环境 灰度感觉锥状细胞具有3种类型，它们具有不同的光谱特性：红、绿、蓝3个子频段彩色视觉三基色理论的生理依据Lens（晶状体）：调节焦距8可见光谱780780nm780nm3809明视觉与暗视觉明视觉：日间视觉明视觉：日间视觉暗视觉：夜间视觉暗视觉：夜间视觉10人眼视觉亮度视觉也称明暗视觉主要参数：光强、光通量、发光效率、照度、亮度彩色视觉不同的波长呈现不同的颜色不同颜色的亮度不同：红色（最暗）、蓝色和紫色（较暗）、黄绿色（最亮）。颜色感觉参量：亮度、色调、饱和度。色度：色调和饱和度的合称。立体视觉11视觉特性亮度适应性 亮 暗 暗 亮亮度变化分辨能力可见度阈值：可分辨的最小亮
4、度差别视觉掩盖效应：复杂而不均匀的背景会导致可见度阈值增大，图像的边缘可以容忍较大的量化误差色调对比效应饱和度对比效应12视觉特性面积对比效应马赫效应人眼对不同空间频率成分的灵敏度中频成分（高），高频、低频成分（低）对图像边缘有增强作用视觉惰性亮度感觉持续性电影播放的原理13闪烁感觉周期性光脉冲照射，当重复频率达到一定值以上 无闪烁感觉设计电视系统的重要依据，如“隔行扫描”视野头部不动、眼球转动时所能观察到的空间范围水平视野与垂直视野视觉特性14视觉特性人眼分辨力主要因素：环境照度，景物的相对对比度，被观察物体的距离，运动状态dD6036021dD15视觉特性彩色分辨力彩色细节分辨力远低于黑白
5、细节分辨力彩色色调分辨力彩色饱和度分辨力黄色（最不敏感）红色和蓝色（非常敏感）16色调分辨阈值与波长的关系视觉系统模型人眼：特殊的光学信息处理系统，相当复杂。视觉模型：用光学系统的概念模拟某些视觉特性视觉信息处理模型17视觉系统模型黑白视觉模型低通滤波器对数运算器高通滤波器人眼光学系统亮度恒定现象侧抑制引起的马赫效应18视觉系统模型彩色视觉模型人类视觉的三基色理论视细胞对光强的非线性响应在视觉通路上的响应19提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型20彩色模型彩色色度学模型CIE-RGB（1931）XYZ（CIE 1956)工业彩色模型RGB彩色显示模型（NTSC：美
6、国国家电视委员会）CMYK彩色模型彩色传输模型：YUV、YIQ、YCbCr视觉彩色模型HIS模型（色调、亮度、饱和度）国际照明委员会21三基色原理红红绿绿蓝蓝22RGB彩色模型混色方法混色方法1、时间混色法、时间混色法 场顺序制彩色电视2、空间混色法、空间混色法 彩色显像管3、生理混色法、生理混色法 立体彩色电视4、全反射混色法、全反射混色法 投影电视相加混色相加混色23CMYK彩色模型印刷印刷彩色胶片彩色胶片绘画绘画CMY相减混色相减混色在CMY三基色中增加黑色（K）以使颜色更加逼真鲜艳24YUV、YIQ、YCbCr模型YUV模型：用于PAL（Phase Alternating Line）制
7、式的电视系统，Y表示亮度，UV并非任何单词的缩写。YIQ模型：与YUV模型类似，用于NTSC制式的电视系统。YIQ颜色空间中的I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转。YCbCr模型：是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。UV/CbCr信号实际上就是蓝色差信号和红色差信号，一定程度上间接地代表了蓝色和红色的强度。25YUV与RGB之间的转换BGRVUY100.0515.0615.0436.0287.0147.0114.0587.0299.0VUYBGR001.0032.2000.1581.0395.0000.1140.1000.0000.126YIQ
8、与RGB之间的转换BGRQIY311.0523.0212.0321.0275.0596.0114.0587.0299.0QIYBGR700.1108.1000.1647.0272.0000.1620.0956.0000.127YCbCr与RGB之间的转换BGRCCYrb25621256110256131256131256872564425629256150256771281281281283441.07140.00000.17720.10000.00000.10000.04020.10000.1rbCCYBGR28色度取样格式(ITU-T BT.601)4:4:44:2:04:2:24:1:1
9、29提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型30视频由许许多多幅按时间序列构成的连续图像每一幅图像称为一帧活动图像电视，电影等视频表示三维视频二维视频),(tzyxfI),(tyxfI),(tyxfI 亮度（灰度）信号31视频信号的特点直观性生动、深刻、具体、直接确定性“百闻不如一见”高效性并行信息处理系统广泛性80%的信息来自视觉高带宽性传输、存储压缩32模拟视频普通广播电视单一的时间函数的电信号，其电平高低反映了亮度大小光栅扫描逐行扫描隔行扫描光栅特性每秒取样的帧数fp：时间分辨率每秒扫描行数n：空间垂直方向分辨率基本参数清晰度、分解力、宽高比、行频、场频、帧频3
10、3逐行扫描水平扫描垂直扫描优点：优点：*减少屏幕大面积 闪烁和边缘闪烁*分解力高*图像清晰、稳定缺点：缺点：带宽要求高34隔行扫描奇数场偶数场优点：优点：压缩一半频带而不明显降低图像质量缺点：缺点：行间闪烁视觉疲劳垂直分辨率下降35模拟电视系统模拟电视系统标准NTSC制 北美、日本PAL制 欧洲、中国SECAM制 前苏联、东欧复合视频信号彩色视频信号兼容于黑白电视将RGB转换成YUV（PAL）或YIQ（NTSC）36模拟电视系统标准37复合视频信号PAL制式NTSC制式38数字视频高清晰度电视（HDTV）网络多媒体视频会议监视控制远程医疗航空航天军事教育电影39数字视频的特点便于存储和通信便于
11、处理和加密无噪声积累差错可控制可进行压缩编码便于设备小型化信噪比高稳定可靠交互能力强40数字视频采集数字摄像机模拟视频信号数字化亮色分离低通滤波抽样量化编码 复 接Y全电视信号低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr矩阵变换低通滤波抽样量化编码 复 接Y低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr编码输出RGB41数字视频的参数时间分辨率：帧频 fp空间分辨率：M行N列 M x N位深：每个像素的比特数 Nb 信息传输速率：MxNxfpxNbPAL彩色数字视频信号RGB（Nb=3x8=24）Fp=25fpsM=576，N=720信息传输速率：720 x576x25x24 249 M
12、bps42数字视频格式43提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型44多维随机信号分析多维信号与系统二维数字系统模型二维数字图像的冲激函数表示 mnnnmmnmxnmx),(),(),(x(m,n)y(m,n)T othernmnm0,001),(45多维随机信号分析线性系统同时满足叠加原理和齐次原理叠加原理：若 则有齐次原理：若 则有),(),(),(),(2211nmxTnmynmxTnmy),(),(),(),(),(),(212121nmxnmxTnmxTnmxTnmynmy),(),(nmxTnmy),(),(),(nmxaTnmaxTnmay46线性系统线
13、性系统对几个激励的线性组合的整体响应等于线性系统对几个激励的线性组合的整体响应等于单个激励所产生的响应的线性组合。单个激励所产生的响应的线性组合。T 多维随机信号分析移不变系统输入输出保持相同的时间关系48tt0(t-t)t0(t)th(t)0th(t-t)t0多维随机信号分析线性移不变系统同时满足线性条件和移不变条件线性移不变系统线性移不变系统的输出),(),(),(),(),(),(),(),(),(),(nmhnmxnnmmhnmxnnmmTnmxnnmmnmxTnmxTnmymnmnmn ),(),(nmTnmh为冲激响应49二维离散傅里叶变换建立了离散时域（空域）与离散频域之间的关系
14、时域（空域）上处理图像计算复杂度大，不能实时处理DFT简化了运算（如：时域或空域卷积变成了频域上的相乘运算），且有快速算法（FFT）1010)(2exp),(),(MmNnnlmkNjnmflkF10102)(2exp),(1),(MkNlnlmkNjlkFNnmf50随机图像视频、语音信号为随机信号，无法用确定的函数解析式表示，可看作随时间变化的随机过程。随机过程观测一个一维未知信号，观测结果xi(t)是不确定的。可能出现结果的总体xi(t),i=1,2,n构成一随机过程X(t)在任一时刻t1 随机变量X(t1)。51随机图像图像和视频为多维随机信号二维灰度图像x(m,n)为位于点(m,n)
15、上的像素的亮度值x(m,n)(m,n=0,1,2,N-1)为随时间变化的二维序列，图像集合X(m,n)的一个样本X(m,n)为随机图像或随机场，简记为随机变量X(m,n)为沿m,n两个方向的二维空间函数),(nmX52随机图像的数字特征均值方差自相关函数1010),(),(),(),(NmNnXXnmpnmxnmXEnm1010222),(),(),(),(NmNnXXXXnmpnmxnmXEnm10102211221122112211),;,(),(),(),(),(),;,(NmNnXXnmnmpnmxnmxnmXnmXEnmnmR为一阶概率密度函数),(nmpX视频信号中，相邻像素，相邻
16、帧之间存在很强的相关性，相关系数可高达0.90.96,视频压缩编码的潜力巨大！53平稳随机图像平稳性随机过程的统计特性不随观察点的时间和空间的坐标变化而变化随机图像有多个坐标变量，多种统计特性 各个坐标(t、x、y)和各个统计特性的平稳性严平稳：任意阶联合概率密度函数与广义空间坐标观察点（或点组）的位置无关。宽平稳（广义平稳）：均值和相关函数与广义空间坐标观察点（或点组）的位置无关。54平稳随机图像通过线性移不变系统系统输出随机图像系统输出均值系统输出相关函数系统输出功率谱密度),(),(),(2lkHlkPlkPXY),(),(),(),(),(),(*2211nmnmnmXnmYhhRnm
17、YnmYERtttttttt),(),(),(nmhnmXnmY)0,0(),(),(),(HnmhnmXEnmYEXY55提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型56视频信号数字化模拟信号数字化模型时-空取样量化逐行扫描的三维取样隔行扫描的三维取样57视频信号取样模拟视频信号在时空上的离散化一维取样在一系列离散点上对连续信号抽取样值取样定理给定一个随时间变化的模拟信号，其频率 ，如果取样频率 则 可以由取样信号唯一确定（无失真地恢复原信号）称为奈奎斯特间隔)()()(tstftfTT取样信号原始模拟信号周期性取样脉冲mff msff2ssfT/1)(tf58视频信号
18、取样nsTnTtt)()()(tsTsT理想取样理想取样:取样脉冲 是周期为 的单位冲激序列 ，即：)(tT59视频信号取样msff2msff2msff2取样频率的选取对信号恢复的影响msff2msff2msff260视频信号取样二维取样二维取样定理：若二维连续信号 的空间频率 和 分别限制在 、，则只要取样周期 、满足 和 ，就可以由取样信号无失真地恢复原信号。取样函数),(yxfuxmUu vmVv ymUx21mVy2161视频信号取样取样失真混叠失真如果取样周期 和 不满足 和 ，即欠取样，则相邻周期的频谱将会发生重叠，恢复信号时就会产生混叠失真。孔径失真取样脉冲存在一定的脉冲宽度，丧
19、失某些高频成分，导致信号恢复产生误差和模糊。抑制混叠失真其他噪声插入噪声、抖动噪声等xymUx21mVy2162图像量化取样后所得到的信号在时间-空间上是离散的，但在幅度上仍然是连续的量化：将无限级的信号幅度变换成有限级的数码表示量化器：按照一定规则对取样信号的幅度值作近似表示有限离散值量化误差，量化失真（噪声）63图像量化量化的用途模拟信号数字化-模数转换数据压缩量化的分类无记忆 vs 有记忆均匀 vs 非均匀对称 vs 非对称标量量化 vs 矢量量化标量量化：对每个取样点独立地进行量化矢量量化：对k个取样点所组成的一组（一个矢量）进行量化64图像量化标量量化0g1g2g3g4g5g6g1L
20、g0z1z2z3z4z5z6zLzffminfmaxQ(f)fminfmax0g1g2g3g4g5g6g1Lg0z1z2z3z4z5z6zLz7z7ziz为判决电平ig为量化电平65图像量化量化失真测度均方误差绝对值误差加权绝对值误差均方误差（量化误差）102221)()()(LizziqiidffpgffQfE66图像量化均匀量化一种标量量化器，也称为线性量化器量化间隔相等，即：量化电平对应于电平区间 的中值，即：,1iizz11iiiiggzz2/)(1iiizzg设 f 的概率密度函数为均匀分布otherfffBfp,0),(,/1)(maxmin量化误差为：222212112LBq量化
21、层数L越大，则量化误差越小。但编码所需比特数也越大67提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型68数字视频质量评价主观评价平均判分方法三种类型：质量测试、损伤测试、比较测试69质量测试质量测试损伤测试损伤测试比较测试比较测试A：优：优5：不能察觉：不能察觉+2：好得多：好得多B：良：良4：刚能察觉，不讨厌：刚能察觉，不讨厌+1：好：好C：中：中3：有点讨厌：有点讨厌0：相同：相同D：次：次2：很讨厌：很讨厌-1:坏坏E：劣：劣1：不能用：不能用-2：坏得多：坏得多数字视频质量评价客观评价均方误差(MSE)峰值信噪比(PSNR)平均绝对误差KkMmNnknmfknmfK
22、MNMSE111221),(),(1MSEfPSNR2maxlg10KkMmNnknmfknmfKMNMAD11121),(),(1对每个彩色分量通常取255-8bit40dB，非常好3040dB，比较好2030dB，相当差20dB,不能接受70提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型71视频模型场景模型用于描述包括光源、物体、摄像机的世界，运动物体与摄像机之间的相互定位。照明模型摄像机模型物体模型72照明模型描述照明变化引起的视频信号在时间上的变化。分类光谱模型 多种彩色光源几何模型 环境光源（无阴影）、点光源局部照明模型 光源与物体位置无关总体照明模型 考虑物体间
23、的影响（如阴影）73照明模型光源照明光源 太阳、灯泡等 相加规则反射光源 色彩感觉取决于入射光的光谱成分和被吸收的波长范围相减规则镜面反射 只显示入射光的颜色漫反射 可显示物体表面的颜色 74照明模型反射光辐射强度),(),(),(tPVLftPVLrtPVLftrNNN反射系数入射光光强L：照明方向 V：观测方向 N：表面法线矢量 P：物体表面位置 ：光的波长),(),(),(tPftPrtPftrNNN),(),(),(tftPrtPfar固定L和V：环境光源、漫反射：点光源、局部照明模型、漫反射：cos),(),(),(tftPrtPfpr：入射光方向L与任意点P处表面法线N之间的夹角7
24、5摄像机模型描述真实场景中物体在摄像机成像图像平面上的投影实现四维空间到三维空间的映射透视投影正交投影摄像机运动34:RR f),(),(tyxtZYX三维空间（世界）坐标系二维投影图像平面坐标系76摄像机模型透视投影也称中心投影：以摄像机为中心满足 或ZYFyZXFx,ZYFyZXFx,O：观察点O：投影平面原点OO=F：焦距77摄像机模型正交投影也称平行投影：物体距离摄像机很远满足YyXx,F F78摄像机模型摄像机运动平移：跟（track）、吊（boom）、推（dolly）旋转：摇（pan）、倾（tilt）、滚（roll）变焦79摄像机模型摄像机运动跟和吊：沿X轴和Y轴的平移0YXTTZ
25、YXZYX对于透视投影：ZFTZFTyxyxYX80摄像机模型摄像机运动摇和倾：绕X轴和Y轴旋转ZYXZYXYXRRXXXXXcossin0sincos0001RYYYYYcos0sin010sin0cosR当旋转角 和 均很小时：YX11001XYXYYXRRXYFFyxyx81摄像机模型摄像机运动变焦：改变摄像机的焦距滚：绕Z轴旋转FFyxyxyx)1()1(FF其中：yxyxZZZZcossinsincosZ很小yxyxZZ11yxyxyxZZ82物体模型关于真实物体的假设物体场景中可以分离的实体描述模型：形状、运动、纹理形状模型由占据的三维空间来描述物体表面三角形网格方法 控制点（顶点
26、）索引面P1P3P2P5P483物体模型刚体运动模型物体的形状不能改变，控制点不能被独立地移动物体的旋转 3x3矩阵R物体的平移 3x1列向量TTRzyxzyx333231232221131211rrrrrrrrrRzyxT84物体模型刚体运动模型物体绕三维空间的原点转动，旋转矩阵为：yyxyxyzxzyxzxzyxzyzxzyxzxzyxzyzzzzyyyyxxxxzyxcoscoscossinsincossinsinsincoscoscossinsinsinsincossinsincossincossincoscossinsincoscos1000cossin0sincoscos0sin010sin0coscossin0sincos0001RRRR当 ，很小时：xz111xyxzyzR85总结人类视觉系统人类视觉系统视觉特性彩色模型彩色模型RGB，CMYK，YUV，YIQ，YCbCr色度取样格式：4:4:4,4:2:2,4:1:1,4:2:0视频视频模拟视频：逐行扫描、隔行扫描；NTSC，PAL，SECAM数字视频：特点，采集，格式多维随机信号分析多维随机信号分析线性移不变，傅里叶变换，随机图像数字化数字化取样，量化质量评价质量评价主观评价，客观评价（MSE，PSNR）视频模型视频模型摄像机模型，物体模型86习题1-21-41-81-987
