1、2023年2月9日星期四视频处理与宽带通信视频处理与宽带通信3视频信号的获取视频信号的获取一一摄像机模型摄像机模型二二照明模型照明模型三三物体模型物体模型四四场景模型场景模型五五概概 论论p 把连续的视频信号转化为把连续的视频信号转化为 数字视频信号数字视频信号一般包括两步：一般包括两步：u 采样采样u 量化量化p 这一讲我们只讨论采样的问题，量化留到这一讲我们只讨论采样的问题，量化留到以后解决以后解决p模拟信号数字化模拟信号数字化p奈奎斯特采样定律奈奎斯特采样定律视频信号的获取视频信号的获取p大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中p
2、不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题：n所需的视频采样率是多少？n在给定总的采样率时，哪一种采样点阵最有效？采样率的选择采样率的选择p在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多少？p采样率一般和以下几个因素有关：u待采样信号的频率成分u在空间和时间截止频率方面的视觉阈值u摄取和显示设备的特性u可以承受的处理、存储和传输成本p基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该方向上最高频率的两倍 p人眼不能分辨超过一定高的频率的空间和时间变化。所以视觉截止频率，即可以被HVS观察到空间
3、和时间的最高频率，是确定视频采样率的决定因素p视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）采样率的选择采样率的选择 (续）续）现在来从采样率的角度来讨论隔行扫描 在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。采样率的选择采样率的选择 (续）续）p在NTSC TV系统
4、中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的 p隔行扫描和逐行扫描处理静止图象和运动图象的不同点u如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量u对于具有特殊图案（垂直线图案）的高速运动场景，它会导致所谓的“隔行效应”u对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪
5、烁效应采样率的选择采样率的选择 (续）续）p 对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。采样率的选择采样率的选择 (续）续）p定义实K维空间 中的点阵 ，它可以表示为K个线性独立的基矢量 ，的整数加权组合的所有可能矢量的集合。即：p p矩阵 称为采样矩阵。点阵理论点阵理论p举例p这两个采样矩阵生成的采样点阵点阵理论点阵理论 空间可由选定的单位晶格及其平移表示成一个花砖面：点阵理论点阵理论平行四边形和沃罗纳晶格平行四边形和沃罗纳晶格p定义
6、具有基矢量 的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为：p定义 一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。沃罗纳晶格及其向所有阵点的平移形成了对空间 的一种分割 沃罗纳晶格沃罗纳晶格采样密度采样密度p单位晶格的容积p在视频信号处理中，定义采样密度p两个点阵，采样密度分别为 p定义给定一个采样矩阵为 的点阵，它的反商点阵可定义为具有如下采样矩阵的点阵：或p正交，采样密度互为倒数 采样密度采样密度 对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限
7、：原始信号：采样后的信号：反商点阵：采样密度采样密度 预滤波信号:预滤波后的采样信号:铺在六边形分割上的原始信号：使用六边形点阵的采样信号：采样密度采样密度p忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号 p令 表示场间隔，而 表示行间隔。逐行和隔行扫描的采样点阵二维视频采样：逐行和隔行扫描二维视频采样：逐行和隔行扫描 逐行反商阵 隔行反商阵二维视频采样：逐行和隔行扫描二维视频采样：逐行和隔行扫描 采样矩阵和反商矩阵逐行扫描：隔行扫描：二维视频采样：逐行和隔行扫描二维视频采样：逐行和隔行扫描 p在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）。这几点是最接
8、近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因p画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率 与等于场率的时间频率 具有相同的长度p理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的二维视频采样：逐行和隔行扫描二维视频采样：逐行和隔行扫描 比较两种扫描它们具有相同的采样密度，即 沿垂直频率轴，它们在 ，具有相同的最近的混叠。这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描的垂直分辨率要低于逐
9、行扫描的垂直分辨率沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在 处，而隔行扫描出现在 处它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察这就是所谓的隔行效应二维视频采样：逐行和隔行扫描二维视频采样：逐行和隔行扫描 视频信号的获取视频信号的获取一一摄像机模型摄像机模型二二照明模型照明模型三三物体模型物体模型四四场景模型场景模型五五p针孔模型（Pinhole Model）反向投影同向投影平行投影pCAHV模型p摄像机运动p特点：成像物体与成像平面位于摄
10、像机中心两端成像的位置与成像物体的位置是相反的成像平面位于焦点之后特点 成像物体与成像平面位于摄像机中心同侧成像的位置与成像物体的位置是相同的成像平面位于焦点之前透视成像关系式：或可见，x和y与Z成反比齐次坐标系表示：p当图像平面的坐标原点不在主点上时：p由此可以定义摄像机标定矩阵为：升升/降降上吊，下吊上吊，下吊左左/右右左跟，右跟左跟，右跟推推/拉拉前推，后拉前推，后拉竖扫竖扫上倾，下倾上倾，下倾平扫平扫左摇，右摇左摇，右摇旋转旋转滚滚缩放缩放变焦变焦摄像机运动摄像机运动p若世界坐标和摄像机坐标架子之间存在欧式变换时：p由此可知从世界坐标系中一点X与像素x之间的对应关系为：p通常我们称与
11、相关的参数为摄像机内部参数内部校准，包含在 中的参数称之为外部参数外部校准摄像机运动摄像机运动针孔模型之三：平行投影针孔模型之三：平行投影条件成像物体距离成像平面很远 成为平行投影（正交投影）满足关系式 多对一映射使得基于二维图像估计物体的三维结构和运动具有极大挑战针孔模型之三：平行投影针孔模型之三：平行投影针孔模型小结针孔模型小结p将三维的实体对象转化为二维的平面图形p多对一的关系 在同一视线（line of sight）上遇到的第一个点起决定的作用，其他点将被忽视p优点：简单p缺点：难以估计实物对象的结构根据投影图像难以对实物对象进行运动估计n没有考虑摄像机轴与图像中心对不准、真实镜头有限
12、孔径的低通滤波作用、曝光失真CAHV模型模型n特点考虑了摄像机本身的运动采用四个矢量进行模型的描述公式C 世界坐标系统到摄像机中心的矢量世界坐标系统到摄像机中心的矢量光轴方向的单位矢量光轴方向的单位矢量投影平面水平方向单位矢量投影平面水平方向单位矢量投影平面垂直方向单位矢量投影平面垂直方向单位矢量希望校准摄像机以补偿针孔摄像机模型与真实摄像机之希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差间的几何误差CAHV模型投影示意图模型投影示意图透视中心透视中心p pP PF FXcXcZcZc成像平面成像平面x x成像平面成像平面y yC C世界坐标系世界坐标系摄像机坐标系摄像机坐标系视
13、线视线SoSoP PA AVoVoHoHox xp pF F说说 明明p非固有参数C,A,以及固有参数 ,和F可以表征实际的摄像机系统p能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真p可以用摄像机校准算法估计这些参数视频信号的获取视频信号的获取一一摄像机模型摄像机模型二二照明模型照明模型三三物体模型物体模型四四场景模型场景模型五五照明模型照明模型p入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型)p几何模型n描述入射光的幅度和方向分布n适用于环境和点光源n描述主要由真实世界的照明变化引起的视频序列时间上的变化p漫反射与镜面反射p模型之一：不同照明和反射条件下的光强分
14、布模型及图示几种简化模型p模型之二：物体运动引起的图像函数的变化漫反射与镜面反射漫反射与镜面反射反射 漫反射（所有方向能量分布相同）漫反射（所有方向能量分布相同）镜面反射（镜向上强度最大）镜面反射（镜向上强度最大）朗伯表面钝的，无光泽的表朗伯表面钝的，无光泽的表面：面：木头，水泥墙等木头，水泥墙等在所有方向上具有相等的能量分在所有方向上具有相等的能量分布布决定物体表面的颜色决定物体表面的颜色在入射光的镜向上强度最大在入射光的镜向上强度最大不能显示物体的颜色，只能显示不能显示物体的颜色，只能显示入射光的颜色入射光的颜色光强分布光强分布能量能量对于一个物体表面光源的相互作用，涉及三种能量：n入射光
15、的通量指从光源发射出的能量的速率，单位：瓦特（W）n入射辐照度 E指物体上每单位面积的入射光通量，单位：辐照度取决于入射光与表面在该点的法线之间夹角n反射辐射强度 C指从物体表面反射的光的能量光强分布光强分布模型模型反射辐射强度反射辐射强度入射光辐照度入射光辐照度反射系数函数反射系数函数反射光强度与反射光强度与入射入射光强度之间的光强度之间的比值比值取决于入射光取决于入射光 表表面几何形状面几何形状照明方向照明方向物体表面的位置物体表面的位置在位置在位置X处的表面法线矢量处的表面法线矢量连接连接X与摄像机焦点观测方向与摄像机焦点观测方向光的波长光的波长都是都是X和和t的函数的函数C的的分布取决
16、于分布取决于E和反射系数和反射系数r从方向从方向L被一个被一个具有无限小区域具有无限小区域 的点光源照射的的点光源照射的一个小块表面一个小块表面 （具有法线矢量（具有法线矢量N）。这个小块）。这个小块是从方向是从方向V观测观测的的光强分布光强分布模型图示模型图示光强分布光强分布简化假设模型简化假设模型物体表面不透明，照明（及观测）方向时不变 简化假设之一：简化假设之一：说明：说明：尽管照明和观测方向（尽管照明和观测方向（V和和L）是固）是固定的，然而由于物体是运动的，所以入射光辐定的，然而由于物体是运动的，所以入射光辐照度仍然是随时间变化的照度仍然是随时间变化的入射光是环境光源，物体表面是漫反
17、射的 简化假设之二：简化假设之二：时刻时刻t时环境光的强度时环境光的强度反射系数函数反射系数函数r不依赖于表不依赖于表面法线面法线N 不依赖于表面不依赖于表面位置位置X或表面法或表面法线线N光源的最大辐照度，是当光垂直于表面时的辐照强度 简化假设之三：简化假设之三：点光源点光源引起的反射辐照强度引起的反射辐照强度 L L与与N N之间的夹之间的夹角角 其其中中 点光源的漫反射在各个方向上是一个常数。强度取决于表面法线N与到光源的方向L之间的夹角 光强分布光强分布简化假设模型简化假设模型点光源远离物体表面，可以把入射光近似为平行光 简化假设之四：简化假设之四：假定物体具有假定物体具有各向同性的表
18、面各向同性的表面，则则 反射反射强度就变为：反射反射强度就变为：简化假设之五：简化假设之五：物体运动引起的图像函数变化物体运动引起的图像函数变化模型之一：在二维图像平面中，在二维图像平面中，假设假设在在t时刻象素时刻象素x的亮度的亮度 正比于对应正比于对应于于x的三维点的三维点X处的发射辐射强度处的发射辐射强度，有，有从时间从时间 到到 ，从，从 运动运动 到（对应于表面法线变化到（对应于表面法线变化是从是从 到到 ）的一个）的一个点的亮度强度点的亮度强度变化变化 物体运动引起的图像函数变化物体运动引起的图像函数变化假设图像信号 依赖于照度 和反射系数函数 模型之二：环境照明、漫反射表面、正交
19、投模型之二：环境照明、漫反射表面、正交投影影 在图像平面中，从在图像平面中，从 运动到运动到 的一点的信号的一点的信号 变变化化物体运动引起的图像函数变化物体运动引起的图像函数变化 当当 为常数时，称为为常数时，称为恒亮度假设恒亮度假设，有：，有：模型之二（续）：模型之二（续）：适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种条件下，没有运动的阴影，也没有光滑表面引起的反射条件下，没有运动的阴影，也没有光滑表面引起的反射面光源引起的漫反射几何面光源引起的漫反射几何方向长方形光源的反射几何方向长方形光源的反射几何 线光源照明
20、模型生成场景示意（有两个线光源照明）线光源照明模型生成场景示意（有两个线光源照明）1 23 41、无大汽影响、无大汽影响2、薄雾天气、薄雾天气3、阴雨浓雾天气、阴雨浓雾天气4、雨后天气、雨后天气物体模型物体模型n物体用纹理、形状和运动模型描述n纹理模型-描述物体的表面特性n假设物体m的纹理用彩色参数Sm来描述，Sm即包含亮度反射系数也包含色度反射系数这些彩色参数对应于图像信号(x)提提 纲纲视频信号的获取视频信号的获取一一摄像机模型摄像机模型二二照明模型照明模型三三物体模型物体模型四四场景模型场景模型五五物体模型物体模型 形状模形状模型型 用体素描用体素描述述 用线框描用线框描述述 运动模运动
21、模型型 刚性物体运刚性物体运动动 柔性物体运动柔性物体运动平平移移旋转旋转分解法分解法叠加法叠加法 B样条曲线描样条曲线描述述形状模型概述形状模型概述p用体素来描述三维物体效率不高：我们对物体的内部不感兴趣p用三角形网格（即线框）来描述三维物体表面控制点表索引面集表p用B样条曲线构造几何物体模型 形状模型体素形状模型体素（a）体积元素）体积元素（b）在一个）在一个 三维点阵中用体素三维点阵中用体素表示形状表示形状形状模型线框（形状模型线框（1 1）（a）表示物体表面的三角形网格；（）表示物体表面的三角形网格；（b）三角形网格表示为一个控制点表；）三角形网格表示为一个控制点表；（c）一组关联控制
22、点表的三角形表）一组关联控制点表的三角形表 形状模型线框（形状模型线框（2 2）p线框的控制点位于物体的表面p控制点的数目和位置由物体的形状及线框模型对物体形状描述的精度决定。p刚性物体：控制点不能被独立的移动，不能改变它的形状p柔性物体：控制点能被独立的移动，能改变它的形状形状模型线框（形状模型线框（3 3）人体头部的形状模型人体头部的形状模型 三个图分别采用了不同数目的控制三角形三个图分别采用了不同数目的控制三角形（从左向右，依次递减）（从左向右，依次递减）图示图示形状模型形状模型B B样条曲线样条曲线用用B样条曲线构造的几何物体模型样条曲线构造的几何物体模型 运动模型运动模型刚性物体的运
23、动 柔性物体的运柔性物体的运动动 运动模运动模型型 平移运动平移运动 旋转运动旋转运动 分解分解法法 叠加叠加法法刚性物体运动平移刚性物体运动平移p平移用平移矢量 描述p一个点从X到X的位移：刚性物体运动旋转（刚性物体运动旋转（1 1）假定物体绕三维空间的原点旋转点运动用旋转矩阵 描述：刚性物体运动旋转（刚性物体运动旋转（2 2）刚性物体运动旋转（刚性物体运动旋转（3 3）旋转矩阵 是一个标准正交矩阵：当旋转角很小的时候，有：当旋转角很小的时候，有：刚性物体运动综合（刚性物体运动综合（1 1）（一）物体表面上的点从X到X的运动（物体绕世界坐标系统中心旋转）（二）物体远离世界坐标系统中心，且只绕
24、自身的中心 旋转时刚性物体运动综合（刚性物体运动综合（2 2）柔性物体运动分解法柔性物体运动分解法将柔性物体分解成两个以上刚性组元，每个组元由它的控制点定义 一个包括两个组元的模型物体一个包括两个组元的模型物体柔性物体运动叠加法柔性物体运动叠加法将小的局部运动叠加到大的刚性运动参数上 例子：例子：有一个带旗子航行的船，可以用一系列有一个带旗子航行的船，可以用一系列刚性参数描述整个船的运动，并且用局部运刚性参数描述整个船的运动，并且用局部运动对风中旗子的运动建模；然后叠加动对风中旗子的运动建模；然后叠加视频信号的获取视频信号的获取一一摄像机模型摄像机模型二二照明模型照明模型三三物体模型物体模型四
25、四场景模型场景模型五五场景模型场景模型p场景模型（光源、物体、摄像机）p三维场景模型较复杂的场景模型p运动物体场景模型将变化的区域分为运动物体、未覆盖背景和即将被覆盖的背景p分层二维物体场景使用平行投影 p不分层二维物体场景最为简单的一种模型 三维场景模型（三维场景模型（1 1）特点由透视投影的摄像机模型得到用来描述物体的运动和物体的遮挡以及投射阴影如果物体是运动的，图像可分为四个区域：静止背景、运动物体、未覆盖背景和新近覆盖的背景三维场景模型（三维场景模型（2 2）一个较为复杂模型场景一个较为复杂模型场景运动物体场景模型（运动物体场景模型（1 1）特点在运动物体的两个图像帧之间比较未变化区域
26、既是两幅图像中静止的背景将变化的区域分成运动物体、未覆盖背景和即将被覆盖背景覆盖延伸运动物体场景模型（运动物体场景模型（2 2）分层二维物体运动场景（分层二维物体运动场景（1 1）p摄像机模型采用正交投影而不是透视投影故深度对场景的图像没有影响，覆盖不延伸p此场景不能描述三维运动效果p通常称为2.5-D场景模型pMPEG-4视频编码支持2.5-D场景模型分层二维物体运动场景（分层二维物体运动场景（2 2）不分层二维物体运动场景（不分层二维物体运动场景（1 1）p是一种最简单最有用的场景模型p假设所有的物体都是平坦的，并且都在相同的平面上p二维物体被限制在一个二维平面运行p不支持物体分层的概念p被用于视频编码标准H.261，H.263，MPEG-1和MPEG-2不分层二维物体运动场景（不分层二维物体运动场景（2 2）场景模型小结场景模型小结p场景模型描述运动物体和一个三维场景的摄像机是如何互相定位的p在视频编码中，通常使用二维场景模型，假设二维物体与摄像机的成像平面平行运动p稍为复杂一些的2.5维场景模型可以用来处理物体的遮挡p三维场景模型可以逼真的描述真实世界
