1、第三章虚拟现实建模技术第三章虚拟现实建模技术虚拟现实建模概述虚拟现实建模概述基于图形学的真实感图形的实时绘制基于图形学的真实感图形的实时绘制模型分割：层次细节模型（模型分割：层次细节模型（LODLOD）基于图象的建模技术基于图象的建模技术虚拟现实建模：虚拟现实建模： 虚拟环境的建模虚拟环境的建模基于图形学的渲染基于图形学的渲染基于图像的渲染基于图像的渲染基于图形学的渲染：几何造型几何造型光照模型与渲染算法光照模型与渲染算法三维观察三维观察纹理影射纹理影射四、基于图像的建模技术四、基于图像的建模技术基于图象的建模和绘制在计算机创造的虚拟环境中产生身临其境的在计算机创造的虚拟环境中产生身临其境的感
2、受，感受，VR对计算机图形学提出了挑战：对计算机图形学提出了挑战：高质量的，实时的图高质量的，实时的图像像生成生成高分辨率的显示高分辨率的显示自然的交互自然的交互经典的图形学：能在很短的时间里产生具有经典的图形学：能在很短的时间里产生具有相当复杂度的真实感图形，但其相当复杂度的真实感图形，但其固有的矛盾固有的矛盾使它无法满足高级使它无法满足高级VR的要求，在一定程度上的要求，在一定程度上限制了限制了VR技术的应用和推广；技术的应用和推广；从另外一个角度考虑了这个问题，即能否从另外一个角度考虑了这个问题，即能否直直接由真实场景的图片来构造虚拟场景接由真实场景的图片来构造虚拟场景呢？呢？能不能用摄
3、像机对景物拍摄后能不能用摄像机对景物拍摄后,自动获得所摄环境自动获得所摄环境或物体的二维增强表示或三维模型，即或物体的二维增强表示或三维模型，即基于现场基于现场图像的图像的VR景物建模？景物建模？问题：问题：真实场景图片：真实场景图片：点阵结构的像素图像点阵结构的像素图像，没有三，没有三维几何信息，没有光照信息维几何信息，没有光照信息图片反映真实场景的某一个角度的视觉特征，图片反映真实场景的某一个角度的视觉特征，用户移动观察视角时，无法由单幅图看到其它用户移动观察视角时，无法由单幅图看到其它角度的场景。角度的场景。而从图像中获取场景的三维几何信息的问而从图像中获取场景的三维几何信息的问题，在计
4、算机视觉领域研究多年，仍未完题，在计算机视觉领域研究多年，仍未完全解决。全解决。所以基于图像渲染的想法尽管直接，但一所以基于图像渲染的想法尽管直接，但一直没有引起大家的深入研究。直没有引起大家的深入研究。1993年，年， Apple公司的公司的QuickTime VR系系统第一次向人们展示了基于图像的方法也统第一次向人们展示了基于图像的方法也可以构造出一个十分优秀的虚拟现实系统。可以构造出一个十分优秀的虚拟现实系统。基于柱面全景图像的虚拟现实系统，生成基于柱面全景图像的虚拟现实系统，生成的虚拟环境不需要知道图像的三维几何信的虚拟环境不需要知道图像的三维几何信息，但支持用户在虚拟环境中左看、右看
5、、息，但支持用户在虚拟环境中左看、右看、上看、下看、上看、下看、3600环视、沿固定路线前进环视、沿固定路线前进与后退等漫游操作，且用户观察到的视觉与后退等漫游操作，且用户观察到的视觉效果完全具有照片质量。效果完全具有照片质量。QuickTime VR是不是VR系统？不支持自由前进和后退，没有头盔显示器和数据不支持自由前进和后退，没有头盔显示器和数据手套；当时很多计算机图形研究人员并不完全承手套；当时很多计算机图形研究人员并不完全承认它是一个虚拟现实系统，认为它认它是一个虚拟现实系统，认为它相当于图形学相当于图形学中的纹理影射技术。中的纹理影射技术。但没多久，学术界便确认了基于图像渲染的学术但
6、没多久，学术界便确认了基于图像渲染的学术地位，并于地位，并于20世纪世纪90年代兴起了新的研究浪潮年代兴起了新的研究浪潮基于图象的建模与绘制技术基于图象的建模与绘制技术IBMRIBMR（Imaged-Based Modeling and Rendering）基于图象的建模与绘制技术基于图象的建模与绘制技术图形学：如何由图形学：如何由几何模型绘制图象几何模型绘制图象计算机视觉：如何从计算机视觉：如何从场景图象中重建场场景图象中重建场景几何景几何IBMR：试图从图象：试图从图象几何几何图象链中完图象链中完全或尽可能多的全或尽可能多的消除几何部分消除几何部分，使绘制，使绘制更接近真实自然更接近真实自
7、然IBMR、计算机图形学、计算机视觉、计算机图形学、计算机视觉 ：方法：方法 ：状态：状态图形、图象建模比较图形：图形：建模复杂，占用大量的人力和物力建模复杂，占用大量的人力和物力绘制速度：实时和复杂，真实感的矛盾绘制速度：实时和复杂，真实感的矛盾图象：图象：用用相片相片代替几何输入进行建模和图象合成代替几何输入进行建模和图象合成（1）利用从相片中抽取的三维信息，重构传统）利用从相片中抽取的三维信息，重构传统的几何模型的几何模型（2）将照片作为系统的输入，使用二维的、基）将照片作为系统的输入，使用二维的、基于图象的视图重构方法于图象的视图重构方法图形学中应用图象的例子：纹理映射技术图形学中应用
8、图象的例子：纹理映射技术基于图象的建模：用预先获得的一组图象基于图象的建模：用预先获得的一组图象表示场景的形状和外观；新图象的合成通表示场景的形状和外观；新图象的合成通过适当地组合原图象实现；过适当地组合原图象实现；IBMR的优点：的优点：建模容易：拍摄照片建模容易：拍摄照片绘制快：视图绘制快：视图视图视图真实感强真实感强什么是基于图像的建模与绘制？什么是基于图像的建模与绘制？基于图象的造型与绘制（IBMR）例：基于图象的造型（IBM）应用图象得到应用图象得到 场景的外观场景的外观 场景的几何信息场景的几何信息 光照光照 反射特性反射特性 运动特性运动特性很容易构很容易构造真实感造真实感场景场
9、景基于图象的绘制已有图象可以已有图象可以用来构造新视用来构造新视点的图象点的图象不必进行所有不必进行所有光照计算光照计算可以快速可以快速的进行绘的进行绘制制IBMR技术包括技术包括两类不同的方法两类不同的方法基于计算机视觉的技术基于计算机视觉的技术基于图象的绘制（基于图象的绘制（IBR）技术）技术基于计算机视觉 利用计算机视觉的方法重建场景的利用计算机视觉的方法重建场景的3D模型，模型，并利用图象中的纹理细节进行绘制。并利用图象中的纹理细节进行绘制。基于计算机视觉（Cont）重建三维模型重建三维模型空间位置？基于计算机视觉（Cont）点重建点重建基于图像的渲染（IBR）？当把图像影射到简单几何
10、中时，图像经常用作某当把图像影射到简单几何中时，图像经常用作某一部分场景的近似。纹理映射是这种应用最简单一部分场景的近似。纹理映射是这种应用最简单的一个例子。的一个例子。纹理映射：定义纹理空间坐标与三维模型中对应纹理映射：定义纹理空间坐标与三维模型中对应位置之间的位置之间的映射函数映射函数，这种映射的说明既困难又，这种映射的说明既困难又耗时，经常需要人工干预；耗时，经常需要人工干预；纹理映射的另一个局限：它依赖于基础的三维几纹理映射的另一个局限：它依赖于基础的三维几何模型，而三维几何模型的构建相当费时费力。何模型，而三维几何模型的构建相当费时费力。大部分虚拟环境的三维模型是聘请专业人士手工大部
11、分虚拟环境的三维模型是聘请专业人士手工绘制的，如影片绘制的，如影片泰塔尼克号泰塔尼克号中中“泰塔尼克泰塔尼克”号巨轮便是好莱坞花巨资（约号巨轮便是好莱坞花巨资（约2500万美元）精心万美元）精心绘制而成的；绘制而成的；构建构建三维几何模型三维几何模型的困难与的困难与定义纹理坐标映射定义纹理坐标映射点点组合在一起时，问题变得更复杂了。组合在一起时，问题变得更复杂了。这种情况下，基于图像渲染（这种情况下，基于图像渲染（Image-Based Rendering，简称，简称IBR）产生了；）产生了；IBR技术目标IBR的目标的目标从已有图象得到新视点的图象从已有图象得到新视点的图象原因：原因：图象容
12、易得到图象容易得到IBR以环境中抽样出的离散图形组成基础数以环境中抽样出的离散图形组成基础数据，通过处理与组织这些图像数据得到环据，通过处理与组织这些图像数据得到环境的连续描述。境的连续描述。如构造一个虚拟友谊广场：如构造一个虚拟友谊广场：在广场选择有限个视点，在若干个不同的方向在广场选择有限个视点，在若干个不同的方向拍摄照片，得到友谊广场的一组离散图像；拍摄照片，得到友谊广场的一组离散图像；IBR技术处理和组织这些图像，构造出一个虚技术处理和组织这些图像，构造出一个虚拟友谊广场；拟友谊广场；支持用户在其中任意角度、任意方向自由漫游支持用户在其中任意角度、任意方向自由漫游图像是基础，图像被认为
13、是二维空间上的图像是基础，图像被认为是二维空间上的一种测量。一种测量。在传统的图像处理中，唯一的几何联系是在传统的图像处理中，唯一的几何联系是图像空间上的二维相邻。图像空间上的二维相邻。基于图像渲染则需要考虑一种更加全局的基于图像渲染则需要考虑一种更加全局的三维几何相邻三维几何相邻。获取输入图像集内不同像。获取输入图像集内不同像素之间的几何联系，重构出虚拟环境的连素之间的几何联系，重构出虚拟环境的连续描述。续描述。基于图像的绘制基于图像的绘制(IBR)是计算机图形的一个是计算机图形的一个重要研究方向，它可以重要研究方向，它可以从图像中重建具有从图像中重建具有照片真实感的虚拟场景照片真实感的虚拟
14、场景。由由IBR的定义可知，的定义可知，IBR的的输入输入是离散的图是离散的图像集，像集，输出输出是一个连续变化的函数。是一个连续变化的函数。虚拟环境的连续描述可以总结为虚拟环境的连续描述可以总结为全光函数全光函数。IBR技术核心把图象看作光线的集合把图象看作光线的集合而不是象素的集合而不是象素的集合IBR技术全光函数给我们足够多的采样光线，是不是可以插值得到给我们足够多的采样光线，是不是可以插值得到附近的光线？附近的光线？全光函数：全光函数：从空间中全光函数：从空间中任意点任意点在在任何时候任何时候所所看到的看到的任意波长任意波长的的光线的集合光线的集合。全光函数描述一个观察者在一个特定空间
15、全光函数描述一个观察者在一个特定空间中所接收到的所有辐射能量，而不是一个中所接收到的所有辐射能量，而不是一个光照源或一个视点。光照源或一个视点。全光函数P7=P(Vx ,Vy ,Vz ,t) 是一个七维函数；是一个七维函数； 从理论上讲，只需采样环从理论上讲，只需采样环 境并重建出全光函数，境并重建出全光函数，IBR就变得非常容易。就变得非常容易。但实际上，重建七维的全光但实际上，重建七维的全光函数很难实现，几乎是不可函数很难实现，几乎是不可能的。能的。McMillan和和Bishop忽略忽略和和t，提出全光建，提出全光建模系统，从一组离散采样点产生连续五维模系统，从一组离散采样点产生连续五维
16、全光函数全光函数五维函数五维函数 P5=P(Vx ,Vy ,Vz ,)然而五维函数仍然难以重构，然而五维函数仍然难以重构，Levoy等和等和Gortler等分别提出了光场函数和光图函数，等分别提出了光场函数和光图函数，在一定的条件下，把五维的全光函数降为在一定的条件下，把五维的全光函数降为四维。四维。四维光图函数的定义：四维光图函数的定义：McMillan和和Bishop将全光函数简化为一将全光函数简化为一个用五个变量描绘位置和方向的函数，个用五个变量描绘位置和方向的函数，如果假设空气是透明的，则光线通过空如果假设空气是透明的，则光线通过空间的光亮度是恒定的；再假设，只考虑间的光亮度是恒定的；
17、再假设，只考虑远离一个有界物体凸起表面的那个光源，远离一个有界物体凸起表面的那个光源，只需描绘这个物体表面的全光函数值。只需描绘这个物体表面的全光函数值。在空间任一位置的一个立方体，沿着某条在空间任一位置的一个立方体，沿着某条光线向后追索到立方体的表面，就能够确光线向后追索到立方体的表面，就能够确定任何光线在任何方向的发光度，由于光定任何光线在任何方向的发光度，由于光线在立方体上的交点最多只有两个，而在线在立方体上的交点最多只有两个，而在平面上描述一个交点只需二维向量，因此，平面上描述一个交点只需二维向量，因此，用用四维函数四维函数便能描述物体表面的任意光线便能描述物体表面的任意光线,这便组成
18、了一个四维的全光函数这便组成了一个四维的全光函数选择立方体的一个面，建立垂直轴（选择立方体的一个面，建立垂直轴（s，t）；用一条平行于）；用一条平行于st面的辅助平面构成的面的辅助平面构成的坐标轴（坐标轴（u，v）参数化光线的方向；则任）参数化光线的方向；则任一光线都可以用四个坐标参数（一光线都可以用四个坐标参数（s，t，u，v）来确定）来确定四维函数：四维函数： A（s，t，u，v）这个四维函数还要进行离散化这个四维函数还要进行离散化光图系统如何生成一个光图，以及如何从光图生成一幅图如何生成一个光图，以及如何从光图生成一幅图像像光图系统流程图光图系统流程图1、图像采集与摄像机定标、图像采集与
19、摄像机定标真实场景的光图获取需要大量观察点的图真实场景的光图获取需要大量观察点的图像，用摄像机获取；像，用摄像机获取；首先要校准摄像机，以确定摄像机方向与首先要校准摄像机，以确定摄像机方向与图像坐标之间的映射关系；图像坐标之间的映射关系；其次，在每一幅图像中设定特殊的标记，其次，在每一幅图像中设定特殊的标记，以从这些标记中计算摄像机的姿态。以从这些标记中计算摄像机的姿态。2、三维外形的估计、三维外形的估计从自然图像恢复从自然图像恢复3D形状信息一直是计算机视觉研形状信息一直是计算机视觉研究的重点与难点，经过几十年研究，从图像中可究的重点与难点，经过几十年研究，从图像中可靠地提取精确的靠地提取精
20、确的3D几何信息始终没有得到很好的几何信息始终没有得到很好的解决；解决；但重建光图只需要大致的估计物体的外形，还是但重建光图只需要大致的估计物体的外形，还是可以实现的可以实现的3、光图重建、光图重建从从样本样本构建一个光图类似于多维分散数据构建一个光图类似于多维分散数据的近似的近似样本点问题：样本点不能被预先确定或控样本点问题：样本点不能被预先确定或控制制样本的均匀分布不能被保证样本的均匀分布不能被保证多分辨率光图重建算法多分辨率光图重建算法4、压缩、压缩光图取样需要大量的存储空间，需要压缩光图取样需要大量的存储空间，需要压缩5、重建图像、重建图像给定一个虚拟摄像机，重建过程其实就是给定一个虚
21、拟摄像机，重建过程其实就是给输出图像的每一个像素着色，使得输出给输出图像的每一个像素着色，使得输出图像上的物体就像是摄像机正对着真实的图像上的物体就像是摄像机正对着真实的物体一样；物体一样；有了光图，可以一个像素一个像素地，一有了光图，可以一个像素一个像素地，一条光线一条光线地生成一幅新的图像。条光线一条光线地生成一幅新的图像。对光图函数的讨论：对光图函数的讨论：光图函数假定针对的是静态物体或场景，光图函数假定针对的是静态物体或场景，不需要知道场景的反射特性，不需要关于不需要知道场景的反射特性，不需要关于场景的任何几何信息，然而这种方法允许场景的任何几何信息，然而这种方法允许使用几何信息以改进
22、计算效果。使用几何信息以改进计算效果。光图函数的计算过程十分复杂，从采集图光图函数的计算过程十分复杂，从采集图像到生成最终所需要的图像一般要花费几像到生成最终所需要的图像一般要花费几个星期，且精度与效果都有待于进一步改个星期，且精度与效果都有待于进一步改进。进。光场光场(Lightfields)技术把全光函数缩小到了技术把全光函数缩小到了4维表达，但数据量仍然十分庞大而且不容易维表达，但数据量仍然十分庞大而且不容易采集。采集。同心拼图技术解决了这些问题，将光图函数同心拼图技术解决了这些问题，将光图函数降到了降到了3维的形式，从而提供了很好的应用维的形式，从而提供了很好的应用可能。可能。同心圆拼
23、图技术是同心圆拼图技术是 沈向洋博士提出的沈向洋博士提出的 沈向洋，微软中国研究院研究项目主沈向洋，微软中国研究院研究项目主任，负责计算机成像、计算机图形、机器任，负责计算机成像、计算机图形、机器人、图像设计和虚拟环境模型设计等项目人、图像设计和虚拟环境模型设计等项目的研究工作。沈博士的博士论文是世界上的研究工作。沈博士的博士论文是世界上第一个由照片转换成虚拟实境的研究。第一个由照片转换成虚拟实境的研究。在在1999年举行的国际图形学年会上，沈向洋博士年举行的国际图形学年会上，沈向洋博士发表了：用同心拼图法将空间任意拍摄的二维图发表了：用同心拼图法将空间任意拍摄的二维图像进行全真的三维复原。像
24、进行全真的三维复原。这是到目前为止，这一领域最高水平的研究工作，这是到目前为止，这一领域最高水平的研究工作，将对计算机图形学研究中的虚拟现实技术产生重将对计算机图形学研究中的虚拟现实技术产生重大影响，并由此导致许多新的技术手段的出现，大影响，并由此导致许多新的技术手段的出现，将为商业、医疗、文化等诸多领域带来广泛的用将为商业、医疗、文化等诸多领域带来广泛的用途。途。什么是同心拼图？什么是同心拼图？同心拼图（同心拼图（concentric mosaics）：由位于同）：由位于同心圆上的照相机拍摄的一系列细长的图片（心圆上的照相机拍摄的一系列细长的图片（slit images）拼接而成的。）拼接而
25、成的。由一架照相机在不同视点（由一架照相机在不同视点（viewpoint）拍摄的）拍摄的照片组合成的，而这些视点是连续分布的。照片组合成的，而这些视点是连续分布的。同心拼图的采样系统由数架固定在水平旋转杆同心拼图的采样系统由数架固定在水平旋转杆上的相机构成，每架相机沿着各自的圆周做连上的相机构成，每架相机沿着各自的圆周做连续运动。续运动。 同心拼图法使二维图像的三维立体重现不仅同心拼图法使二维图像的三维立体重现不仅停留在理论上，而是可以成为现实，并且非停留在理论上，而是可以成为现实，并且非常便于实现。常便于实现。同心拼图采样跟传统的全景摄影一样简单，同心拼图采样跟传统的全景摄影一样简单，不涉及
26、困难的几何光学建模过程，只是需要不涉及困难的几何光学建模过程，只是需要较多数量的图像。较多数量的图像。 技术将以其旺盛的生命力进入人类生活空间技术将以其旺盛的生命力进入人类生活空间的方方面面的方方面面雄伟的万里长城雄伟的万里长城秀丽的桂林山水秀丽的桂林山水巍峨的华山泰山巍峨的华山泰山历史博物馆历史博物馆科技馆科技馆英雄纪念碑英雄纪念碑 在网络中的应用：在网络中的应用：网上虚拟购房，远在上海的客户只要登录北京网上虚拟购房，远在上海的客户只要登录北京的售楼公司网址，则大到所售楼房的外观，小的售楼公司网址，则大到所售楼房的外观，小到每个房间的灯具、地毯质地等场景便一览无到每个房间的灯具、地毯质地等场
27、景便一览无余，而客户所要做的只是双击鼠标。余，而客户所要做的只是双击鼠标。 虚拟全景空间虚拟全景空间 基于图像渲染的虚拟现实系统基于图像渲染的虚拟现实系统90年代，年代，QuickTime VR与与IPIX Viewer等等一批新型系统的推出，向人们展示了一个一批新型系统的推出，向人们展示了一个个方便制作、高质量的虚拟全景空间生成个方便制作、高质量的虚拟全景空间生成平台；平台；而而Internet的普及又为虚拟全景空间的推广的普及又为虚拟全景空间的推广与应用构筑了一个很好的舞台；与应用构筑了一个很好的舞台；全景图像实际上描述的是一个二维的全光全景图像实际上描述的是一个二维的全光函数，即在全光函
28、数函数，即在全光函数P7=P(Vx ,Vy ,Vz ,t) 中，全景图像描中，全景图像描述了固定视点（述了固定视点（Vx ,Vy ,Vz）、时间）、时间t与波长与波长范围范围的情况下，变化观察视角（的情况下，变化观察视角（,）得）得到的任意观察方向上所看到虚拟场景集；到的任意观察方向上所看到虚拟场景集；以全景图像技术为基础构建出的虚拟全景以全景图像技术为基础构建出的虚拟全景空间是当今最成熟、最实用的一个基于图空间是当今最成熟、最实用的一个基于图像渲染的虚拟现实系统；像渲染的虚拟现实系统；虚拟全景空间？基本定义：视点空间基本定义：视点空间（1）视点：指用户在某一时刻在场景中的）视点：指用户在某一
29、时刻在场景中的观察点，观察时所用的焦距固定。观察点，观察时所用的焦距固定。（2）视点空间：在某一视点处，用户所观）视点空间：在某一视点处，用户所观察到的场景。察到的场景。视点空间定义限定了视点的位置，对观察视点空间定义限定了视点的位置，对观察方向未作任何限定，即视点空间包含任意方向未作任何限定，即视点空间包含任意观察方向上用户所看到的全局场景。观察方向上用户所看到的全局场景。虚拟全景空间：虚拟全景空间：单个视点空间反映的是一个三维点空间，单个视点空间反映的是一个三维点空间，而一个虚拟现实系统往往需要建立一个而一个虚拟现实系统往往需要建立一个N维维的虚拟空间；的虚拟空间；点空间点空间:用户只能靠
30、改变视角来观察不同的用户只能靠改变视角来观察不同的场景；场景；N维的虚拟空间：用户可通过改变空间位置维的虚拟空间：用户可通过改变空间位置观察不同的场景；观察不同的场景；N维虚拟空间能反映虚拟空间在维虚拟空间能反映虚拟空间在时间时间上的变上的变化，风景名胜岁季节的变化，白天黑夜的化，风景名胜岁季节的变化，白天黑夜的变化等变化等N维虚拟空间中视点的变化可以不局限于物维虚拟空间中视点的变化可以不局限于物理时空，如在教学楼中安排一间美国总统理时空，如在教学楼中安排一间美国总统办公室等办公室等这样的这样的N维虚拟空间称为虚拟全景空间维虚拟空间称为虚拟全景空间（Virtual Panoramic Spac
31、e）VPS由众多视点组成，视点空间是由众多视点组成，视点空间是VPS的的基本组成单元；基本组成单元；空间操纵：用户通过一定手段可以在虚拟空间操纵：用户通过一定手段可以在虚拟空间中漫游；空间中漫游；视点空间内操纵：操纵视角，视点空间内操纵：操纵视角，360。全视野全视野视点空间间操纵：位置变化、时间变化、超现视点空间间操纵：位置变化、时间变化、超现实场景变化实场景变化VPS的组成：的组成：全景图像全景图像生成器生成器空间编辑器：把不相干的全景图像组织空间编辑器：把不相干的全景图像组织成用户可以任意漫游的虚拟全景空间成用户可以任意漫游的虚拟全景空间VPS浏览器：提供给用户漫游功能浏览器：提供给用户
32、漫游功能全景图像：能反映全局场景的图像全景图像：能反映全局场景的图像（Panaromic Image）局部图像：反映用户在某一视角看到的场局部图像：反映用户在某一视角看到的场景景全景图像的定义全景图像的定义全景图像的制作全景图像的制作全景图像的特点全景图像的特点全景全景图像的应用图像的应用全景图像的定义：三维全景三维全景虚拟全景虚拟全景实景虚拟现实实景虚拟现实全景图全景图360。全景全景全景摄影全景摄影定义（1） 全景是把相机环全景是把相机环360 度拍摄的一组或多组照度拍摄的一组或多组照片拼接成一个全景图像，通过计算机技术实片拼接成一个全景图像，通过计算机技术实现全方位互动式观看的真实场景还
33、原展示方现全方位互动式观看的真实场景还原展示方式。在播放插件（通常式。在播放插件（通常Java或或Quicktime、activex、flash）的支持下）的支持下,使用鼠标控制环使用鼠标控制环视的方向，可左可右可近可远视的方向，可左可右可近可远 。使用户感。使用户感到就处在现场环境当中，产生身临其境的逼到就处在现场环境当中，产生身临其境的逼真视觉效果。真视觉效果。 定义（2）全景摄影是把相机环全景摄影是把相机环360度拍摄的一组照片度拍摄的一组照片拼接成一个全景图像，用一个专用的播放拼接成一个全景图像，用一个专用的播放软件在互联网上显示，并使您能用鼠标控软件在互联网上显示，并使您能用鼠标控制
34、环视的方向，可左可右可近可远。使您制环视的方向，可左可右可近可远。使您感到就在环境当中，您好像在一个窗口中感到就在环境当中，您好像在一个窗口中浏览外面的大好风光浏览外面的大好风光 。 定义（3）全景，是对场景的超大视角乃至全景，是对场景的超大视角乃至360度完整场景度完整场景范围进行展示的照片。范围进行展示的照片。通过对专业相机捕捉整个场景的图像信息用软件通过对专业相机捕捉整个场景的图像信息用软件进行合成，用专门的播放器进行播放，把二维的进行合成，用专门的播放器进行播放，把二维的平面图模拟成真实的三维空间，呈现给观赏者。平面图模拟成真实的三维空间，呈现给观赏者。给观赏者提供各种操纵图像的功能，
35、放大缩小，给观赏者提供各种操纵图像的功能，放大缩小，各个方向移动观看场景，达到模拟和再现场景的各个方向移动观看场景，达到模拟和再现场景的真实环境的效果。真实环境的效果。 全景图像：全景图像：球面全景图像球面全景图像多面体全景图像多面体全景图像柱面全景图像柱面全景图像视点空间：球体、多面体与圆柱体视点空间：球体、多面体与圆柱体柱形全景：把拍摄的照片投影到以视点为柱形全景：把拍摄的照片投影到以视点为中心的有限高度的圆柱上，从而水平中心的有限高度的圆柱上，从而水平360度度观看四周的景色，但用鼠标向上下拖动时，观看四周的景色，但用鼠标向上下拖动时，上下的视野将受到限制，看不到天顶，也上下的视野将受到
36、限制，看不到天顶，也看不到地底。即垂直视角小于看不到地底。即垂直视角小于180度。度。 球形全景：球形全景：把拍摄的照片投影到以视点为中心的把拍摄的照片投影到以视点为中心的圆球上从而能水平圆球上从而能水平360度，垂直度，垂直180度，即全视角度，即全视角360X180观看全景照片。可以说用户已经融入了虚观看全景照片。可以说用户已经融入了虚拟环境之中了。拟环境之中了。球形全景照片的制作：球形全景照片的制作：首先必须全视角拍摄，即要把上下前后左右全首先必须全视角拍摄，即要把上下前后左右全部拍下来，普通相机要拍摄很多张照片。部拍下来，普通相机要拍摄很多张照片。然后再用专用的软件把它们拼接起来，做成
37、球然后再用专用的软件把它们拼接起来，做成球面展开的全景图像面展开的全景图像最后选用播放软件，把全景照片嵌入网页。最后选用播放软件，把全景照片嵌入网页。 立方体全景立方体全景(cubic Panorama)： 这种全景这种全景照片是由前，后，左，右，上，下照片是由前，后，左，右，上，下6张照片张照片无缝拼接而成。相机位于立方体的中心，无缝拼接而成。相机位于立方体的中心，也是全视角也是全视角,实际效果与球形全景类似。实际效果与球形全景类似。 全景图像的制作：怎样生成三维全景呢？怎样生成三维全景呢？硬件和软件硬件和软件拍摄：需要相机和鱼眼镜头、云台、三角拍摄：需要相机和鱼眼镜头、云台、三角架等硬件来
38、拍摄出鱼眼照片架等硬件来拍摄出鱼眼照片照片的数字化和全景照片的合成：使用全照片的数字化和全景照片的合成：使用全景拼合发布软件把拍摄的鱼眼照片拼合景拼合发布软件把拍摄的鱼眼照片拼合选用播放软件并把它嵌入网页，发布成可选用播放软件并把它嵌入网页，发布成可以播放和浏览的格式。以播放和浏览的格式。常见的全景制作硬件：常见的全景制作硬件：一次成像：一次成像：Oneshot环拍设备：环拍设备：Roundshot，Panoscan组合设备：数码相机组合设备：数码相机+鱼眼镜头鱼眼镜头+全景云台全景云台 常见的全景制作软件：常见的全景制作软件：著名软件企业：著名软件企业：3Divsta、Ipix、Iseeme
39、dia、Ulead、上海杰图等。、上海杰图等。常见合成软件：常见合成软件：Panotool、Photovista、Ipix、Ulead cool360、造景师等、造景师等常见播放工具：常见播放工具：Ptviewer，Iseemedia的的Realtime Viewer，Quicktime Player等。等。发布制作工具：国内的漫游大师，国外的发布制作工具：国内的漫游大师，国外的3Dvista publisher，IBM Hotmedia等。等。拍摄拍摄: 全景摄影全视角拍摄，特点全景摄影全视角拍摄，特点: （1） 相机必需准确可靠定位相机必需准确可靠定位: 由于相机的视由于相机的视角大多小于
40、角大多小于360度，因此必须拍摄多张照片才度，因此必须拍摄多张照片才能记录全视角图像信息，为了使多张照片光滑能记录全视角图像信息，为了使多张照片光滑地连接成全景投影图像，相机必需准确可靠定地连接成全景投影图像，相机必需准确可靠定位在一个中心点上，有专用设备可供选购，可位在一个中心点上，有专用设备可供选购，可以准确定位相机。许多爱好者仅仅使用三角架以准确定位相机。许多爱好者仅仅使用三角架也能拍出好的全景照片。也能拍出好的全景照片。全景图像的制作拍摄（2） 选用超广角镜头选用超广角镜头: 对全对全360度全景照片，相机镜头的视角越小，度全景照片，相机镜头的视角越小，拍摄的照片就越多，后处理就越复杂
41、。因此最拍摄的照片就越多，后处理就越复杂。因此最好选用小于好选用小于18MM的的鱼眼镜头，鱼眼镜头，比如选用比如选用18MM的镜头需要拍的镜头需要拍8-10张张(照片之间应有适照片之间应有适当的重叠当的重叠)，而选用，而选用8MM的鱼眼镜头只需拍的鱼眼镜头只需拍2-3张。张。 按一次快门就可以拍下全按一次快门就可以拍下全360度的专业相机，度的专业相机，价格昂贵。价格昂贵。 为什么需要鱼眼镜头？为什么需要鱼眼镜头？ 普通照片的水平视角和垂直视角能捕捉普通照片的水平视角和垂直视角能捕捉到的范围分别为到的范围分别为 90度左右和度左右和70度左右。度左右。 鱼眼镜头能使拍摄到图片的水平视角和鱼眼镜
42、头能使拍摄到图片的水平视角和垂直视角都达到垂直视角都达到180度，整个场景只需要拍度，整个场景只需要拍摄两张图片就可以。摄两张图片就可以。 8mm鱼眼镜头拍的鱼眼镜头拍的180度广角照片度广角照片 鱼眼镜头拍摄的照片鱼眼镜头拍摄的照片云台的作用？云台的作用？ 相机节点（相机节点（ Nodal Point）：）：“节点节点”指照指照相机的光学中心，穿过此点的光线不会发相机的光学中心，穿过此点的光线不会发生折射。生折射。 在拍摄鱼眼照片时，相机必须绕着节点转在拍摄鱼眼照片时，相机必须绕着节点转动，才能保证全景拼合的成功。云台的作动，才能保证全景拼合的成功。云台的作用正是如此。用正是如此。 云台安装
43、于三脚架上。保证相机转动时，云台安装于三脚架上。保证相机转动时，镜头的镜头的“节点节点”正好位于转动轴上。正好位于转动轴上。 不采用云台而直接使用数码相机和鱼眼镜不采用云台而直接使用数码相机和鱼眼镜头拍摄鱼眼图像将会头拍摄鱼眼图像将会产生偏移产生偏移。拍摄时没有采用云台，空间信息不完全，拍摄时没有采用云台，空间信息不完全，图像无法正确拼合，加了云台，节点的位图像无法正确拼合，加了云台，节点的位置保持不变，偏移消失置保持不变，偏移消失 使用云台拍摄后进行拼合的图像没有拼缝使用云台拍摄后进行拼合的图像没有拼缝和错位和错位 （3） 取景与用光取景与用光:取景要兼顾水平四面八方，还要顶天和立地，取景要
44、兼顾水平四面八方，还要顶天和立地，球形和立方体全景顶天和立地的巧妙取景可以球形和立方体全景顶天和立地的巧妙取景可以产生融入三维环境的效果。产生融入三维环境的效果。用光是全景拍摄的难点，由于是用光是全景拍摄的难点，由于是360度拍摄，度拍摄， 无法回避直射的阳光，反差大难以控制，与普无法回避直射的阳光，反差大难以控制，与普通摄影不同。但摄影的用光和拍摄技巧全部可通摄影不同。但摄影的用光和拍摄技巧全部可以用在全景的拍摄中。以用在全景的拍摄中。 数字化数字化: 把照片输入计算机把照片输入计算机 数字相机数字相机:直接输入计算机。直接输入计算机。胶片照相机胶片照相机:用扫描仪数字化照片后输入计算机。用
45、扫描仪数字化照片后输入计算机。全景图像的制作数字化 合成全景照片合成全景照片: 把拍摄的多张照片合成一把拍摄的多张照片合成一个全景照片是全景制作的重点。个全景照片是全景制作的重点。柱形全景合成最简单，球形和立方体全景柱形全景合成最简单，球形和立方体全景则必须经过几何变换才能合成。则必须经过几何变换才能合成。全景图像的制作合成全景照片首先将拍摄好的正面、反面的两张鱼眼图首先将拍摄好的正面、反面的两张鱼眼图片导入软件片导入软件导入拍摄好的前后两个半球的鱼眼照片导入拍摄好的前后两个半球的鱼眼照片将前后半球拼合成一张完整的全景图。将前后半球拼合成一张完整的全景图。 自动拼自动拼合鱼眼合鱼眼图片并图片并
46、在鱼眼在鱼眼图下面图下面生成全生成全景图的景图的预览预览 合成后的全景图像合成后的全景图像 后期的润饰后期的润饰: 由多张照片合成的全景照片往由多张照片合成的全景照片往往在照片之间对比度，色彩、清晰度、层往在照片之间对比度，色彩、清晰度、层次上有许多差异，必须由图像处理软件编次上有许多差异，必须由图像处理软件编辑和修改，最常用的软件是辑和修改，最常用的软件是Photoshop。 全景图像的制作后期润饰全景照片在互联网上的显示全景照片在互联网上的显示:全景图片拼合好以再使用软件将其发布成全景图片拼合好以再使用软件将其发布成可以播放和浏览的格式。可以播放和浏览的格式。全景可发布成网页格式、全景可发
47、布成网页格式、exe格式、格式、mov格格式（需要式（需要quicktime播放器才能播放）等。播放器才能播放）等。 全景图像的制作互联网上显示全景照片嵌入网页后，借助于一个浏览器全景照片嵌入网页后，借助于一个浏览器的插件在互联网上显示。这个插件可以是的插件在互联网上显示。这个插件可以是JAVA小程序，也可以是一个小程序，也可以是一个IE的的ActiveX控件。控件。JAVA小程序是自动下载和自动执行小程序是自动下载和自动执行的，其功能是显示全景照片，并使能用鼠的，其功能是显示全景照片，并使能用鼠标拖动观看。标拖动观看。 用用Quicktime 5 显示显示QTVR全景全景 应用在网页中的全景
48、应用在网页中的全景 杰图FlyVR实景虚拟现实平台 gis地图与地图与现实场景的现实场景的互动结合给互动结合给人们带来建人们带来建模无法实现模无法实现的真实感受的真实感受 全景特点：1.真实感，基于对真实图片的制作生成，相比其真实感，基于对真实图片的制作生成，相比其他建模生成对象更真实可信。他建模生成对象更真实可信。2.比平面图片能比能表达更多的图像信息，并可比平面图片能比能表达更多的图像信息，并可以任意控制，交互性能好。以任意控制，交互性能好。3.经过对图像的透视处理模拟真实三维实景，沉经过对图像的透视处理模拟真实三维实景，沉浸感强烈，给观赏者带来身临其境的感觉。浸感强烈，给观赏者带来身临其
49、境的感觉。4.生成方便，制作周期短，制作成本低。生成方便，制作周期短，制作成本低。5.文件小，传输方便，适合网络使用，发布格式文件小，传输方便，适合网络使用，发布格式多样，适合各种形式的应用。多样，适合各种形式的应用。全景应用：全景以其可以真实快速表现全景以其可以真实快速表现360度范围场景的信息，度范围场景的信息，能给客户带来身临其境的感觉，应用非常广泛能给客户带来身临其境的感觉，应用非常广泛 1、全景虚拟导览介绍（交互式漫游）、全景虚拟导览介绍（交互式漫游） 2、旅游景点虚拟导览展示、旅游景点虚拟导览展示 3、酒店网上三维全景虚拟展示、酒店网上三维全景虚拟展示 4、房地产行业虚拟全景运用、
50、房地产行业虚拟全景运用 5、产品商业全景展示应用、产品商业全景展示应用 6、娱乐休闲空间三维全景虚拟展示应用、娱乐休闲空间三维全景虚拟展示应用 7、汽车三维全景虚拟展示应用、汽车三维全景虚拟展示应用 8、虚拟校园三维全景虚拟展示应用、虚拟校园三维全景虚拟展示应用 9、政府开发区环境展示、政府开发区环境展示 讨论？360度全景图像是否是真正的虚拟现实？度全景图像是否是真正的虚拟现实？当定点在某一视点向四周进行环视时，虚拟现当定点在某一视点向四周进行环视时，虚拟现实与基于三维全景照片的观赏效果一样。实与基于三维全景照片的观赏效果一样。在观赏三维互动全景照片时，人们的确获得了在观赏三维互动全景照片时
