生成虚拟现实需要解决以下三个主要问题课件.ppt

1、虚拟现实技术介绍乔洪志乔洪志 我们先来看一个例子，这是日本松下公司用来招我们先来看一个例子，这是日本松下公司用来招揽买主的揽买主的“厨房世界厨房世界”。你只要戴上特殊的头盔和一。你只要戴上特殊的头盔和一只银色的手套，就可以去只银色的手套，就可以去“漫游漫游”厨房世界了。你伸厨房世界了。你伸手去开门，门随手而开，厨房内的所有设备就会映人手去开门，门随手而开，厨房内的所有设备就会映人你的眼帘。你可以用手打开柜橱的门和抽屉，查看里你的眼帘。你可以用手打开柜橱的门和抽屉，查看里面的结构和质量，可从碗架上拿下盘子看看，也可以面的结构和质量，可从碗架上拿下盘子看看，也可以打开水龙头，立即看见水流出来，听见

2、流水声，还可打开水龙头，立即看见水流出来，听见流水声，还可查看水池下面的排水是否流畅，也可查看照明是否亮查看水池下面的排水是否流畅，也可查看照明是否亮堂，试试通风排气是否正常堂，试试通风排气是否正常。可是当你拿下头盔，。可是当你拿下头盔，摘下手套时，这一切又都消失了。摘下手套时，这一切又都消失了。 杭州大学开发了虚拟故官游玩系统。只要你戴上杭州大学开发了虚拟故官游玩系统。只要你戴上特制的头盔，骑上不动的自行车，你从头盔显示器里特制的头盔，骑上不动的自行车，你从头盔显示器里就看见了形象逼真的天安门城楼。你登上自行车的脚就看见了形象逼真的天安门城楼。你登上自行车的脚踏板，你就会感到自己骑车来到了午

3、门前的大道上，踏板，你就会感到自己骑车来到了午门前的大道上，飞快地穿过午门，越过金水桥、越过太和门，来到太飞快地穿过午门，越过金水桥、越过太和门，来到太和殿广场。由于你的自行车太快，一下子破墙而入，和殿广场。由于你的自行车太快，一下子破墙而入，到了太和殿。金銮殿内盘龙的柱子，庄严的殿堂和真到了太和殿。金銮殿内盘龙的柱子，庄严的殿堂和真实的景像完全一样，你又骑车来到了御花园、绿树、实的景像完全一样，你又骑车来到了御花园、绿树、红亭、碧池令你陶醉，好像身临其境。但是，当你摘红亭、碧池令你陶醉，好像身临其境。但是，当你摘下头盔时，仍然是骑在自行车上，一步也没有动。下头盔时，仍然是骑在自行车上，一步也

4、没有动。 虚拟与现实两词具有相互矛盾的含义，把这两个词放在一起，似乎没有意义，但是科学技术的发展却赋予了它新的含义。虚拟现实的明确定义不太好说，按最早提出虚拟现实概念的学者J.Laniar的说法，虚拟现实，又称假想现实，意味着“用电子计算机合成的人工世界”。这个领域与计算机有着不可分离的密切关系，信息科学是合成虚拟现实的基本前提。生成虚拟现实需要解决以下三个主要问题：生成虚拟现实需要解决以下三个主要问题：以假乱真的存在技术。即，怎样合成对观察者的感官器官来说与实际存在相一致的输入信息，也就是如何可以产生与现实环境一样的视觉，触觉，嗅觉等。（浸没性）（浸没性）相互作用。观察者怎样积极和能动地操作

5、虚拟现实，以实现不同的视点景象和更高层次的感觉信息。实际上也就是怎么可以看得更像，听得更真等等。（交互性）（交互性）自律性现实。感觉者如何在不意识到自己动作、行为的条件下得到栩栩如生的现实感。（思想性）（思想性） 为了成功地开发这三大技术，虚拟现实必须处理好如下图所示的各个为了成功地开发这三大技术，虚拟现实必须处理好如下图所示的各个要素之间的相互关系。在这里，观察者、传感器、计算机仿真系统与显示要素之间的相互关系。在这里，观察者、传感器、计算机仿真系统与显示系统构成了一个相互作用的闭环流程。系统构成了一个相互作用的闭环流程。 （总面积（总面积40平方公里，平方公里，500万个面，万个面，332

6、 兆贴图，鸟瞰浏览速兆贴图，鸟瞰浏览速率不低于率不低于15ftp,多媒体数据库，运行环境微机多媒体数据库，运行环境微机win2000) 在新闻发布会上，埃在新闻发布会上，埃及政府宣称：及政府宣称：“大埃及博物馆将充大埃及博物馆将充分运用计算机和网络分运用计算机和网络技术，从而使它成为技术，从而使它成为第一个全球第一个大第一个全球第一个大规模运用信息技术的规模运用信息技术的虚拟现实博物馆虚拟现实博物馆 “数字化虚拟人数字化虚拟人”研究是一项信息医学、生物技术、计算机技研究是一项信息医学、生物技术、计算机技术等学科相互交叉、综合发展起来的前沿性交叉学科，对人类术等学科相互交叉、综合发展起来的前沿性

7、交叉学科，对人类科技发展和社会进步有深远意义。科技发展和社会进步有深远意义。“数字化虚拟人数字化虚拟人”由美国科学家于由美国科学家于20世纪末提出，并率先进行世纪末提出，并率先进行研究。此后，世界许多国家都予以高度重视，特别是西方发达研究。此后，世界许多国家都予以高度重视，特别是西方发达国家一直积极酝酿，或启动专项研究计划。国家一直积极酝酿，或启动专项研究计划。 “数字化虚拟人数字化虚拟人”包括包括“虚拟可视人虚拟可视人”、“虚拟物理人虚拟物理人”和和“虚拟生物人虚拟生物人”三个阶段。具有几何图型有视觉效果为三个阶段。具有几何图型有视觉效果为“虚拟虚拟可视人可视人”也称也称“虚拟解剖人虚拟解剖

8、人”；附加物理化学信息的为；附加物理化学信息的为“虚拟虚拟物理人物理人”；而附加人体各种生物信息的，则为；而附加人体各种生物信息的，则为“虚拟生物人虚拟生物人”。目前，一些发达国家仅初步达到了目前，一些发达国家仅初步达到了“虚拟可视人虚拟可视人”阶段，即获阶段，即获取了取了“虚拟可视人虚拟可视人”几何图像信息。而对几何图像信息。而对“虚拟物理人虚拟物理人”和和“虚拟生物人虚拟生物人”的研究和探讨，仅限于局部器官。的研究和探讨，仅限于局部器官。 一、医学参考：有利于培养优秀外科医生。以往要想成为一个一、医学参考：有利于培养优秀外科医生。以往要想成为一个手到病除、技艺高超的外科医生，都要通过师傅带

9、徒弟式的反手到病除、技艺高超的外科医生，都要通过师傅带徒弟式的反复实践，在病人身上练习操作技术，现在有了虚拟人，就可以复实践，在病人身上练习操作技术，现在有了虚拟人，就可以在电脑操纵的虚拟人体模型上培训外科医生。在动手术之前，在电脑操纵的虚拟人体模型上培训外科医生。在动手术之前，也可以先在虚拟人的身上开刀，电脑上会显示刀口断层及组织也可以先在虚拟人的身上开刀，电脑上会显示刀口断层及组织断面，为医生制订术前计划提供科学参考。断面，为医生制订术前计划提供科学参考。二、制药实验：有了虚拟人，医生和制药公司就可以先在二、制药实验：有了虚拟人，医生和制药公司就可以先在与病人身体数据一模一样的虚拟人身上试

10、验新药，医生可以先与病人身体数据一模一样的虚拟人身上试验新药，医生可以先将药物影响数据输入电脑，让将药物影响数据输入电脑，让“虚拟病人虚拟病人”先试先试“吃吃”一下，一下，电脑里的电脑里的“虚拟病人虚拟病人”会显示服药后的生理反应，从而协助医会显示服药后的生理反应，从而协助医生对症下药。这种方法可以提高用药准确性和研制新药及新药生对症下药。这种方法可以提高用药准确性和研制新药及新药上市的效率。相关实验已经在美国开展。上市的效率。相关实验已经在美国开展。三、军事应用：虚拟人在军事医学上也很有价值。比如，三、军事应用：虚拟人在军事医学上也很有价值。比如，可以用虚拟人来试验核武器、化学武器、生物武器

11、的威力。现可以用虚拟人来试验核武器、化学武器、生物武器的威力。现在的核爆炸试验都是利用动物进行。试验前在离核爆中心的不在的核爆炸试验都是利用动物进行。试验前在离核爆中心的不同距离放置动物，核爆后再把动物收回来检验。有了虚拟人就同距离放置动物，核爆后再把动物收回来检验。有了虚拟人就可以直接拿她来做试验。可以直接拿她来做试验。四、肿瘤治疗：放射治疗是目前治疗肿瘤疾病的一个重要四、肿瘤治疗：放射治疗是目前治疗肿瘤疾病的一个重要手段，但由于现在做放射治疗的医生只能凭经验进行辐射量的手段，但由于现在做放射治疗的医生只能凭经验进行辐射量的调节，病人往往担心在此过程中受到过量的辐射。现在有了虚调节，病人往往

12、担心在此过程中受到过量的辐射。现在有了虚拟人，医生就可以先对虚拟人作放射治疗，通过其身体的变化拟人，医生就可以先对虚拟人作放射治疗，通过其身体的变化来测定实际辐射量的使用，最后再用到真正的病人身上。这样来测定实际辐射量的使用，最后再用到真正的病人身上。这样就进一步提高了治疗的安全性。就进一步提高了治疗的安全性。 目前，获取目前，获取“数字化虚拟人数字化虚拟人”一般采用的是人工断层解剖一般采用的是人工断层解剖学的方法，只能经过对正常、健康尸体的严格筛选，通过学的方法，只能经过对正常、健康尸体的严格筛选，通过高精度切削，获取解剖形态学信息，而不是一般人认为的高精度切削，获取解剖形态学信息，而不是一

13、般人认为的X光断层扫描所得的影像学信息。光断层扫描所得的影像学信息。 先要选取一具尸体，将人体切成非常薄的片，每切一次片，先要选取一具尸体，将人体切成非常薄的片，每切一次片，都会利用数码相机和扫描仪对已切片的切面进行拍照、分都会利用数码相机和扫描仪对已切片的切面进行拍照、分析，之后将数据输入电脑，最后由电脑合成三维的立体人析，之后将数据输入电脑，最后由电脑合成三维的立体人类生理结构。类生理结构。“中国虚拟人中国虚拟人号号”是国家是国家“863计划计划”项目之一，由中项目之一，由中国科学院、首都医科大学、华中科技大学和解放军第一军国科学院、首都医科大学、华中科技大学和解放军第一军医大学协作攻关。

14、医大学协作攻关。 “中国虚拟人中国虚拟人号号”为男性，是专家精心选取的一个最具有代为男性，是专家精心选取的一个最具有代表性的中国人，高表性的中国人，高1.66米，米，28岁，汉族，祖籍湖南，体重岁，汉族，祖籍湖南，体重58公公斤，去年斤，去年4月死亡，自愿捐献尸体。月死亡，自愿捐献尸体。由于切片厚度仅有由于切片厚度仅有0.1毫米，估计需要将整个人切成毫米，估计需要将整个人切成1.6万多片。万多片。据钟世镇院士介绍：中国是世界上第三个用人体切片合成虚拟据钟世镇院士介绍：中国是世界上第三个用人体切片合成虚拟人的国家，目前美国的虚拟人切片是人的国家，目前美国的虚拟人切片是0.33毫米厚，韩国的是毫米

15、厚，韩国的是0.2毫米厚，所以毫米厚，所以“中国虚拟人中国虚拟人号号”的逼真度最高。另外，的逼真度最高。另外，“中国虚拟人中国虚拟人号号”还首次将切片者的静脉和动脉血管区分开。还首次将切片者的静脉和动脉血管区分开。 中国首例女性虚拟人数据集于中国首例女性虚拟人数据集于2003年年2月月18日日17时时18分在广分在广州第一军医大学构建成功。这标志着我国在完成数字化虚拟州第一军医大学构建成功。这标志着我国在完成数字化虚拟人体若干关键技术之后，建立了有知识产权的中国虚拟人数人体若干关键技术之后，建立了有知识产权的中国虚拟人数字平台，为开发各种用途的软件和参与国际合作与竞争抢占字平台，为开发各种用途

16、的软件和参与国际合作与竞争抢占了应有的地位。了应有的地位。 “中国虚拟人中国虚拟人2号号”为女性，是我国首个女虚拟人。据介绍，为女性，是我国首个女虚拟人。据介绍，该虚拟人的数据采集者年龄为该虚拟人的数据采集者年龄为19岁，身高岁，身高1.56米，是广西人，米，是广西人，去年在广东因食物中毒而急性死亡。钟院士认为虽然她不是去年在广东因食物中毒而急性死亡。钟院士认为虽然她不是一个健康人，但由于是急性死亡，骨骼身体结构保持完好，一个健康人，但由于是急性死亡，骨骼身体结构保持完好，加上年纪很轻，是一个条件很不错的标本。加上年纪很轻，是一个条件很不错的标本。 切片断面仅切片断面仅0.2毫米，共切片毫米，

17、共切片8556片。片。当你需要一个快速又简便的方法创作三维图像时，当你需要一个快速又简便的方法创作三维图像时，POLHEMUS公司公司出品的出品的FastSCAN 实时三维手持激光扫描仪可以帮你实现梦想！实时三维手持激光扫描仪可以帮你实现梦想！ 自动检测用户的精神压力并产生香味的产品，由监视精神压力自动检测用户的精神压力并产生香味的产品，由监视精神压力的专用鼠标和喷射香味成分的喷雾器组成。的专用鼠标和喷射香味成分的喷雾器组成。与画面显示相结合再现触觉的皮肤感觉显示器，利用贴在监视与画面显示相结合再现触觉的皮肤感觉显示器，利用贴在监视器上的薄型电极与卷到手指上的薄膜间产生的静电力，就能再器上的薄

18、型电极与卷到手指上的薄膜间产生的静电力，就能再现出物体表面的凹凸感。由东京大学开发现出物体表面的凹凸感。由东京大学开发 。一些电脑制造商宣称：一些电脑制造商宣称：现在已经可以用电脑创造出一个视觉上和听觉上的性的现在已经可以用电脑创造出一个视觉上和听觉上的性的虚拟虚拟现实现实，就是利用多媒体技术，不仅使人看到和听到栩栩如生，就是利用多媒体技术，不仅使人看到和听到栩栩如生的性生活场面，而且可以由观听者自己来指挥屏幕上的的性生活场面，而且可以由观听者自己来指挥屏幕上的性演性演员员，你让她，你让她/他怎样，她他怎样，她/他就会怎样，即所谓他就会怎样，即所谓互动表演互动表演（interactive sh

19、ow）。）。这会使人一如身临其境。如果再给这会使人一如身临其境。如果再给人穿上特制的紧身衣，通过它，使电流适当地刺激到人体表人穿上特制的紧身衣，通过它，使电流适当地刺激到人体表面的大约面的大约100万个感觉神经的神经元；那么，人就会产生相应万个感觉神经的神经元；那么，人就会产生相应的触觉。在这样一个虚拟现实里，人不仅会如入其境，而且的触觉。在这样一个虚拟现实里，人不仅会如入其境，而且会更加美不胜收。这是因为，多媒体表演以及电流的适当刺会更加美不胜收。这是因为，多媒体表演以及电流的适当刺激，在强度上、可调节度上和持续时间上，都远远超过真人。激，在强度上、可调节度上和持续时间上，都远远超过真人。

20、该数据手套共有该数据手套共有18个传感器，分别完成手指关节弯曲角度和手个传感器，分别完成手指关节弯曲角度和手指开合程度的测量。当用户戴上数据手套时，计算机通过指开合程度的测量。当用户戴上数据手套时，计算机通过A/D采采样板和信号转换电路对各个传感器进行采样，即可将用户手的姿样板和信号转换电路对各个传感器进行采样，即可将用户手的姿态和动作信息传递给计算机，从而达到人机交互的目的。态和动作信息传递给计算机，从而达到人机交互的目的。 弯曲传感器是一种具有很好柔性的角度传感器（中科院自动化弯曲传感器是一种具有很好柔性的角度传感器（中科院自动化所专利技术），厚度仅为所专利技术），厚度仅为1mm左右，而长

21、度和宽度则可以根左右，而长度和宽度则可以根据需要制作。据需要制作。如图如图2所示。所示。该传感器具有轻、薄、柔性好的特该传感器具有轻、薄、柔性好的特点，与计算机采样电路配合，可以完成对物体弯曲角度的检测，点，与计算机采样电路配合，可以完成对物体弯曲角度的检测，尤其适用于人体各个关节的动态检测。尤其适用于人体各个关节的动态检测。手指力觉反馈装置是一种可以产生真实的接触和受力感觉的装手指力觉反馈装置是一种可以产生真实的接触和受力感觉的装置（专利技术）。如图置（专利技术）。如图3所示。该装置具有体积小，结构简单，所示。该装置具有体积小，结构简单，可产生较大的驱动力的特点。它可以被安装在用户的手指或其

22、可产生较大的驱动力的特点。它可以被安装在用户的手指或其它部位，利用安装在接触触头上的力传感器对作用力进行反馈它部位，利用安装在接触触头上的力传感器对作用力进行反馈控制，保证用户得到真实的力觉反馈。将多个力反馈单元安装控制，保证用户得到真实的力觉反馈。将多个力反馈单元安装在同一个手指上，可以构成具有力反馈功能的在同一个手指上，可以构成具有力反馈功能的“力觉反馈数据力觉反馈数据手套手套”。 力觉反馈数据手套结构示意图力觉反馈数据手套结构示意图 肉眼所看到的景像是一种具有层次、深度的立体影像。一般我肉眼所看到的景像是一种具有层次、深度的立体影像。一般我们所谓们所谓3D游戏，实际上并非真正的游戏，实际

23、上并非真正的3D；显示卡虽以显示卡虽以x、y、z轴轴来处理资料，然而输出至屏幕时仍须再次转换成来处理资料，然而输出至屏幕时仍须再次转换成2D，因为屏幕因为屏幕先天即是先天即是2D，所以我们称呼这种所以我们称呼这种3D为平面为平面3D。让我们先做个简单的实验，首先伸出您的一根手指头，并凝视让我们先做个简单的实验，首先伸出您的一根手指头，并凝视这根手指，然后闭上右眼、张开左眼；再来张开右眼、闭上左这根手指，然后闭上右眼、张开左眼；再来张开右眼、闭上左眼，仔细观察左、右眼所见是否有些不同？这个不同即为视眼，仔细观察左、右眼所见是否有些不同？这个不同即为视差差(parallax)。立体立体3D的技术即

24、是要将这个视差持续在的技术即是要将这个视差持续在屏幕上表现出来。因此为使观赏者得以观看真正立体，每个眼屏幕上表现出来。因此为使观赏者得以观看真正立体，每个眼睛所看到景物必须与另一眼稍有不同。事实上，在真实生活里睛所看到景物必须与另一眼稍有不同。事实上，在真实生活里左、右眼所看到的景物即有些不同，而这理论即被应用在立体左、右眼所看到的景物即有些不同，而这理论即被应用在立体3D科技之中。科技之中。 液晶立体眼镜液晶立体眼镜(Liquid Crystal Shutter Glasses)技术可以让这技术可以让这个视差持续在屏幕上表现出来。藉由控制个视差持续在屏幕上表现出来。藉由控制IC送出立体讯号送

25、出立体讯号(左眼左眼-右眼右眼-左眼左眼-右眼右眼-依序连续互相交替重复依序连续互相交替重复)至屏幕，至屏幕，并同时送出同步讯号至液晶眼镜使其同步切换左、右眼影像，并同时送出同步讯号至液晶眼镜使其同步切换左、右眼影像，换句话说，左眼看到左眼该看到的景像，右眼看到右眼该看到换句话说，左眼看到左眼该看到的景像，右眼看到右眼该看到的景像。的景像。液晶立体眼镜为一穿透液晶镜片，藉由电路对液晶眼镜开、闭液晶立体眼镜为一穿透液晶镜片，藉由电路对液晶眼镜开、闭的控制的控制 ( 开：眼镜镜片全黑以便遮住一眼影像；闭：眼镜镜片开：眼镜镜片全黑以便遮住一眼影像；闭：眼镜镜片为透明以便另一眼看到另一眼该看到的影像为

26、透明以便另一眼看到另一眼该看到的影像)，液晶眼镜即可，液晶眼镜即可模仿真实的状况，使左、右眼画面连续互相交替呈现在屏幕上，模仿真实的状况，使左、右眼画面连续互相交替呈现在屏幕上，并同步配合液晶眼镜，使眼睛看到正确画面并同步配合液晶眼镜，使眼睛看到正确画面-左眼看到左眼、左眼看到左眼、右眼看到右眼该看的影像，加上人眼的视觉暂留生理特性，如右眼看到右眼该看的影像，加上人眼的视觉暂留生理特性，如此就能看到真正立体此就能看到真正立体3D影像。影像。用来将左、右眼影像表现在屏幕上的硬件格式有四种：用来将左、右眼影像表现在屏幕上的硬件格式有四种：交错式交错式(Interlacing)、画面交换画面交换(P

27、age Flipping)、同步倍频同步倍频(Sync Doubling)、线遮蔽线遮蔽(line blanking)，理论上以上四种理论上以上四种格式都可以应用在立体格式都可以应用在立体3D游戏，但实际上仅有画面交换与同步游戏，但实际上仅有画面交换与同步倍频广泛应用于立体倍频广泛应用于立体3D游戏。游戏。画面交换画面交换(Page Flipping)：画面交换系由一特殊程序改变显示画面交换系由一特殊程序改变显示卡工作原理，使新的工作原理可以用来表现立体卡工作原理，使新的工作原理可以用来表现立体3D，因为每一因为每一显示卡芯片有其自己独特的工作原理，所以若要使用画面交换，显示卡芯片有其自己独特

28、的工作原理，所以若要使用画面交换，那么必须针对各个显示芯片发展独特的立体驱动程序以驱动那么必须针对各个显示芯片发展独特的立体驱动程序以驱动3D硬件线路，因此画面交换仅限于某些特定显示卡芯片硬件线路，因此画面交换仅限于某些特定显示卡芯片(以目前以目前而言，多用于而言，多用于 nVidia VGA chip)。 同步倍频同步倍频 (Sync-Doubling)：同步倍频与画面交换不同，它是同步倍频与画面交换不同，它是用硬件线路而非软件去产生立体讯号，所以无需任何驱动程序用硬件线路而非软件去产生立体讯号，所以无需任何驱动程序来驱动来驱动3D硬件线路，因此任一硬件线路，因此任一3D加速显示卡芯片皆可支

29、持。加速显示卡芯片皆可支持。夏普发布了首款同时支持夏普发布了首款同时支持2D/3D显示的笔记本电脑，该笔记本能够在没有显示的笔记本电脑，该笔记本能够在没有3D眼镜的情况下生成眼镜的情况下生成3D图象。该产品属于图象。该产品属于Mebius系列，型号为系列，型号为PC-RD3D。将在将在10月月27日上市，价格为日上市，价格为2995美元。美元。该该3D成像技术基于成像技术基于“parallax barrier(视差栅栏视差栅栏)”原理，在原理，在3D模式下，该模式下，该技术可以对人眼进行欺骗，以达到生成立体效果的目的。在技术可以对人眼进行欺骗，以达到生成立体效果的目的。在2D模式下，该模式下，该栅栏将呈透明状态。栅栏将呈透明状态。