VR技术实现难点分析及应用案例课件.pptx

1、VR技术实现难点分析及应用案例（2019版）-3-VR搞笑集锦视频-4-VR/AR虚拟现实（Virtual Reality,VR）是3D视频或虚拟世界，遮蔽了现实世界，增强现实（Augmented Reality,AR）则是将电子信息叠加于现实世界中，构想性Imagination交互性Interaction虚拟现实三大属性沉浸性Immersion智能性Intelligence交互性Interaction增强现实三大属性集成性IntegrationVR/AR虽在技术上有相通性，但用途有差异，我们认为二者一定要分开单论！VR沉浸感AR智能化软硬件入门VR+AR+周边硬件复活VR/AR全新体验是VR

2、生存的基础，智能支持是AR终极的任务，下一代计算平台，下一个入口。可以+的大生态有哪些？最新的是互联网+、移动互联网+、大数据+、云计算+，往以前看，电力+、蒸汽动力+等，往以后看，AI机器人+、区块链+等。Leap Motion的手势识别、Lytro的光场相机等产品在刚出场的时候都被认为是革命性的产品，但很快被发现叫好不叫座，不过它们未来的机会正逐步到来。-5-现有的CPU/GPU、屏幕等硬件都已经能足够满足用户的需求，升级的机会在哪里？工业界兴奋地发现这些顶级软硬件相对于VR/AR来说才刚刚入门。-6-2016是VR元年Oculus Rift2014年3月被Facebook以20亿美元收购

3、，VR技术进入资本前台，扎克伯格说“虚拟现实会是继个人电脑和移动设备后第三个改变人们生活的重要领域”，下一代计算平台！高盛2016年1月13日VR/AR产业报告中性预测2025年市场规模将达到800亿美元（其中硬件450亿，软件350亿），并给出1820亿美元的乐观估计及230亿美元的悲观估计。高盛从游戏、实况、视频娱乐、健康、房地产、零售、教育、工程、军事等9大领域做了非常精细的收入预测。高盛预测正常情形下三大头显2016年销量311万部，2020年2455.6万部，我们很认同，未来五年由于价高并不会爆发太快，限于游戏视频等垂直领域；高盛预测2020-2025年时按正常、乐观、悲观情形分别对

4、标笔记本、手机、PC的发展速度，我们认同VR以笔记本为对标，想补充的是，AR在16年始第一个十年无足轻重，第二个十年逐步追赶VR销量，第三个十年成为手机的一类重要载体（手机其它载体包括微投影/微全息、折叠卷曲屏等，便捷性优于AR、隐私性不如AR）。VR/AR这类重磅产品的诞生将推动整个产业跨越式大发展，这次VR大潮，中国技术力量的跟随速度还是很快的，但产业生态布局要求高，我们能否取得优于智能手机行业的地位还需要观察。工信部很重视，16年4月发布14000字VR产业白皮书 http:/ Sutherland。它定义了虚拟现实的几个要素：立体显示：两个1吋CRT显示器不同视角显示创造立体视觉。虚拟

5、画面生成：视频中的立方体是实时计算渲染出来的。头部位置跟踪：使用了两种方式来对头部位置进行跟踪，机械连杆和超声波检测，居然有三个超声波发生器和四个接收器。虚拟环境互动：与原型互动的手段还仅限于双手操作的把手。模型生成：虽然视频只是个简单的立方体，但8个顶点的确是通过空间坐标建立的模型，并且立方体是随着人的视角在变化的。2016是VR元年1980年代早期，美国军方开始大量关于飞行头盔、军事训练仿真器的研究。1987年一位著名的计算机科学家Jaron Lanier，捣鼓出一款价值10万美元的虚拟现实头盔，第一款真正投放市场的VR商业产品。1980年代，最重要的改变是，组成虚拟现实的各个设备都可以独

6、立购买了！立体显示：市场上已经可以买到Sony生产的便携式LCD显示器、35mm广角镜片，使得近距离下视场的广度也能得到保证（只是没有变形校正）；虚拟画面生成：显卡每秒可渲染上千个三角形，已经可展示复杂的图像了。头部位置跟踪：Polhemus公司开发出了6个自由度的头部追踪设备，虽然使用距离还有局限，但是比起机械连杆和超声波，精度大大提高，还少了束缚。虚拟环境互动：带有关节动作传感器的手套。模型生成：当时的显卡也可以做到实时三维建模了。-9-2016是VR元年 1996任天堂第一次将VR带入家庭，一套价值180美金、名叫Virtual Boy的电子游戏操控系统，但因为体验差，最后产品卖了不到8

7、0万套；2010年代后，随着电子元器件，尤其是智能手机和智能硬件的发展、电子元器件的小型化和计算的高效化、显示屏幕技术的成熟、内容开发工具的进步，虚拟现实从军工走向了民用化；2012年Oculus Rift众筹大获成功、2014年3月Facebook耗资20亿美元（4亿美元现金，以及2.31亿股普通股票）将其收购，将VR技术由开发者层面推向了资本的前台，Sony、HTC等大厂纷纷跟进；2014年6月谷歌在I/O大会上发布了第一代CardBoard，带来了超廉价版VR解决方案，年底时走同样插手机路线的三星Gear VR发售；2014年9月Oculus宣布公开Oculus Rift DK1外设源代

8、码及工程原理图，国内VR头盔设备开发商大量涌现，产品兼容DK1（DK2兼容则需破解）；2016为什么是VR元年？公认的三大头盔厂Oculus、Sony、HTC之前只是推出了开发者版，2016年将正式推出消费版产品，Oculus Rift、HTC Vive分别于1月6日、2月29日预售，Sony PlayStation VR于3月15日发布。-10-2016是VR元年 连PC式头盔：主流方向，还包括连Xbox、PS4、手机等外设来运算与图形渲染，可以适配重度游戏，连PC式头盔可以适配所有PC内容。缺点是连线不便利，代表是三大头盔厂Oculus、Sony、HTC；插手机式头盔：也叫手机壳子、手机架

9、，定位为入门级VR产品，谷歌CardBoard是鼻祖，三星Gear VR则是其中技术佼佼者。轻产品，靠低价格迅速普及VR体验，比较适合观影与轻度游戏，缺点是重度游戏玩不转、手机容易发热掉电快、延迟眩晕、视场FOV普遍都没有达到90度、难有沉浸感，以及高端手机流行金属机壳、对VR头盔来说太重。也有观点认为VR手机壳市场乱象在损毁用户体验。一体机、分体机：全移动，不需要电脑，优点不仅仅是便携，而是适合需走动的大型游戏，但硬件性能、电池续航都是短板。有国内公司表示，赶超Oculus一步到一体机，错！1、元器件性能提升还有个过程；2、硬件核心技术都在海外大厂手上；3、硬件换代速度快，买早了吃亏。中期可

10、考虑做分体机，还可为头盔减重，北京Pico于2016年4月发布Neo分体机，采用高通骁龙820芯片。-11-12-2016是VR元年类型连 PC 式公司OculusSonyHTC&Valve乐相科技最新产品CV1PlayStation VRViveDePoon E2M2价格599 美元499 美元799 美元1799 元待定上市时间 适配设备2016.3.28 PC、Xbox2016.10 PS42016.4.1 PC2015.11 PC待定 一体机技虚 拟 现 实 科 3Glasses D2蓝珀/Blubur S1/W12199 元待定待定2015.9 PCPC/一体机手机架蚁视Avegan

11、tSamsungGoogle暴风影音蚁视蚁视+联想头盔+控制器二代 CyclopGlyphGear VR1Gear VR2Cardboard1Cardboard2暴风魔镜 5机饕乐檬蚁视 VR 眼镜1888 元待定3688 元699 美元199 美元99 美元25 美元16.99 美元499 元149 元199 元2015 初 各类设备全兼容待定2015Q4 各类设备全兼容2014.12 S5、Note4 等手机2015.11 S6、Note5 等最新手机2014.5 安卓手机2015.5 所有大屏手机2016.6 大屏手机2015 初 大屏手机2015.11 乐檬手机-13-游戏360摄像机

12、游戏引擎影视C端分发渠道直播内容应用商店视频网站内容制作厂垂直社区头盔操控手柄体感手套衣服B端应用体验店、主题公园、网吧、野战馆、旅游等工业、军事、医疗、教育、房地产等社交设备软件跑步机蛋壳机等动感设备OS屏幕或微投影、透镜、CPU/GPU九轴传感器、定位器等2016是VR元年VR产业链大图2016是VR元年资料来源：Greenlight Vr-14-2016是VR元年资料来源：Greenlight Vr-15-2016是VR元年资料来源：Greenlight Vr-16-2016是VR元年-17-2016是VR元年-18-Oculus RiftOculus Rift 消费者版CV1于2016

13、年1月6日预售，3月28日开始发货。定价599美元，高于市场预期（之前的工程机DK2是350美元），创始人说599是成本价了，Oculus预计2016年发售100万部。首发地没有中国大陆，大陆发售时间尚未落实，这是中国企业的机会所在。Oculus何时进入中国市场？“欢迎到傲库路思”，傲娇的名字，2016年1月上线，中文官网？创始人随后予以否认。这是我们在CV1预售前一晚倒计时的截图，这不仅预示着CV1的诞生，更记录着高端VR时代的诞生。规格参数如下：FOV：水平方向110度，FPS：90Hz，显示屏：OLED，分辨率：2160 x1200（单眼 1080 x1200），镜片：菲涅尔（非对称），

14、重量：380g。套餐中没有输入设备Touch，而是用Xbox One的手柄代替。-19-20-Oculus RiftPalmer Luckey2012年众筹时才19岁，他是个VR发烧友，酷爱收藏拆解旧式VR头戴设备，他攒出的原型产品视场之宽广完败市场上所有竞品。-21-Oculus Rift贵人相助：重磅级VR发烧友John Carmack（第一人称射击游戏之父）2012年6月E3大展把 Oculus Rift 介绍给全世界，他本人亲自用原型展示 Doom 3 BFGEdition游戏，Oculus在Kickstarter上8月众筹爆收243万美金，13年8月，Carmack加入Oculus任

15、CTO。Carmack作为游戏界的教父级人物，是id Software的联合创始人之一，对3D 加速技术的贡献无人能及，代表作有 Quake、Doom系列和 Wolfenstein3D 等。卡马克被授予英国电影学院奖最高荣誉，于4月7日登上颁奖典礼领取“British Academy Games Awards”大奖杯。约翰D 卡马克二世John D.Carmack II1970年8月20日-22-Oculus Rift2013年6月，Oculus获得A轮融资1600万美元，投资方包括美国经纬和SparkCapital等；2013年8月发布了开发者版本DK1，售价300美金；2013年底再次获得

16、7500万美元的B轮融资，领投方为Oculus VR的天使投资方A16Z，A16Z的创始人Mark Andreessen加入了Oculus VR的董事会。2014年3月Facebook耗资20亿美元（4亿美元现金，以及2.31亿股Facebook普通股票）收购了Oculus。DK1-23-Oculus RiftOculus 为什么要卖给Facebook？背靠大树好乘凉，容易得到其他大厂的合作机会。做硬件很烧钱，VR屏幕的参数与手机参数很不一样，要找三星这种大厂，开屏费用可能就要几百万美金，还要保证一定的量才行。Oculus需要三星的OLED屏幕以及处理器，它可能在消费版头盔中加入了处理器以加快

17、处理头部运动侦测。内容制作上前期要给游戏开发商50万至100万美金不等的定制费，才有人愿意做，因为导入期游戏开发商基本拿不到收入。Facebook和它的小伙伴们-24-Oculus Rift现在3D视频已经很丰富，但戴上3D眼镜看电影，需要坐近点，这样3D效果更好、视野更宽、沉浸感更佳，但电影屏幕再大总有边界。如果大到没有边界？头部转动时画面也能同步移动让人感觉可以360度环视，沉浸感会更好。打破边界，怎么解决？-25-Oculus RiftVR原理很简单：不同于偏光式、快门式的3D眼镜，也不同于光栅式的裸眼3D，怎么解决？1、近距离双眼双屏模式，视差相叠骗过大脑、简单粗暴！2、为了解决视频放

18、大、视场扩大到110度的问题，要加两个高倍凸透镜；3、透镜边缘变形问题，需要软件矫正；4、开始时是一个屏幕一分为二，比如DK1的屏幕分辨率只有1280*800，分成两块显示后、单幅画面其实只有640*800的分辨率，非常低！后来者则多采用独立双屏模式，不仅提升分辨率，还方便调整瞳距。-26-Oculus RiftDK2成为2014、2015年的业内标杆。Crystal Cove DK2于2014年1月CES发布、7月发货，售价350美元，使用了一块三星NOTE3的屏幕，分辨率提升到1920 x1080的，但清晰度还是非常不够。增加外部动作追踪的摄像头，侦测头部运动的精度与延迟较仅有陀螺仪的DK

19、1大为进步。传感器数据采集频率达到1000Hz，屏幕刷新率从60Hz提升到75Hz，但重量DK2是440g，高过DK1的380g。DK2的目镜只有两组替换（一组针对视力一般和轻度近视的A组镜组，一组针对高度近视的B组镜组，DK1则是附带了三组替换镜组），且目镜安装采用固定方式，瞳距不可调。作为标杆，国内头盔总是喜欢跟它比较硬件参数，其实意义不大，因为DK2考虑价格因素，根本没有用上好的硬件。-27-Oculus Rift时隔仅两个月，2014年9月Oculus公司首届Oculus connect大会，公布了内部原型Crescent Bay（参数未公开，屏幕清晰度估计是1440p，90fps）、

20、3D音效、眼罩四周增加大量红外LED，利用前方的摄像头，实现头部360度运动侦测（星座系统），允许各方向移动3英尺（不过公司比较慎重，仍鼓励开发者多为设计“落座体验”），镜片形状不是正圆，而是一个类四边形形状，所以畸变算法也随之改变，不过视野还是与DK2类似，有边框。2016年正式发售的消费版CV1则改为菲涅尔透镜，又名同心螺纹透镜，相比凸透镜能减厚减重，短焦距大视野，畸变算法更复杂，菲涅尔透镜正成为行业标配。-28-Oculus Rift独家输入设备Oculus Touch于2015年6月发布，9月的Oculus Connect 大会上做了详细说明与体验，这是一对拥有六自由度定位的虚拟现实输

21、入控制器。配套了Oculus Medium应用工具，让用户在VR中“做黏土”，正式销售要到2016年6月，没有赶上这次CV1的发售，没有Touch时的Oculus被人认为是残缺的。-29-Oculus Rift2015年9月的Oculus Connect 大会，Oculus宣布将在联合推出的三星Gear VR上发布大批新的专为 VR 设计打造的游戏，包括 UsTwo 的 Lands End，CCPGames 的 Gunjack，以及 Mediocre 的 Smash Hit，微软Mojang的Minecraft，Epic Games的Bullet Train等；和21世纪福克斯、狮门影业等公司

22、建立伙伴关系，未来也将携手Netflix和Hulu等流媒体视频服务提供商，以及亚马逊旗下的Twitch游戏直播平台为用户提供更多的内容，还有Facebook 也在他们的新闻流 NewsFeed 里启用了 360 的视频应用。-30-Oculus RiftOculus的CV1用户将免费获得游戏Eve:Valkyrie太空题材的3D射击游戏、Luckys TaleVR中的超级马里奥。应用收费则按传统的开发商、平台七三分成，应用内收费的模式还需要摸索。Oculus应用商店的审核共有3个环节，包括：技术审核（Technique Review）、内容审核（Content Review）、舒适度审核（Co

23、mfort Review），每一个app和游戏的下载页面都加上了舒适度标注：Comfortable for most或Comfortable forsome，绝大部分游戏还是第三人称视角游戏，少部分是第一人称定点视角游戏，极少数是第一人称运动视角游戏，Oculus对避免眩晕感的重视已经到了可以妥协游戏类型的程度。（资料来源：TVR访谈）Oculus的内容是独占的，而Libre VR制作出第三方应用Revive将其破解，让HTC Vive用户也可体验Oculus的内容，16年5月Oculus升级“平台完整性检查”程序，结果很快又被Revive破解，且权限大到不用识别是否合法拥有软件。拉锯战将继续

24、。-31-rockychuOculus RiftOculus15年12月25日公布了Oculus Rift零售版的PC配置要求，900美元，合计头盔一共1500美元：操作系统：64位Windows7/8.1/10；处理器：Intel Core i5-4590或更高；内存：8GB；显卡：NVIDIA GeForce GTX970或AMD R9 290；接口：3个USB3.0+1个USB2.0。Nvidia的Jason Paul称市场上只有1300万台PC符合资格，我们倒认为正是PC升级的契机。我们在京东组装电脑中配置了一款含1T固态硬盘的电脑，价格5499元，http:/ 为余光区，看不清楚物体

25、，但影响沉浸感）；5.头盔轻盈度：200g以内，否则戴久了脖子痛，近视眼镜一般在7-35g；6.交互方式：手持、体感等，对精准、延迟都有较高要求。图片来源：Yivian-34-VR技术难点眩晕感：最大障碍，主要源于使用者所见所感不同步，不同健康状况的人敏感度又不同，延迟度的度在哪里？20ms是个临界点，跨进来就能化腐朽为神奇。怎么解决？后文详述。屏幕：从双眼单屏到双眼双屏后，单眼要从现在的1K清晰度一直发展到未来的单眼8K（屏幕主要来自三星与索尼），刷新率从75赫兹、90赫兹直至120赫兹。GPU运算能力：Nvidia与AMD雄霸PC端的GPU（分占75%、25%份额），移动GPU芯片集中在高

26、通Adreno、ARM的Mali、苹果Imagination的PowerVR手中，不过，移动GPU的性能仅是PC端GPU十年前水平，一体机突破需要其它辅助。软件算法：包括图形图像的核心算法（反畸变、反色散和头部运动预测、硬件访问能力）、与各类外设交互的算法、兼容各类游戏引擎。谷歌一直说要做安卓VR版OS，腾讯在15年7月份发布了VROS，外设大厂雷蛇Razer联合 Sensics发布了开源VR系统 OSVR，想打造成VR领域的Android。头盔重量：400克以上的重量，戴20-30分钟，脖子会受不了；300克重量，佩戴时间可能延续到1小时左右；如果200克左右，佩戴更自如。目前的头盔相当于9

27、0年代的“大哥大”。-35-VR技术难点（20ms延迟之战）Oculus怎么解决眩晕感的？Motion-to-photons latency，指玩家运动头部到在屏幕上看到新图像这整个周期里延迟时长总和，分解为6个环节：1、用户输入;2、USB电缆从Rift向电脑传送指令；3、游戏引掣为GPU翻译指令；4、处理器发布写出“新图像”的命令；5、Rift的显示屏将像素转化为新图像；6、完整延迟时长。新图像完全生成。取自Nvidia的技术文档Gameworks VR资料来源：36氪，作者：Chloe头盔内置一个集陀螺仪、加速计、磁力计为一体的追踪器，1000HZ，第一环节的延迟时长已由最初的15毫秒降

28、至1毫秒；信号从Rift传输至PC又会产生1-2毫秒的延迟，所以需要USB3.0；大部分现代游戏约为60fps，每张图传输至GPU的时间为16.67毫秒，如果帧速提高1倍，延时能省半，屏幕刷新率要相应提升；GPU再通过USB线缆给Rift显示屏写图；屏幕响应速度，LCD屏还是需要5ms、2ms，三星AMOLED在数微秒之内（无余晖），Oculus还要三星放开硬件权限可以直接访问前置内存。2014年10月份Oculus推出Latency Tester小工具让开发者测量VR技术难点（GPU性能天梯）PC显卡方面，Nvidia于16年5月7日发布基于新的Pascal架构、全球首款16nm制程游戏显卡

29、GeForce GTX1080/1070，前者核心频率达18601886MHz，售价599美元，国行5399元，后者售价379美元，国行3499元。GPU并行计算能力令其可广泛用于图形视频处理、AI深度学习、智能驾驶等领域，Nvidia股价迭创新高。移动显卡有功耗的约束，目前最顶级的Adreno 530，虽然最高主频650MHz，性能只相当于PC显卡十年前水平，几十倍的差距。-36-37-VR技术难点（GPU VR跑分）评测先锋Futuremark的3DMark基于5种场景对GPU的3D性能进行测评，结果见左图，同价位产品AMD的要小胜Nvidia，但后者性能上更胜一筹。3DMark还于201

30、5年12月发布VRMark测试的预览版，针对当时市面上的VR头盔，4个场景、按场景真实性、延迟（分段与全程）、准确度等维度测评，GPU跑分未公布，但对比结论与前述测评差不多，VRMark正式版将于近期推出。-38-VR技术难点（VR SDK）Nvidia推出VR SDK-VRworks，消费级GeForce、专业级Quadro、移动Tegra都支持，其中VR SLI分屏刷新、Multi-Resolution Shading一屏分九块差异化渲染；16年5月基于GeForce GTX1080/1070，同时增强功能推出该高端显卡专属的曲面屏/多联屏/VR图像矫正技术Simultaneous Mul

31、ti-Projection引擎，其中的Single Pass Stereo可渲染出左眼图像后，迅速转换出右眼图像，以及拟真VR音频技术VRWorks Audio。高通骁龙820作为当今最强的移动处理器、三星代工14nm FinFET工艺，包含KyroCPU架构、AdrenoGPU图形核心、HexagonDPS传感中心，其中Adreno530率先支持最新的OpenCL2.0和Renderscript。高通还为该芯片发布VR SDK，可大大降低渲染延迟，支持3D立体注视点渲染和镜头矫正、色彩矫正、畸变矫正等，低功耗360度4K HEVC视频解码、帧率60fps。ARM当红的CPU是Cortex-A

32、72，GPU为Mali T880最高主频850MHz。ARM也推出了Mali VR SDK，完全基于NDK和OpenGL ES 开发，将许多VR处理需求直接嵌入ARM架构的硬件IP和驱动里，改善立体渲染、校准、各种透镜效果以及光学畸变的软件修正，且也可像Nvidia那样对屏幕分块处理，以及支持高效内存压缩。-39-VR技术难点游戏和视频是目前VR行业最先启动的两个内容模块：绝大部分3D的PC或手游都不适合移植到VR平台，SDK包转换不是问题，关键是它们不能提供沉浸感的要素比如全景视角和足够的清晰度与帧速，VR游戏需要选定平台重新开发。需要一门VR交互语言，比如用户怎么移动？很多游戏干脆落座不移

33、动，要移动则分真实移动、跑步机、瞬移、行走重定向等不同方法，有人发明贴传感器于大腿外侧的原地踏步移动法；另外，VR社交的模式也要重新探讨。VR视频首先是沉浸式观影，无边大屏幕，3D内容已现成。而全景视频内容需要进一步丰富，这又包括两类，第一类场景式视频拍摄难度较小，例如全景视频或实况比赛，直播、录播皆可。全景视频第二类为剧情式视频，拍摄甚难，为了不穿帮，整个画面构成将要发生革命性的颠覆，最快发展的剧情式拍摄主要还是动漫电影，但制作成本也很高昂。兰亭数字VR电影的拍摄经验：主线故事要能抓住观众注意力（否则容易出戏）；导演不在现场，要有全局观、演员要一镜到底、要求高；切换镜头也要务必保证过渡的自然

34、性并减少切换的频率。-40-VR技术难点-游戏引擎灵活度高、最具人气的游戏引擎是Unity引擎与Epic旗下的Unreal引擎。Unity1.0始于2005年，它于手游时代迅速崛起，最新是5.4版，3D引擎口碑佳主要在于开发方便、一次开发适用所有终端，开发者占比超50%，三倍于Unreal，Oculus Rift首发30款游戏中有16款、Gear VR90%以上的游戏都是使用Unity引擎。Unity于2016年2月首度举办Vision Summit 2016 大会，意图打造VR/AR界的奥斯卡奖盛会。目前该公司正在以15亿美元估值融资。Unreal则表示全球收益超过10亿美元的7大游戏都是用

35、他们引擎，他们认可Unity游戏开发写代码更便捷，但他们优势在于游戏整个发行、运营维护的便利。Unreal虚幻引擎4于16年3月率先拿出杀手锏-VR编辑器，开发者可以直接在VR环境下构建所见即所得的场景，视野从50 x到1x可随意缩放。一周后Unity也宣布他们也在开发类似系统。Unreal的VR编辑器视频http:/ Immerge，国内Insta360等等。要拍3D全景，摄像头至少在8个以上，少了只能拍2D全景。硬件方面难点是所有摄像头的同步性，后期要无缝拼接则需要调整多幅图像的曝光度、对比度、白平衡等参数，渲染需要相当时间。-42-VR技术难点-全景摄像机Google在2015I/O大会

36、上发布了虚拟现实内容解决方案Jump，包含CameraGeometry、Assembler和Player三大部分。Google与GoPro达成合作，由16台GoPro组成的阵列Odyssey进行360同步拍摄，Jump后续处理，全景视频在Youtube360视频频道上，供Cardboard及其他VR设备观赏。单台GoPro Hero4相机售价499美元，而整套Odyssey定价1.5万美元！GoPro于15年4月收购VR 软件公司 Kolor，16年4月推出自家6摄像机组合产品Omni，售价4999美元，同时推出GoPro VR视频网站，并吸引全球领先音频公司森海塞尔加入开发者计划，该公司VR

37、 麦克风 AMBEO可抗恶劣拍摄条件，不过可能也要2000美元，预计于16年4季度发售。GoPro的摄像机需求看来将来会不少-43-VR技术难点-全景摄像机Jaunt是目前全景摄像机的领军者，已经拍摄了很多最受欢迎的视频，如McCartney现场音乐会Live and Let Die、二战营救类动作片The Mission、惊悚片Black Mass、怪兽电影Kaiju Fury等。Jaunt于2015年6月底发布了代号NEO（后改名为ONE）的第五代影视级别虚拟现实摄像机原型，8月后只租不售，2016年准备上市销售。Jaunt成立于2013年，2014年4月获得 680 万美元的 A 轮融资

38、，8月获得GoogleVentures领投的2780万美元B轮融资，2015年9月获得黎瑞刚的华人文化、迪斯尼领投的6500万美元C轮融资。Jaunt ONE，貌似混元锤（很多研究报告弄错图片），有24个摄像头，一周16个，上下各4个，号称可捕捉（伪）3D光场，单镜头4K分辨率、60FPS的360度视频，且能适应弱光与运动场景，不过拼接和渲染工作量不小，一分钟的Jaunt视频要花费15至20分钟。VR技术难点-听觉VR要实现沉浸感，声音元素少不了，尤其是昏暗场景中，声音还能给出提示、引导剧情。我们知道VR视觉三要素是分辨率、延迟与追踪，而VR听觉最重要的是营造空间感，这跟音响播放的杜比环绕立体

39、声5.1或7.1没有一点关系，它要的是360度“声场”，并且必须通过耳机还放！为音响录制的音效用耳机播放可能造成听觉敏感者“头中效应”。定位声源的方向与距离，OculusAudioSDK（http:/ -44-VR技术难点-听觉声音到鼓膜的反射混响过程，工业界有比较成熟的音效算法，叫头部相关传输函数head-related transfer function(HRTF)，把单一音源转化为双声道欺骗人耳来定位。这要用到人头录音（Dummy head recording），即采用仿真人头模型、在人耳鼓膜位置放置两个麦克风来录制声音，比较原音与双耳录制音即可得到HRTF，然后用HRTF对其它原音编码

40、即可，这方面有很多公开数据集，比如：IRCAM Listen Database，但有的数据集采样自由度稀疏，需要插值。HRTF技术在定声音方向上非常不错，距离感差点，因为混声回声缺乏很好的构建模型，另外一个难点是每个人的HRTF是不一样的，怎么预设？基于HRTF的耳机音效系统，从很早就投入商用的SRS到后来三星DNSe再到DTS的Headphone:X（迅雷移动端为其开辟电影专区），之前仅在耳机发烧友这一小众群体中流行，但，这在VR中确是必需的！计算密度巨大！每个声源都要计算双耳效果，要求好的直达声与回响之间的初始时间延迟、混响、衰减曲线，并且当头部有移动时，更要迅速对声源方位、耳间听觉差等重

41、新计算。人头录音小站：黑木的录音笔http:/ Vive开放追踪系统的API。VR技术难点-交互设备（语音交互）语音交互于VR非常重要 一是声场音效，前文已详述，另，Facebook于16年5月收购虚拟现实音频公司Two Big Ears以助力Oculus，TBE的“3Dception Spacial Workstation”是款专业的空间音效工具现在被免费开放给公众；二是语音快捷键，游戏中切换武器、技能、物品等，语音识别技术已很成熟；三是联网用户的语音通道实时交互，需要带宽要求与低延迟，技术也成熟，有YY语音前CTO赵斌在硅谷创业的声网Agora.io（还兼具声场音效）；四是语音助手、AI语

42、音交流，技术已经运用在苹果Siri、Google Now、微软Cortana、科大讯飞、百度、IBM、亚马逊Echo等，但离成熟还有很远的距离，远景目标是达到电影HER的水平，不过VR中要求没那么高，不需要麦克风矩阵、远程降噪、但还是需要低延迟、口音识别、语义分析、语言表达。-47-48-VR技术难点-交互设备（眼球跟踪）眼动追踪技术Eye-Tracking通过图像捕捉或者红外扫描等方式来提取人眼注视方向，后者精度高。该技术原先只是用于手机或PC上的解屏锁屏、视频播放暂停、菜单操作、或是帮助残障人士等，VR中将增加很多有意思的玩法，比如武器快速瞄准（指哪打哪升级为看哪打哪，空战中太棒了！）、与

43、游戏角色NPC作眼神交流、游戏黑暗中手电筒功能，最最重要的是注视点渲染foveated rendering，模拟人眼生理特质即注视点中央清晰、周围模糊，改变全局渲染，可大幅降低GPU负载、提升性能26倍不等，如果技术成熟，一体机就没那么遥远了。目前红外最高可以做到380Hz的刷新率，延迟35ms，已经基本合用了，将来希望也能如运动传感器一样达到1000HZ，以确保全程过20ms的坎。其它待解决问题：戴眼镜者的眼镜影响眼球追踪效果、菲涅尔透镜的同心圆会干扰信号，还要注意防抖。让你的眼睛会说话-49-VR技术难点-交互设备（眼球跟踪）东京的FOVE，第一家眼球追踪头盔厂商，内置双红外摄像头，产品计

44、划16年秋季发售，早前接受了微软创投加速器在伦敦分部的孵化，后于16年3月完成1100万美元的A轮融资，Colopl VR Fund基金领投，鸿海、三星跟投，Colopl是日本最大的游戏发行商之一。公司于16年5月开放下载SDKv0.4，基于 C+，允许集成自定义渲染引擎和原生App，并表示有意将其眼球追踪技术授权给其他头显厂商。该领域的公司还有SMI、Percept、Eyematic、Eyefluence、Tobii及国内的七鑫易维等。七鑫易维号称已实现垂直30、水平50全视场角跟踪，完全可以覆盖全FOV的VR设备，追踪速度为240Hz，延迟低于5ms，且具备防抖追踪算法。目前除了跟Nvid

45、ia、高通合作外，其眼控模组既可嵌入Oculus等头显，又可植入Gear VR类手机VR盒子，并提供SDK进行功能拓展。另外，公司还很注意基于注视点信息的大数据分析（网上类似有别家的眼球跟踪热力图）。FOVE CEO小岛优花Yuka Kojima15年9月登上日本福布斯封面，她曾在Sony Playstation部门工作过五年时间-50-VR技术难点-交互设备（全方位跑步机）Virtuix Omni全方位跑步机，带来VR运动感受。普通跑步机主要体现速率和距离这两个维度的数据，但Omni还加入了方位这一因素，用户可以自由转向，Omni采用的是内倾斜的光滑表面，当玩家向前走的时候，就会不经意滑下来

46、。玩家需要穿上特制的鞋子，一是便于平衡，二是收集速度数据并同步到VR游戏中。支持Oculus Rift与HTC Vive。缺点是移动精度还需要不断提升；价格不菲，699美元；50公斤，体积重量太大，适合商业场所运用。-51-VR技术难点-交互设备（光学动捕）Leap Motion：2013年产品首发70美元，2014年入华取名“厉动”，售价 688元，两轮融资共4275万美元。原先只是想替代鼠标，但是并不成功。原理是使用红外LED+双目灰阶30万像素camera采集手部特征点运动数据生成3D全手数据，不如Kinect、Intel RealSense深度摄像头的精确与视觉深，但胜在低成本，且延迟

47、8ms较佳。公司现在主攻VR，改进了算法、推出Orion技术解决方案，加大动捕FOV到150度，可精确识别十指，但为了扩大手部活动范围，公司准备推出自己的头盔及与中国头盔合作、把Orion做进头盔里，因为三大头显都有自己的输入设备了。它现在的问题还是缺乏强应用的配合。VR技术难点-交互设备（惯性传感器动捕）北京诺亦腾Noitom（Motion的倒序拼写，梦想是颠覆传统动作捕捉行业）成立于2012年，开发了领先水平的基于 MEMS惯性传感器的动作捕捉技术。相比光学动捕，精度与即时性上有不足，但可避免光学动捕因动作或物品遮挡而所需的大量后期处理，硬件成本也低很多，适合VR游戏，游戏要求的精度不高，

48、但一定要得到游戏大厂的支持，另外延迟还是过线：从硬件到 PC延迟10ms、软件处理延迟35ms、传输到头盔显示还要20+ms，还有就是解决易穿戴问题。诺亦腾2015年11月获得B轮2000万美元投资，估值超2亿美元，奥飞动漫领投，A轮君联资本等跟投。专业版“腾挪PERCEPTION”套装9.8 万元，在影视（权力的游戏、寻龙诀）、体育训练、医疗诊断等行业已有运用；消费版在Kickstarter上众筹的“Perception Neuron”分包含10个、20个、30个传感器子节点的不同套装价格分别为 200美元、375美元和 550美元，支持WIFI无线传输，传感器模块还可以像乐高玩具一样进行自

49、由调整和组合。-52-VR技术难点-交互设备（触觉-力反馈）触觉分为皮肤感知(温度、纹理、粗糙)和运动感知(力与方向)。基于运动知觉的远程操作与模拟力反馈的商业化产品已很多，如世界最大3D打印机制造公司3DSystems于2013年收购杰魔获得Geomagic touch（左下图），广泛应用于工业、医疗、教育等领域的模拟、培训、设计、控制等方面。不过这个“3D鼠标”不仅价格过万人民币，且在VR中并不方便。法国Haption的更是贵至60万人民币。VR力反馈怎么设计？模拟枪的后座力还相对简单（StrikerVR），手部力反馈有一定难度，多采用外骨骼方式，由电动、气动、液动等主动型发展到电/磁流变

50、的被动型。中下图为Immersion CyberGrasp力反馈装置附在数据手套CyberGlove上，每个手指能提供最大10N的力，但要完全做成轻薄手套难度非常大！目前有斯坦福的开源触觉框架CHAI 3D、杰魔的力触觉开发组件OpenHaptics可用。皮肤感知则可能需要线性马达。-53-54-VR技术难点-交互设备（肌电刺激）Teslasuit是世界上首款VR全身触控体验套件，登陆Kickstarter拟筹资25万美元，16个触控点衣服1799美元，52个触控点衣服2099美元，价格超贵。英国开发团队Tesla Studios 希望能通过采用肌肉电刺激（EMS）技术来实现虚拟感受，该套件号