1、-89-AR增强现实的技术实现及案例AR先烈：谷歌眼镜（Google Glass）2012年4月发布，它可以通过声音控制拍照、视频通话和辨明方向，以及上网冲浪、处理文字信息和电子邮件等。先锋：微软HoloLens全息眼镜于北京时间2015年1月22日凌晨与Window10同时发布，6月15日微软在E3游戏展上展示更完整的现实增强版Minecraft游戏。新锐：Magic Leap成立于2011年，2014年获得谷歌领投的5.42亿美元投资，Magic Leap曾在2015年9月发布过一段“直接利用Magic Leap技术”实现的视频，没有添加任何特效，但样品一直没有曝光。- 91 -AR提到A
2、R，可能想到的应用： 战斗机的平视显示器 汽车的HUD（Head Up Display）抬头显示（或称平视显示器）（宝马汽车高端车型均已应用此类技术）图片来源：AUTONET- 92 -ARAR其实一直在我们的生活中 购物比价软件； 点读笔； 谷歌的对译； 语音翻译软件APP； 导航软件APP； 旅游景区介绍景点的APP；等等国内企业的机会不在于平台，而在于找到用户痛点，从小功能突破。汽车后装HUD生产商Navdy2014年8月众筹引起轰动效应，目前国内在汽车HUD领域创业的正如火如荼，可以连接汽车OBD接口显示汽车状态数据、可连手机接电话及语音回短信、可导航、可语音或手势交互，渐渐将成为汽车
3、智能平台。该领域技术难点在于台式机的散热、强日光下的呈像清晰度，或者要抛弃Navdy路线。Navdy采用DLP技术， 配备了5.1英寸透明HUD“Feels Like Driving In The Future”- 93 -ARAR有两类，一类是不融合现实，只从旁提示信息用，像Google Glass，一类是与现实融合，而融合方式又分两种，一种是透明AR（optical see-through)：透过镜片直接看到现实世界；另一种是视频叠加AR（video see-through或videooverlay）：通过摄像头捕捉前方现实世界，以视频加其它增强信息共同呈现给用户。AR可以看成VR的超集，
4、镜片前面一遮就成了VR，不过目前AR的FOV还是太小了，反过来，VR加个前置摄像头也可实现视频叠加型AR，现在手机和平板上已经出现了很多video overlay的APP，比如上海的小熊尼奥（15年获纪源资本GGV Capital领投、高通等跟投的1.2亿人民币）。两种融合AR遭遇的挑战都是刷新延迟，视频叠加AR相比透明AR，优势在于算法简单、劣势在于多为2D视频，如果是3D沉浸式的，延迟问题更大。视频叠加AR的两大底层引擎，德国Metaio于15年5月22日被苹果收购后暂停对外服务，Vuforia于随后的 10月12日被高通卖给了物联网公司PTC还对外服务，其它引擎还有法国TOTAL IMM
5、ERSION的DFusion、国内的Realmax、亮风台HiScene等。图片来源：小熊尼奥口袋动物园- 94 -ARSight（以色列2012）导演兼编剧：丹尼尔 拉索- 95 -Google Glass谷歌眼镜最初在2012年4月5日发布，13年10月30日又发布了第二代，加了微型耳塞（前代骨传感耳机在嘈杂背景下听不清），并对小型近视眼镜架做了适配处理，14年4月15日正式限量以1500美元发售，7月正式开放直播功能。GoogleGlass可抬头唤醒或者“OK glass” 语音唤醒、摘除锁屏，可手势L型比划或眨眼拍照、可录像分享、收发短信、上网、处理电邮、查询天气路况等，只是应用市场G
6、lassware中的APP不到50款，均免费。- 96 -Google GlassLCOS 硅基液晶微投影技术。硅基液晶微投影技术。Google Glass实际上就是微型投影仪实际上就是微型投影仪+摄像头摄像头+传传感器感器+存储传输存储传输+操控设备的结合体，用的是操控设备的结合体，用的是Himax的的Color Sequential LCOS显显示器（类似于示器（类似于DLP，用硅基液晶反射光线），型号，用硅基液晶反射光线），型号HX7309，分辨率，分辨率640 x360 ，显示区尺寸显示区尺寸4.8*2.7毫米，经曲面镀膜棱镜反射后，显示效果如同毫米，经曲面镀膜棱镜反射后，显示效果如同
7、2.4米外的米外的25英英寸寸16:9屏幕，摄像头像素为屏幕，摄像头像素为500万，可拍摄万，可拍摄 720p视频，视频，16G内存，支持内存，支持WiFi与蓝与蓝牙连接；全镜重牙连接；全镜重50g，电池，电池570mAh，藏于右镜架脚，藏于右镜架脚， 一次充电一次充电6小时可用，但拍小时可用，但拍照只能用照只能用2小时，拍视频撑不到小时，拍视频撑不到40分钟。分钟。图片来源：谢煜，知乎- 97 -Google Glass2015年1月19日，谷歌正式停止了谷歌眼镜的“探索者”项目，虽然成了先烈，索尼、三星、联想以及国内很多初创企业也在跟进发展自己的Glass。Google Glass得到了外
8、科医生、建筑工人、机修工程师等技术人才的认可，但失败的原因有三点：1、1500美元的价格太贵，应用少显得性价比不高；2、挂在右眼上方的小屏幕，与现实世界分离，斜眼分散注意力，容易有出行风险；3、助长了偷拍、偷录等不法行为，触及了隐私与版权的底线，有些酒吧、餐厅、影院等公共场合明确禁止使用，用户甚至得到了“眼镜混蛋”（Glassholes）的不雅称呼，有人认为正是谷歌的极端限售造成了拥有眼镜的人成为少数派，所以被社会孤立。- 98 -Google Glass谷歌眼镜应用：Emotient通过表情分析情绪，虽然有认为Google Glass的应用场景太少，但类似Emotient这样的系统在商业营销
9、分析中还是很有帮助。第三方Emotient2014年3月7日推出了一体验款全新应用，可以利用谷歌眼镜分析其他人的心理感受。Emotient 起源于加州大学的 “机器感知实验室”(Machine Perception Lab)，它能分辨出类似于喜悦、愤怒、悲伤、惊讶等等基础表情，以及焦虑、沮丧等复杂表情，普通网络摄像头就能支持分析。这家公司已经于2016年1月8日被苹果收购。- 99 -Google Glass谷歌眼镜的工作被分配至托尼 法戴尔(Tony Fadell)领导的消费类硬件部门（Nest）智能家居，Tony是iPod之父。2014年5月原Glass项目负责人Adrian Wong投奔
10、Oculus VR，由曾在博士伦担任高管负责太阳镜Outlook Eyewear设计推广的营销人才Ivy Ross接任。眼镜研究并未停止，未来可能更关注用户需求，新款Google Glass 可能不久就会面世，15年6月Google又公开招聘Glass项目高级生产技术工程师，16年1月据华盛顿邮报报道，有人在FCC（联邦通信委员会）网站上找到了Google Glass 的材料，增设了录制视频的闪烁提示灯以规避隐私侵犯问题，另有消息称，眼镜复出将主打2B路线，以尽量规避隐私争议。不过看图还是单目的！- 100 -微软HOLOLENS微软HoloLens于北京时间2015年1月22日凌晨与Wind
11、ow10同时发布，迅速赢得舆论关注，6月15日微软在E3游戏展上展示更完整的现实增强版Minecraft游戏。HoloLens利用3D投射，在现实场景之上叠加一层立体的虚拟展示界面，通过手势、语音、蓝牙点击配件Clicker交互，支持眼球追踪，可以在墙上获取消息、查找联系人，在客厅墙上直接进行Skype视频通话、观看球赛，在地上、家具间玩Minecraft等游戏，甚至于可以将创造的虚拟物品通过3D打印变为实物。“Because when you changethe way you see the world, youcan change the world you see.”Hololens不
12、认为自己是AR，而认为自己是MR（Mix Reality）- 101 -微软HOLOLENS微软Hololens项目由前 Xbox 孵化项目总经理、被誉为 Kinect 之父的 Alex Kipman负责，他是巴西裔，2001年加入微软后成为100多项专利的第一发明者，被誉为美国高科技行业25位最具创新人才之一。酷产品Kinect是微软在2009年6月2日E3大展上发布的Xbox 360的体感外设， 2010年6月14日更现名， 11月4日在北美正式发售。它是一种3D体感摄影机，可即时动态捕捉、影像辨识、语音辨识、社群互动。 2013年5月28日的XboxOne发布会上，微软展示了第二代Kin
13、ect，11月22日正式发售，捆绑销售。- 102 -微软HOLOLENSHololens借用了借用了Kinect的核心技术，准确说应该是头戴版的核心技术，准确说应该是头戴版Kinect+微投影。微投影。Kinect一代是基于测量红外光斑来进行深度检测，一代是基于测量红外光斑来进行深度检测，Kinect二代是基于二代是基于time-of-flight技术。一代采用的是以色列技术。一代采用的是以色列PrimeSense的三维测量技术，该公司后来被苹果收的三维测量技术，该公司后来被苹果收购，而二代采用的购，而二代采用的ToF技术是技术是09年微软收购的以色列公司年微软收购的以色列公司3DV的，微软
14、之所以没的，微软之所以没有在一代产品中采用有在一代产品中采用3DV的技术，主要是的技术，主要是3DV的感光芯片要测量光飞行时间，须的感光芯片要测量光飞行时间，须做到飞秒级的快门，据说他们在芯片中用到砷化镓，使其时钟频率提高到上百G，但这样做成本太高。两代Kinect都是两个传感器，一个是红外传感器，主要用来监视人体的动作、深度和温度，另一个则是用来识别颜色的RGB摄像头，两代都有人脸检测，3维重建等功能。 Kinect一代，彩色摄像头为640*480，深度摄像头为320*240，只能识别两个人的骨骼数据；K二代，彩色为1080P，深度摄像头为512*424，能识别六个人的骨骼、手指的灵活运动，
15、甚至能监控用户的脉搏，识别稳定精度更高。一代二代微软HOLOLENSKinect上市之初微软5亿美元营销，邀请美国脱口秀女王Oprah Winfrey在节目中说“You are the controller”标语，赢巨大关注。消费者可以150美元单买Kinect1，或以299美元同时购买Xbox 360和Kinect1，销售一度良好。但是，Kinect叫好不叫座，2015年停产！Xbox One上市后与Kinect2捆绑499美元销售，问题是一直配套游戏多属家庭娱乐与健身，并且体感游戏对客厅空间有要求，缺重型游戏。难敌399美元的索尼PS4，销售比拉开到1:3，微软只得于2014年6月9日放开
16、捆绑销售，可以399美元购买Xbox One，主机销售虽稍稍追回，因为价钱低了，且没有了Kinect的资源占用，图像性能提升了10%，而Kinect则慢慢滑向深渊。微软为了扩大应用，还曾于2012年2月推出第一代Kinect for Windows，售价为249美元，2014年7月推出第二代Kinect forWindows，售价为199美元，不过，最后到2015年4月初宣布停产。Kinect家族累计卖出2900万部。Kinect团队转战Hololens，是新生，还是会重蹈覆辙？- 103 - 104 -微软HOLOLENSHoloLens是一款基于深度摄像头，高性能处理器和双屏幕显示的头戴式
17、计算机设备，可以独立使用，支持WiFi和蓝牙，内置CPU、GPU和一颗首创的HPU全息处理器，具备立体音效系统以及一整套传感器实现各种功能。不过Hololens不像Google Glass那样在室外用，而是设定为室内用，避免了Google Glass的隐私争议，我们认为一是室内光线较暗、利于其展现，二是Hololens室内预建模的需要。图片来源：Imgur，作者不详微软HOLOLENSHoloLens原理如下图：微软凭借积累深厚的原理如下图：微软凭借积累深厚的Kinect深度摄像头技术，以及基于深度摄像头技术，以及基于SLAM（实时定位与地图构建）技术打造的（实时定位与地图构建）技术打造的Ki
18、nect Fushion 3D建模技术，从原型建模技术，从原型机试用报告看，机试用报告看，3D渲染达到渲染达到720P画质、刷新无延迟、定位精准。再下图，感觉画质、刷新无延迟、定位精准。再下图，感觉Hololens在识别方面用的还是在识别方面用的还是Kinect1的光编码技术，如果能用上的光编码技术，如果能用上Kinect2的的ToF技技术，产品就可以用于户外，但是，成本！功耗！术，产品就可以用于户外，但是，成本！功耗！资料来源：聂崇岭，36氪；徐浩，知乎- 105 - 106 -微软HOLOLENS全息波导呈像原理，国内也有论文研究（），乃微投产生图像经透镜后变平行光，在光栅1的衍射效应下满
19、足全反射条件并沿波导方向无损前行，到达光栅2后从波导射出进入人眼成像，这种垂直偏转传播方法减少了传播距离、减少了折镜使用，有利于简洁轻型化。为了保障图像的完整并给眼睛一些活动空间，需要扩展出瞳技术，即分多次出射并多次成像。需要克服的是复杂的像差形式与严重色散。Kipman则透露：“光粒子会在设备的光引擎中跳动数百万次，然后进入头盔的两个透镜，在里面的蓝绿红玻璃层之间跳跃，而后进入你的眼球后方”。据悉Hololens微投采用的是双LCoS方案，也是Himax产品。这里借用Sony在研的全色体全息波导眼戴显示技术图来说明，Sony把红蓝光栅置于一个波导内部，绿色置于另一波导内部，微软应该是全部独立
20、了。（资料来源：中科院长春光学所曾飞）微投光栅1光栅2- 107 -微软HOLOLENS微软在13年底1.5亿美元向军工企业ODG收购了几十项智能眼镜方面的专利，应该有所凭借，而ODG自己还在做眼镜，针对2B市场15年6月预售一款R-7的眼镜，16年二季度开始发货，售价2750美元，重约125g，效果相当于在房间里看65寸电视。资料来源：刻度网- 108 -微软HOLOLENS微软2015年1月对少数媒体开放的原型机体验，达到震撼效果，虽然是线路板裸露的很大很沉重的产品，但性能上比Kinect要强大，能耗要相对较低，其左右各二的深度摄像头的视角达到120 x 120度，投影也是全视野。不过，5
21、月Build大会开放体验的开发者版反而trade off成40度的视窗，就像在两英尺外观看15英寸的显示屏，被舆论一顿痛扁！公司称，因为制造全息投影所需要的玻璃十分复杂，视野越宽、玻璃越大，废品率会提升不少，成本显著提高，另外电量也跟不上。该窄版在一般情况下续航最高可达5.5小时，但重度玩家可能撑不到2.5小时。微软HOLOLENSHololens开发者套件于开发者套件于2016年年2月月29日开始预订，并于日开始预订，并于3月月30日旧金山日旧金山Build开发开发者大会正式推出，售价者大会正式推出，售价3000美元。套件包括开发工具及美元。套件包括开发工具及HoloStudio、Skype
22、、HoloTour等软件，配套新游戏也被曝光，其中包括等软件，配套新游戏也被曝光，其中包括Fragments、YoungConker、RoboRaid三款游戏。三款游戏。Fragments犯罪游戏，玩家在起居室犯罪游戏，玩家在起居室中调查案件并询问游戏角色；中调查案件并询问游戏角色；Young Conker将松鼠带到玩家房间；将松鼠带到玩家房间；RoboRaid第一视角射击游戏，消灭墙面上出现的入侵外星人。购买者还将第一视角射击游戏，消灭墙面上出现的入侵外星人。购买者还将获得数百款获得数百款Windows商店商店UWP应用，应用，UWP通用应用平台，一次编译、可在各类通用应用平台，一次编译、可
23、在各类微软系终端运行。微软系终端运行。参数：显示屏：透明全息透镜；参数：显示屏：透明全息透镜；2xHD 16:9光学引擎；自动校准瞳光学引擎；自动校准瞳孔距离；孔距离；2.3全光点全息分辨率；全光点全息分辨率；2.5K流明全息密度。内存：流明全息密度。内存：2GB；存储：存储：64GB；重量：；重量：579g；相机：；相机：200万像素照片，720P视频；电池：2-3小时活跃使用电池寿命，2周待机时间，被动冷却；OS：Win10。- 109 - 110 -微软HOLOLENSHololens到底有什么用？有人说有了到底有什么用？有人说有了Hololens就不用买电视了，甚至开玩笑说家就不用买电
24、视了，甚至开玩笑说家里也不用装修了，只要一张沙发床就能入住。目前里也不用装修了，只要一张沙发床就能入住。目前Hololens的问题包括价格昂的问题包括价格昂贵、室内使用、视野窄。贵、室内使用、视野窄。3000美元价格使得只能限于美元价格使得只能限于2B业务，如果要业务，如果要2C的话，价格要砍剩一成才合适。的话，价格要砍剩一成才合适。我们认为我们认为AR的价格应低于的价格应低于VR，AR不适合像不适合像VR一样玩重型游戏，在家中真实环一样玩重型游戏，在家中真实环境下打怪、日久会形成精神障碍，境下打怪、日久会形成精神障碍，AR的作用更多的就是对现实的增强，而非对的作用更多的就是对现实的增强，而非
25、对现实的虚幻。这样现实的虚幻。这样AR可以降低性能要求、降低成本与价格。可以降低性能要求、降低成本与价格。尽量应做到室外使用，室外对尽量应做到室外使用，室外对AR有刚需，实时有刚需，实时3D建模对室外非建模对室外非2B项目非必需可简化，并可根据外部光线强弱自动调节亮度。项目非必需可简化，并可根据外部光线强弱自动调节亮度。窄视场、沉浸感差的问题可以将就，把它当做双目版窄视场、沉浸感差的问题可以将就，把它当做双目版GoogleGlass就好了，至少不会有就好了，至少不会有“GG眼眼”（右图）。（右图）。耗电量：计算视觉、耗电量：计算视觉、SLAM，以及反向，以及反向3D建模，都很耗费计算量，建模，
26、都很耗费计算量，需要简化。需要简化。总之我们认为，目前可以将就总之我们认为，目前可以将就Hololens的窄视场版本，但价格最好在的窄视场版本，但价格最好在300美元以美元以内。宽视场版本要出来估计没有三年、五年不行，电池、镜片材料并不遵循摩尔内。宽视场版本要出来估计没有三年、五年不行，电池、镜片材料并不遵循摩尔定律。- 111 -Google Glass可能之反击当然，谷歌也不是吃素的，谷歌3D建模神器Project Tango2014年2月从GoogleX毕业，谷歌还成功为该项目研发出一款Android手机原型机，配备了一系列摄像头、传感器和芯片，它能在你走动时，自动扫描四周绘制出周围世界
27、的 3D 模型，每秒进行1500万次3D测量。项目其实是摩托罗拉移动此前的研发团队负责，项目负责人Jonny Lee曾在微软的 Kinect 项目工作，2011年加入Google。谷歌也是内嵌Kinect使用的PrimeSense深度处理芯片，矢量处理器使用硅谷创业公司Movidius的芯片，后者已经发布了核数量从8个增加到12个的“Myriad2”。Magic LeapMagic Leap成立于2011年，2014年2月完成5000万美元A轮融资，2014年10月得到谷歌投资，2015年3月公司发布过一段AR办公室打怪的第一人称射击游戏视频，这是比微软更领先的创意，一下子吸引了业界的注意，不
28、过该公司当时并没有附带真实性声明。顺带说一下，此举倒是刺激了微软不断去开发配套Hololens的游戏，微软透露RoboRaid由一支8人团体用了短短12个星期就开发出来了，以显示其开发环境之友好 。Magic Leap宣传语：Your new way to bring magic backinto the world.Magic Leap也不认为自己是AR，而认为自己是CR（ CinematicReality）电影级现实。- 112 - 113 -Magic LeapMagic Leap于2015年10月20号华尔街日报 WSJD展会上展示了一个视频，办公桌下紧张的机器人、办公桌上的太阳系，视
29、频注脚特别强调，这是利用Magic Leap技术实现并实拍的视频，没有添加任何特效。- 114 -Magic LeapMagic Leap随后不久又公布了一条新视频，体育馆中跃起大鲸鱼，视频中的观众是裸眼的，让人震惊裸眼全息时代的到来，Magic Leap总是用一个个视频撩拨大众的神经，但产品为何至今尚未揭晓，引发无数质疑，特效！骗子？这次的确是特效，Magic Leap是需要佩戴眼镜的，视网膜呈像，它还是给公众带来了新的概念，数字光场技术(Digital Lightfield），也是与Hololens最大的不同。Magic LeapMagic Leap2014年10月获得由谷歌领投的5.42
30、亿美元B轮融资，高通资本、KPCB、Andreessen Horowitz等大牌投资机构跟投，请注意是谷歌自己，而非其风险投资部门Google Capital和Google Ventures，谷歌新任CEO桑达尔 皮查伊(Sundar Pichai)（俗称劈柴）甚至出任了该公司董事。2016年2月完成 7.935 亿美元 C 轮融资，阿里巴巴2亿美元领投，Wellington Management, T. Rowe Price,JP Morgan, Morgan Stanley, Fidelity Investments,Warner Bros., Qualcomm Ventures, Goo
31、gle 跟投， 蔡崇信入董事会，估值达 45 亿美元（非之前传说的120亿美元）。有人质疑谷歌投资这是给微软Hololens逼急了乱投医，难道这么多大佬捧场竟遭遇了皇帝的新装？- 115 -桑达尔 皮查伊（1972-），印度裔，2015年8月就任谷歌CEO- 116 -Magic LeapMagic Leap的团队堪称梦幻。创始人兼CEO，Rony Abovitz曾是MAKO外科手术机器人公司的联合创始人，这家公司最后作价16.5亿美元卖掉。朋友们评价Rony风趣幽默、思维活跃、善于说服人，也常会做出一些让人意想不到的事情。创始人Rony AbovitzMagic Leap其实聚集了很多计算视
32、觉、数字光场技术的大牛，比如感知研究的高级副总裁 Gary Bradski，他于1999年在Intel时就创立了OpenCV(开源计算机视觉工具库)，他还是Stanford顾问教授（可惜此人于16年5月正与公司互诉公堂），再比如计算视觉的技术负责人Jean-Yves Bouguet，原来在Google负责谷歌街景车的制造。团队还有知名游戏设计师Graeme Devine、著名科技市场首席营销官Brian Wallace、Beats公司前CFO Scott Henry，还有一位科幻传奇小说作家Neal Stephenson被任命为“chief futurist”，他是雪崩、钻石年代、编码宝典、巴
33、洛克记等经典科幻小说的作者。Magic LeapMagic Leap产品原理分为四个步骤：产品原理分为四个步骤：1、数字光场拍摄（光场相机）；、数字光场拍摄（光场相机）；2、3D信信息感知息感知-SLAM-3D场景识别场景识别-3D反向建模反向建模-实时实时CG图像渲染；图像渲染；3、光场显示；、光场显示；4、交、交互。第互。第2步在微软步在微软Hololens中做过介绍，中做过介绍，Magic Leap露了一手，初始的校准、传露了一手，初始的校准、传统方法是对着国际象棋棋盘反复校准，他们对着一个特制奇形怪状物体一次快速统方法是对着国际象棋棋盘反复校准，他们对着一个特制奇形怪状物体一次快速校准
34、；第校准；第4步前文介绍较多，步前文介绍较多， Magic Leap开发了手套，申请了一些手势指令的专开发了手套，申请了一些手势指令的专利。利。Magic Leap光场显示想达到的效果：光场显示想达到的效果：1、从眼镜中看出去无法辨真假，因为所见、从眼镜中看出去无法辨真假，因为所见都是从真实光场中采集的光线集，传统显示没有保留光线方向信息，屏幕是漫反都是从真实光场中采集的光线集，传统显示没有保留光线方向信息，屏幕是漫反射的，从屏幕上某一点发出的所有射线都是相同颜色的，而光场显示要求从同一射的，从屏幕上某一点发出的所有射线都是相同颜色的，而光场显示要求从同一点出发的不同射线具有不同的颜色；点出发
35、的不同射线具有不同的颜色；2、眼睛长时间不疲劳，因为光场信息完整、眼睛长时间不疲劳，因为光场信息完整、人眼想看哪里、哪里就能自动对焦，而不是屏显人眼想看哪里、哪里就能自动对焦，而不是屏显3D、眼睛始终聚焦屏幕上。公、眼睛始终聚焦屏幕上。公司称，他们开发了一种全新的光场芯片，并将在佛罗里达用废弃的摩托罗拉工厂司称，他们开发了一种全新的光场芯片，并将在佛罗里达用废弃的摩托罗拉工厂做生产。做生产。资料来源：顾险峰资料来源：顾险峰- 117 - 118 -Magic Leap数字光场拍摄：描述一个光场需要7个维度：3个三维坐标，2个极坐标表示这个点上通过的光的方向，1个波长表示光的颜色，还有1个是时间
36、t。如果只考虑光场被投射到二维平面（如视网膜）的话，关键维度只有4个：2个是平面上点的坐标，2个是入射光的方向，相比2D拍摄多了后2维。光场魔盒解释：假设用一个玻璃盒子罩住一只兔子，我们记录下盒子表面任意一点向三维空间任意一个方向发出的一条射线，这时即使挪走这只兔子，我们观察光场信息还是会以为兔子在原处。早期光场采集的方法简单粗暴，就是用大规模相机阵列，随着数字相机技术的成熟，开始密集针孔相机，最后是按照仿生学的昆虫复眼来获得光场。资料来源：顾险峰- 119 -Magic Leap光场相机（Camera 3.0，1代是胶片相机，2代是数码相机）代表产品Lytro可先拍照、后取焦，2006年斯坦
37、福毕业的吴义仁(Yi-Ren Ng，马来西亚裔，1979年9月21日)创办，博士论文终孵化出2012年2月第一代产品，价格399.99美元（后折价到139.99美元），玩具型产品，2014年7月第二代Illum，价格1599美元，有点专业派头。二代4000万像素光场解析度（40-megaray光场感应器），一代为1100万像素。镜头与传感器中间有9万颗微镜头阵列，记录的全部光场原始信息包含大量不同方向的光信号叠加在一起，Ng利用傅立叶变换把不同的信号分解开，再根据使用者的需要重新组合，名为“傅立叶切片摄影”的后期处理方式合成出聚焦于任意一点的照片。吴义仁与Lytro第一代产品Magic Lea
38、p但是，Lytro至今销售不佳，原因：1、单看2D画质仅4百万像素，还不如手机镜头（2D照片大小5M，RAW格式则是50M，xRAW格式142M），因为要储存多个深度层面信息，单层分辨率就低了；2、用途有限，后取焦的需求少，媒体记者暗光偷拍、抓拍算是一种小众需求；3、光场信息量大，抓拍时又容易因成像时间长而错过最佳时机；4、没有可变焦的视频录制功能，因为信息量太大了；5、先拍照后对焦功能被对手快速模仿并推出廉价替代品，比如有软件一次拍多张不同焦点的画面、松下推出一次拍1秒的不同景深4K视频，以及谷歌推出的免费拍照应用可调节照片景深。总之，我们认为Lytro嫁接上Magic Leap才有望带来需
39、求井喷，不过也要先解决光场信息压缩问题，目前已有MIT的Tesseract等研究压缩感知，类似于唱片-WAV-MP3等有损压缩-FLAC等无损压缩。且等着！- 120 -Lytro第二代Illum- 121 -Magic LeapLytro2011年6月获得5000万美元A轮投资，2013年11月获得4000万美元投资，2015年2月获得5000万美元投资，恺英网络16年2月18日公告称拟400万美元投资Lytro，持股1.27%，总估值3.15亿美元。但目前Lytro每年都要亏损掉4000万美元。Lytro2015年宣布转战虚拟现实，11月发布了全新的可拍摄360全景的光场相机Lytro I
40、mmerge，产品尚未正式发售。Magic LeapMagic Leap光场呈像方式采用光纤投影显示(Fiber optic projector)，负责人BrianSchowengerdt ，导师是华盛顿大学Eric Seibel教授，导师团队研究内窥镜数十载，Brian的想法很聪明，把过程倒过来可以做成一个高分辨率的投影仪，他早在2004年就发了相关论文，2013 年曾公开展示一种直径 1 毫米、基于光纤扫描的内窥镜，原理是微电脑通过基于微机电系统MEMS的驱动器 Actuator，精确控制超细光纤末端，在1毫米直径的管子中高速旋转，由小变大画同心圆来完成扫描，1mm宽9mm长的光纤能投射几
41、寸大的高清蝴蝶图像 ，有人发现它现在已经在为美国国防部研制分辨率达到 4K 级别的光纤扫描显示设备。视频链接：资料来源：聂崇岭，36氪；胡伯涛，知乎- 122 - 123 -Magic Leap光场显示主要是两种方法：空间复用（space multiplexing）和时间复用（timemultiplexing）。有研究表明用）。有研究表明用6个聚焦距离加上一种线性混合（个聚焦距离加上一种线性混合（linear blending）的渲染算法就基本能实现从约30厘米到无穷远让人眼自然对焦。“空间复用”用一根光线实现不同聚焦距离，Nvidia做的原型属于这种，Magic Leap公布的专利也是这种，
42、因为光纤输出的只是2D画面，要还原光场，Magic Leap在光纤外端放上一个弯曲微镜阵列，镜面受光线方向2维数字信号控制磁场来快速调整，每个小单元反射光纤2D光的一部分来生成3D空间中一个特定点的光场，最大问题是分辨率大打折扣；“时间复用”就是用高速原件快速产生不同的聚焦距离，这样分辨率不损失。此外用光纤束的位置差来得到不同聚焦距离效率更高，光纤束也能实现更大的FOV。Magic Leap可能实际上用后种。资料来源：谷歌吴博士，钛媒体；胡伯涛，知乎图片来源：金色葡萄，果壳网- 124 -Magic Leap光场显示的难点：这是很多技术派人士关心的，目前释放出来的视频都是在昏暗环境中，用3D图
43、像的高亮来遮挡真实环境。如何能在一个明亮的环境中渲染黑色的图像？或者说，如何将真实环境的物体完全替换掉？Magic Leap也申请了相关专利，用凸镜形成虚像、同时遮蔽现实实像。图片来源：金色葡萄，果壳网Magic Leap 总之，Magic Leap原理中的技术都有多年的学术界研究，并被证明是可行的，Magic Leap把它们组合起来，有创新之处，但比Hololens还要大一个数量级的计算量怎样才能做到小型化，这是最大的问题，目前体验者反映的一个词是“Bulky”，所以我们认为Magic Leap开发者版本要出来至少需要五年以上、甚至十年时间，Magic Leap连续融资就是为了打好持久战。
44、光场技术解决的是真3D、眼部无疲劳，目前的技术达到的是假3D、无眩晕，性价比上也不差，用户真的会为价格昂贵的光场显示买单吗？ 光场其实是一个古老的概念， 1846年法拉第给出的定义，光场拍摄早在1936年就有开始研究，光场显示在1996年被微软和斯坦福学者引进到计算机图形学领域，发展到今天已经20年了。 据悉微软曾经出过一版基于光场的游戏，类似孤岛寻宝，所有场景都是从真实自然中采集，非常逼真，但是最后没有引起任何反响，无疾而终。我们认为微软的光场试验失败于当时还没有沉浸式头盔设备的配合，现在有些不同了，如果这条路能成功，我们估计微软利用技术积淀追上来的机率也存在。- 125 - 126 -全息
45、3D投影3D全息投影因为是裸眼3D被人看好，该技术利用光线干涉原理记录物体光波信息，再利用光线衍射原理再现物体光波信息实现成象，1947年英国物理学家盖伯发明，1962年苏联科学家丹尼苏克拍摄得第一张实际记录了三维物体的光学全息投影照片，技术发展并不快，目前有些应用如在博物馆中的展示、舞台晚会表演如羊年春晚李宇春表演的蜀绣、日本初音未来的演唱会等，但直到目前所有的全息成像都需要一个成像介质，比如透度很高的成像膜、纱、雾气、塑料、玻璃等，所以被称作伪全息。网友DIY的成像罩子，利用手机实现全息投影全息展示柜- 127 -全息3D投影Bleen号称是“世界上第一款真正意义上的全息3D投影仪”，可在
46、上方8.3英尺的范围内投影出实时动态全息影像，并能触摸实时交互，Bleen称不是喷水雾做介质。它在Indiegogo上众筹，225美元预定，拟2015年10月上市，价格400美元，但是它跳票了！日本Aerial Burton研发了一套系统，使用了一系列精准调节的激光发射器，有选择地电离空气分子全息成像，并能触摸交互，产品也是原型，像素低。可穿戴的、高清晰度、空气介质的真全息投影技术要走入生活还需要相当长时间。Bleen效果图Aerial Burton的触摸交互演示- 128 -VR/AR二合一（VR+视频叠加式AR）Oculus于于15年年5月收购英国一家计算机视觉公司月收购英国一家计算机视觉
47、公司Surreal Vision，擅长，擅长3D场景技场景技术，三位创始人博士都是大牛，术，三位创始人博士都是大牛， Richard Newcombe、Renato Salas-Moreno 和和Steven Lovegrove，第一位是，第一位是KinectFusion 的发明者之一，第二位则发明了的发明者之一，第二位则发明了SLAM+，我估计，我估计Oculus在打在打VR/AR二合一的主意，但它还没有亮出新产品。二合一的主意，但它还没有亮出新产品。AMD联合加拿大联合加拿大Sulon公司于公司于16年年GDC大会上推出一款大会上推出一款Win10的的VR/AR一体机一体机Sulon Q。
48、配置。配置AMD FX-8800P 的处理器、的处理器、Radeon R7 显卡、内存显卡、内存8GB、SSD256GB、VR指标上，25601440 OLED 屏幕，刷新率 90Hz，可视角度 110。uSens凌感科技uSens一群美籍华人的创业公司，以手势识别起家，15年GDC大会推出VR/AR手机架式产品 Impression Pi印象湃，计划16年2季度出货，公司提出SR(SuperRealtiy)即VR与AR间无缝切换。我很欣赏他们的努力，尤其是把手势识别结合进头盔中，但我们不认同二合一这一战略思路，因为这样会分散研究精力。- 129 -BaiduEye介绍完国外各种炫技术，感觉国
49、内的技术水平还差几个数量级，虽然也有国内初创公司做出类似Google Glass的产品了，效果如何尚不可知。但也不用泄气，国外技术牛又怎样？技术+应用场景才是王道。BaiduEye2014年9月百度世界大会上发布，可拍照导航、可手势语音识别，以手机充当显示屏幕。因为无类似GG的显示功能，连智能眼镜也算不上，加之体积太大，被网友一阵吐槽，不过我们认为BaiduEye+百度大脑组合是个好的开始，设备上如果能微缩到蓝牙耳机+针孔摄像头组合则更好。AR小结 VR已经进入成长起点，我们认为AR在2016年始第一个十年无足轻重，第二个十年逐步追赶VR销量，第三个十年有望成为手机的一类重要载体，需要解决价格
50、便宜、移动化、AI配合。我们认为VR/AR应独立发展，尽管技术有共通性、AR采用的微投影技术可以为VR借用，但毕竟成熟度、用途不同、最终形态有差异。较终极的产品形态，VR将轻如眼镜架，AR将薄如隐形眼镜，再终极就要做生物体植入了，适当时候二者可以融合为一，但做早了会牺牲掉； VR对渲染计算量要求很大（Foveated Render注视点渲染技术将大幅减少计算量）；AR不在于计算量（尽管反向 3D 建模、动态定位的计算量、光场等要求很高），更在于应用算法之复杂（需第三方AI应用）； VR的核心驱动力是游戏、视频、成人；AR眼镜发展最大的问题是对隐私的影响，在中国更易接受，所以将来发展速度可能比美
