多媒体架构与处理通用模板课件.pptx

1、多媒体架构与处理多媒体架构与处理nMPEG视讯压缩技术n行动设备视觉化搜寻1 1立体视讯压缩行动设备视觉化搜寻可调视讯压缩高效能视讯压缩7680 Pixels4320 Pixels1920 Pixels1080 PixelsSuper Hi-VisionFull HDTemporal Scalability 0 1 2 3 4 5 6 7 8 9 0 3 6 9Base Layer 0 3 6 9Quality Scalability 0 3 6 9Spatial Scalability谢谢您的观看2019-6-20新一代高效能视讯压缩竞赛新一代高效能视讯压缩竞赛n本实验室代表交通大学(NCT

2、U)参与2010年四月由ITU-T VCEG及ISO/IEC MPEG在德国Dresden举办的下一代高效能视讯压缩编码竞赛（参赛文件编号JCTVC-A123），在总共27个参赛团队中取得第12名的成绩，并且在Low Delay设定下取得第10名的成绩，以下为主观视觉测试统计结论(在本次竞赛中前10名被考虑为重要提案)：(1)在Constraint 2的80个测试资料中，有2个测试资料得到第一名的成绩，有15个测 试资料得到前五名的成绩，有38个测试资料得到前10名的成绩。(2)在Constraint 1的65个测试资料中，12个测试资料得到前10名的成绩。n完成并符合测试要求之学校单位:NC

3、TU,Taiwan;RWTH Aachen U.,Germany;MIT,USA;Sejong U.,Korea;Sungkyunkwan U.,Korea (NCTU为参与学校单位中主观评比最佳)n业界单位:TI;Hitachi;Sony;NEC;Sharp;Intel;Mitsubishi;JVC;MediaTek;LG;Huawei Hisilicon;SK telecom,France Telecom,NTT,NTT DOCOMO,Panasonic,Technicolor;Fujitsu;Fraunhofer HHI;Toshiba;Microsoft;Tandberg,Ericss

4、on,Nokia;RIM;Qualcomm;NHK&Mitsubishi;Samsung BBC;BBC Samsung;Renesas;ETRI2谢谢您的观看2019-6-20研究方向研究方向nHigh Efficiency Video Coding(HEVC)nScalable Video Coding(SVC)nFree Viewpoint Television(FTV)nCompressive Sensing(CS)nMobile Visual Search(MVS)3谢谢您的观看2019-6-20历年计划历年计划新兴高效能视讯编码技术主持人2010/8/1 Present国科会参与国

5、际MPEG标准会议共同主持人2009/8/1 Present国科会遍布实时多媒体系统与技术-子计划二:可调视讯编码之适应性动态精细改进和编码主持人2006/8/1 2009/7/31国科会支援3-D立体视讯的数位电视多媒体平台设计共同主持人2007/11/1 2010/10/31国科会运用在异质无线网络多方视讯广播服务之可调视讯编译码最佳化与网络界面设计主持人2007/8/1 2010/7/31国科会适用于Location-Free 视讯之H.264/AVC参数优化与传送主持人 2007/12/31资策会适用于广告推播系统之网络传输架构与视讯编译码方法可行性分析共同主持人 至 工业技术研究院H

6、.264 Scalable编码参数最佳化与DSP实作共同主持人 至 资策会基于MPEGVC/H.264标准之多视角视讯编译码95-2218-E-009-208-主持人至 国科会4谢谢您的观看2019-6-202019-6-205谢谢您的观看基础知识基础知识n建议欲加入本实验室之新生，具备有 机率 线性代数 讯号与系统 数位讯号处理 算法 C/C+Programming.等基础知识。6谢谢您的观看2019-6-20实验室福利实验室福利n奖助学金按能力表现分发。n从事实验室的服务工作或是担任课程助教，老师会给予额外奖助学金以资鼓励。n定期实验室聚餐或出游。n提供经费供学生出国参加学术会议与视讯标准

7、会议(MPEG和JCTVC)。7谢谢您的观看2019-6-20实验室资源实验室资源n实验室提供每个博士生与硕生 一台多核心个人计算机 一大一小双荧幕 笔记型计算机 30台公用Intel i7 series 服务器。8谢谢您的观看2019-6-20毕业与未来工作毕业与未来工作n在老师的要求下，大家都能顺利两年毕业。n实验室目前毕业学长姊在华硕、奇美、奇菱、安霸、广达、鸿海、晨星、联发科技，HTC，凌阳科技，联咏科技等等公司上班或研发替代役。9谢谢您的观看2019-6-20课程选修建议课程选修建议 目前实验室着重在多媒体讯号处理研究，所以在开学之前，老师会鼓励同学多阅览有关多媒体和数学的书籍，象是

8、多媒体概论(H.264或MPEG-4简介)或是有关最佳化的数学理论。至于开学的修课，除了所上必修(例如视讯压缩、多媒体通讯)之外，老师也鼓励学生选修外所课程，象是电子所的随机过程、检测与估计等，这些课程都会对同学之后阅览论文和自己的研究有所帮助。开学期间，老师也会让同学看一些学术论文，以增加自己本身对于多媒体背景的了解，让同学在最短的时间内，进入相关领域的研究。10谢谢您的观看2019-6-20High Efficiency Video Coding(HEVC)n博士生：二人、硕士生：四人nHEVC是为了因应未来高分辨率视讯(Super Hi-Vision,76804320)所带来的多媒体应用

9、。现今最成熟之H.264/AVC在高分辨率仍然压缩率不足使得网络频宽无法负荷，导致高分辨率视讯仍未走进人们的生活中，HEVC目的为开发下一代标准，达到H.264/AVC两倍的压缩率！n相关应用：智能型手机或相机之视讯编译码器。n相关资料：n输入文字文本11谢谢您的观看2019-6-202019-6-2012谢谢您的观看Scalable Video Coding(SVC)n硕士生：二人n由国科会96-2628-E009-015-MY3(异质无线网络之可扩充性多媒体群播服务)补助nSVC为MPEG与VCEG共同以MPEG-4 AVC/H.264为基础所开发之最新可调视讯编码标准，其目的是以单一的压

10、缩视讯位元流，提供时间、空间、和画质精细可调性，让接网络处理器透过适当的抽取与译码不同增强层，以达到所需的译码质量。目前研究重点，在不影响视讯质量下，进行H.264与SVC编码格式间的快速转换算法。n相关资料：输入文字文本13谢谢您的观看2019-6-20Compressive Sensing(CS)n硕士生：一人n根据讯号处理理论中的Nyquist Rate Theory，取样速率须不能小于讯号频宽的2 倍，否则会产生Aliasing的错误。因此许多学者开始着眼思考，是否有更好的取样技术？如何违反取样速率的物理限制呢？然而，一个新的取样技术-Compressive Sensing，可在不破坏

11、资料的条件下，将取样数有效的减少至低于Nyquist Rate，并在取样后重建还原资料。此理论让许多研究者相当振奋，许多过去受限于取样速率的研究问题，如今皆一一被重新审视，例如1)生医二元影像讯号、2)多重描述编码理论、3)数位类比转换设计、与4)影像压缩等研究议题。本实验室应用Compressive Sensing，进行多重描述编码论和影像压缩的技术研究。此外，Compressive Sensing的研究过程，需要相当的数学技巧与推导证明，因此在EECS的学术领域中，实为一富有挑战性的研究主题。n详细说明档案：按此下载14谢谢您的观看2019-6-20Free-viewpoint Telev

12、ision(FTV)n博士生：一人、硕士生：一人n由国科会96-2220-E009-038(支援3-D立体视讯的数位电视多媒体平台设计)补助nFTV为MPEG于07年开启的自由视角电视计划，其包含多视角视讯压缩、影像深度估测与虚拟视讯合成，用以突破传统视讯单一视角的限制。传统视角的移动，需事先提供大量相近视角的视讯；然而，虚拟视角合成，可藉合成的方式，降低传统方法需提供庞大资料量的缺点，并提高视角切换的自由度。本研究涉及1)多视角视讯压缩、2)影像处理、3)计算机视觉、与4)虚拟视讯合成等多领域的整合，目前研究重心在于观察影像与深度之原始和压缩信息，分析造成合成影像失真的原因，并将此议题延伸至

13、1)深度信息质量、2)虚拟视讯合成质量、与3)深度信息压缩效率之提升。15谢谢您的观看2019-6-20Mobile Visual Search(MVS)n硕士生：二人nMobile Visual Search(MVS)的基本说明是用找CD专辑封面的方式来表达，利用图形中撷取特征点后传至后端，后端的搜寻利用分块的方式来寻找最符合的资料，之后再回传给手持系统得知比对资料结果。MVS是近年来发展在智能型手机、汽车等电子产品上的一项技术，最常见的莫过于利用手机拍书的封面，即可立即传回后端的database去搜寻并回传该书籍的信息，或是拍摄街道图得知其定位及名称。MVS的特性 也就是信息取得的便利性+

14、移动性以取代传统的固定式的信息搜索，使得取得信息的方式更多元，想要search的动机也将会更为随机地频繁地出现，最终也创造出一些商业广告应用的契机n参考连结16谢谢您的观看2019-6-20学长姐心得分享学长姐心得分享n各位刚开启研究所大门的同学们，除了骄傲欣喜之外，我想也总是会徬徨着自己的兴趣与时下潮流的契合度。如果你身在这数位时代，对无所遁形于的视讯影像，数位光盘，计算机或行动通讯器材上的影片处理等有着强烈的好奇以及热诚，MAPL实验室是探究视讯串流压缩和处理最富饶的环境，那潮流变换的冲击将只会是涓涓细流，只要你愿意就可以一把掬起。彭文孝老师是位聪明与认真勤勉高度相当的指导者，在他的领导与

15、启发；加上优秀的学长与同侪们互相砥砺，我在实验室快速地吸收现下视讯压缩标准，以及各门研究相关的基础知识。承蒙彭老师费心地指点下，我有幸参与研究前后共发表了两篇国际conference paper，其中一篇甚至是以我的名字为第一作者。是的，这是站上国际的绝妙机会，数以万计的顶尖研究员在世界各地繁忙地举办会议，国际论文的发表让我有机会飞离岛屿，让那些个头体型高了一倍的巨人们在台下认真地听着我们的研究心血。17谢谢您的观看2019-6-20学长姐心得分享学长姐心得分享研究的过程是艰辛的，永远不会只有一条康庄大道，成功的路上总是弯路曲折，跟着彭老师的脚步；赞叹着老师绝顶的思路的同时，学习到的是坚持与绝对的不马虎，这是做事的态度，尽自己所能地将产物接近完美。过去所学的东西已从书本中或教室的黑板上具体为你的工具、可以随手挥舞的武器，对于未来不管是继续研究或是投入职场工作，都是助益匪浅。MAPL是最富饶的环境，因为本实验室拥有最丰富的硬设备，乐于互相帮助的学长姐们，冲劲与热诚无比的彭文孝老师，在你光荣从本实验室毕业后，就已经站在领先的地位了。18谢谢您的观看2019-6-202019-6-2019谢谢您的观看