1、ALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOS董全武董全武20112011年年5 5月月2626日日目录n背景背景-3D 影视质量评价影视质量评价n测试环境测试环境n3D QoE 质量评价算法质量评价算法n性能评估性能评估2背景-3D 影视质量评价3电视发展的趋势n黑白-彩色 -高清今后是什么？4563D电视产业链日趋成熟73D电视走入家庭8QoE非常重要！3D QoE 评价研究情况n传统的视频质量评价分为FR,RR,NRn因为没有相应的3D的参考视频，我们能够获得的仅仅是左右两个view，因此只
2、能通过它们来预测QoE，所以3D QoE天然就是NR的9文章背景nTitle:nALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOSn事件nIEEE Digital Signal Processing Workshopn Sedona,Arizonan时间：January 04-07,2011n作者来自：nThe University of Texas at Austin,LIVEnAnish Mittal、Anush K.MoorthynJoydeep Ghosh、Alan Conrad Bovik1
3、0测试数据集11常见视频测试库nVQEG FR-TV Phase 1 Test SequencesnLIVE：University of TexasnEPFL:SwitherlandnMiddlebury：Middlebury college，USnTID 2008 12EPFL 图像/视频采集设备13EPFL Datasetsn3D图像库n图像大小：1920X1080n9个场景，每个有6种深度n1个用于训练主观受试者14EPFL Datasetsn 3D视频库n图像大小：1920X1080n6个场景，每个有5种深度n每个场景时长10秒，25fps15主观评测n观看距离：2米n打分：5分制n测
4、试人数n图像库：17人n视频库：20人163D QoE 质量评价算法17主要思路18Left viewRight viewDisparity MapSpatial activityMagnitude of motion统计特征提取特征选择计算视差图（disparity map)1920计算空间活动特征nThe NTIA General ModelnNTIA：The National Telecommunications and Information AdministrationnVQEG：Phase II Full Reference Television(FR-TV)测试性能很好21计算运
5、动特征n运动特征提取算法介绍nblock-matching algorithm,BMAn通过一种快速的宏块匹配的运动估计算法获取每个宏块的运动估计n每个宏块的运动估计与前一帧求差值n在帧内对所有宏块求平均值22提取统计属性（1）23平均值中位值标准差峰度值偏度值nD即视差图（disparity map)插1：解释“峰度”和“偏度”n峰度（Kurtosis）衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的n偏度（Skewness）衡量实数随机变量概率分布的不对称性。例如，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（
6、包括中位数在内）位于平均值的右侧。24提取统计属性（2）25平均值标准值峰度值偏度值n视差图的微分值的统计特性n使用Laplacian 算子对视差图进行计算n用于捕获深度信息的变化插2：为什么计算视差图的微分值n原始图像n人眼在关注点区域附近的亮度对比度和梯度（gradient）高于其他区域n解释：HVS是为了使获得的信息最大化n视差图n人眼在关注点区域附近的对比度和梯度（gradient）低于其他区域n解释：HVS是为了简化对立体视觉的计算度26Pooling 策略n图像（15个维度）n5 disparityn4 disparity gradientn6 spatial activity（左
7、右图像分别计算）n视频（25个维度）n除以上15个维度，增加：10 motion compensated disparity difference（左右图像分别计算）nPooling策略：一个视频内部所有帧求平均27特征选择n因为维度太多，要考虑缩减n两种多元统计分析方法nPCA：principal component analysisnFFS：forward feature selection28PCA介绍n将多个变量通过线性变换以选出较少个数重要变量n主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P
8、个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求 Cov(F1,F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，第P个主成分29FFS介绍n主要步骤n先从训练集中选择与主观值相关度最强的特征n然后再选一个新的特征与它联合，使得联合以后的主
9、观相关度最高n如此继续。30用特征值计算分数n采用线性回归方法进行计算31n特征值向量n权重因子向量n常数参数与主观评价方法进行对比n采用SROCC方法进行相关性分析 nSpearman 等级相关系数（Spearmans rank order correlation coefficient,）nSpearman秩相关系数是一个非参数的度量两个变量之间的统计相关性的指标，用来评估当用单调函数来描述是两个变量之间的关系有多好。在没有重复的数据的情况下，如果一个变量是两外一个变量的严格单调的函数，则二者之间的Spearman秩相关系数就是+1或-1，称变量完全Spearman相关32实验结果333D
10、 Image QoEn9个场景X 6种镜头深度n4（X6）个用于训练trainingn2（X6）个用于验证validationn3（X6）个用于测试testingn场景选取遍历所有组合 =98种进行测试3435对3D Image QoS起重要作用的特征视差图平均值视差图中位值视差图标准差视差梯度图平均值视差在3D图像体验中起重要作用！3D Video QoEn6个场景X 5种镜头深度n3（X6）个用于训练trainingn1（X6）个用于验证validationn2（X6）个用于测试testingn场景选取遍历所有组合 =15种进行测试3637对3D Video QoS起重要作用的特征空间活动图偏度值（左）空间活动图峰度值空间活动图偏度值（右）运动估计图偏度值（左）运动对3D视频体验非常重要谢 谢 大 家！3839
