基于大数据的视频评估模型研究与系统实现.pptx

1、基于大数据的视频评估模型研究与系统实现主要内容主要内容1课题研究背景与意义课题研究背景与意义2课题研究现状课题研究现状3课题主要研究内容课题主要研究内容 3.1完善视频评估指标体系完善视频评估指标体系 3.2构建构建视频评估视频评估模型模型 3.3建立视频评估系统建立视频评估系统4 总结与展望总结与展望1课题研究背景及意义课题研究背景及意义1）随着）随着IPTV用户的不断增多，用户的不断增多，洞察洞察和理解和理解用户的需求成为发展的关键。用户的需求成为发展的关键。如何如何对大量的视频进行评估并选择出更受用户喜欢的视频成为对大量的视频进行评估并选择出更受用户喜欢的视频成为IPTV亟待解亟待解决的

2、问题决的问题。结合新媒体平台上海量视频相关数据完善视频评估指标体系，能够更结合新媒体平台上海量视频相关数据完善视频评估指标体系，能够更加全面的评估视频，以选择更受用户喜欢的视频。加全面的评估视频，以选择更受用户喜欢的视频。1课题研究背景及意义课题研究背景及意义2）人为制定评估指标的权重，主观因素影响）人为制定评估指标的权重，主观因素影响较大。较大。引入反映引入反映IPTV受众群体喜好的隐式评分并建立视频评估模型，有利于受众群体喜好的隐式评分并建立视频评估模型，有利于减少人为主观因素对视频评估的影响减少人为主观因素对视频评估的影响。1课题研究背景及意义课题研究背景及意义3）手动收集视频相关信息，

3、并进行视频评估，耗费大量的人力物力。）手动收集视频相关信息，并进行视频评估，耗费大量的人力物力。建立视频评估系统，能够有效的节约视频评估的时间，方便非技术建立视频评估系统，能够有效的节约视频评估的时间，方便非技术人员进行视频评估。人员进行视频评估。2课题研究现状课题研究现状视频评估的现状视频评估的现状（1）收视率全效指标评估体系研究收视率全效指标评估体系研究以电视剧为例以电视剧为例2009 一级指标二级指标指标赋值知名度传统媒体报道数量论坛议题数量12.512.5关注度网民评论量12.5收视度点击量下载量12.512.5推荐度网页位置12.5满意度正负向意见分布12.5集中度网友类型分布12.

4、52课题研究现状课题研究现状视频评估现状视频评估现状（2）大数据背景下收视评估体系再思考大数据背景下收视评估体系再思考2013 文章提出的几方面设想：文章提出的几方面设想：1）新媒体环境下）新媒体环境下，视频视频的的内容提供者多元化，应该综合多屏环境下评估视频。内容提供者多元化，应该综合多屏环境下评估视频。2）在新媒体和大数据的环境下，能够采集到的数据几乎是全部的数据，而不是传统）在新媒体和大数据的环境下，能够采集到的数据几乎是全部的数据，而不是传统媒体利用样本数据进行评估视频。媒体利用样本数据进行评估视频。3）挖掘用户大数据是利用大数据评估视频的关键）挖掘用户大数据是利用大数据评估视频的关键

5、。2课题研究现状课题研究现状视频评估现状视频评估现状（3）多屏发展背景下电视节目评估指标体系创新初探多屏发展背景下电视节目评估指标体系创新初探2015 一级指标二级指标数据来源收视度点击量视频网站下载量视频网站讨论量视频网站、社会化媒体满意度视频网站跟帖意见视频网站社会化媒体讨论意见社会化媒体2课题研究课题研究现状现状建立建立视频视频评估评估模型模型的方法的方法算法算法特点特点主成分分析法主成分分析法1 1、定量化各个指标之间的权重；、定量化各个指标之间的权重；2 2、人为主观因素大；、人为主观因素大；层次分析法层次分析法BPBP神经网络神经网络1 1、不着重于指标的权重，主要是分析指标与评估

6、、不着重于指标的权重，主要是分析指标与评估结果之间的关系；结果之间的关系；2 2、基于、基于历史行为数据历史行为数据建立评估模型；建立评估模型；3主要研究内容主要研究内容 3.1 完善视频评估指标体系完善视频评估指标体系 3.2 构建构建视频评估视频评估模型模型 3.3 建立视频评估系统建立视频评估系统3.1 完善完善视频评估指标体系视频评估指标体系序号序号指标指标数据来源数据来源1播放量传统媒体、视频播放网站2下载量视频播放网站3票房（电影）电影网表3.1 基于收视度的评估指标及数据来源3.1 完善完善视频评估指标体系视频评估指标体系序号序号指标指标数据来源数据来源1网络评分视频播放网站、豆

7、瓣2网络讨论量视频播放网站、论坛、微博、豆瓣3网络评论的正负面意见视频播放网站、论坛、微博、豆瓣表3.2 基于网络影响度的指标以及数据来源3.1 完善完善视频评估指标体系视频评估指标体系序号序号指标指标数据来源数据来源1上映时间视频播放网站、豆瓣2上映地区视频播放网站、豆瓣3创作团队（导演、演员等）豆瓣网、时光网4片种视频播放网站、豆瓣5首播平台（电视剧）视频播放网站、豆瓣、百度百科6出品单位（少儿片、纪录片）视频播放网站、豆瓣、百度百科表3.3 基于视频本身的评估指标和数据来源3.2构建构建视频评估视频评估模型模型输入层：视频评估指标的各个指标量化之后的数据；输入层：视频评估指标的各个指标量

8、化之后的数据；输出层：视频的输出层：视频的IPTV隐式评分；隐式评分；3.2构建构建视频评估视频评估模型模型原评估模型：原评估模型：人为设定人为设定评估指标权重；评估指标权重；现现评估模型评估模型：基于：基于BP神经网络神经网络构建的评估构建的评估模型；模型；3.2构建构建视频评估视频评估模型模型BP神经网络并行化计算流程神经网络并行化计算流程3.2构建构建视频评估视频评估模型模型Spark平台上平台上RDD转换过程转换过程3.2构建构建视频评估视频评估模型模型基于基于Spark平台平台 在在Spark平台下进行平台下进行BP神经网络训练，计算加速比。神经网络训练，计算加速比。1ppTST公式

9、中，公式中，Sp代表加速比，代表加速比，T1代表使用代表使用1个节点时任务执行时间，个节点时任务执行时间，Tp代代表使用表使用p个节点时任务执行时间。个节点时任务执行时间。3.2构建构建视频评估视频评估模型模型基于基于Spark平台平台 在在Spark平台下进行平台下进行BP神经网络训练有效提高的了训练效率：神经网络训练有效提高的了训练效率：0123456012345加速比节点数1G数据2G数据理论值3.3 建立视频评估系统建立视频评估系统3.3 建立视频评估系统建立视频评估系统视频信息采集模块视频信息采集模块3.3 建立视频评估系统建立视频评估系统视频信息整合模块视频信息整合模块3.3 建立

10、视频评估系统建立视频评估系统视频信息补充模块视频信息补充模块3.3 建立视频评估系统建立视频评估系统视频信息评估模块视频信息评估模块4 总结与展望总结与展望总结：总结：1）首先，完善了IPTV视频评估指标体系。结合结合视频视频相关海量数据从视频相关海量数据从视频收视度收视度、视频网络、视频网络影响度影响度、视频内容视频内容三个方面完善视频评三个方面完善视频评估指标体系。并指出各个指标的数据来源和量化标准，为后续建立视频评估模型提供数据估指标体系。并指出各个指标的数据来源和量化标准，为后续建立视频评估模型提供数据支持支持。2）其次，构建了视频评估模型。引入引入IPTV视频隐式评分视频隐式评分，并

11、利用，并利用BP神经网络神经网络方法建立视频评估模型。各个指标的定量方法建立视频评估模型。各个指标的定量之后的数据作为之后的数据作为输入，输入，视频隐式评分作为视频隐式评分作为输出。输出。本文建立的视频评估模型能够更加有效的本文建立的视频评估模型能够更加有效的评估视频，并在大数据量的基础上，选择在评估视频，并在大数据量的基础上，选择在Spark大数据处理平台上进行大数据处理平台上进行BP神经网络训练，神经网络训练，能够有效的提高构建评估模型的效率能够有效的提高构建评估模型的效率。3）最后，建立了视频评估系统。系统能够实现视频信息的采集、整合、补充、评估系统能够实现视频信息的采集、整合、补充、评

12、估功能，功能，为为非技术人员提供非技术人员提供视频评估视频评估的的一站式服务。一站式服务。4 总结与展望总结与展望展望：展望：1）首先首先，在基于大数据的基础上，视频评估体系的指标还应该再进行，在基于大数据的基础上，视频评估体系的指标还应该再进行丰富丰富。比如，比如，视频网络媒体上的不同时段的用户情况，视频的原著的影响情况等。视频网络媒体上的不同时段的用户情况，视频的原著的影响情况等。2）其次，各个评估指标的量化标准应该用更加全面的算法进行分析，模型其次，各个评估指标的量化标准应该用更加全面的算法进行分析，模型的输出数据不应该只局限视频隐式评分。在的输出数据不应该只局限视频隐式评分。在Spark平台上进行平台上进行BP神经网络并神经网络并行化训练应该在数据量上进行丰富，不断优化行化训练应该在数据量上进行丰富，不断优化Spark运行效率。运行效率。3）最后，提高视频评估系统的性能。需要进一步的技术介入和算法研究，最后，提高视频评估系统的性能。需要进一步的技术介入和算法研究，优化数据库和代码。优化数据库和代码。