1、网页搜索效果评价网页搜索效果评价提提 纲纲 问题 当前业界现状与搜索引擎效果 效果评价方法 基于人工标注的评价和改进体系 衍生产物 各家搜索效果特点 再论元搜索业界现状业界现状 当前格局 百度、谷歌、搜狗、雅虎 有道、腾讯 爱问、中搜 百度 进入IM领域 百度知道对网页搜索有巨大的支撑作用 李彦宏：元搜索没有生命力 谷歌 手机、浏览器业界现状业界现状 搜狗 搜狗拼音输入法高歌猛进 帮助搜狐实现矩阵资源的个性化、广告投放 今年会有更多创新和新产品 雅虎 微软并购案进行中 准备启用Google Adsence 有道 基于java的分布式操作平台业界现状业界现状 腾讯 搜索流量从拦截地址栏开始 准备
2、建立3000人编辑团队 三个问题 搜索效果还有改进空间么？人力和自动化的优缺点是什么？元搜索是否可行？效果评价方法效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作效果评价方法效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作效果评价方法效果评价方法了解用户的搜索目的 获取用户搜索词样本 每日大量的查询词收集 关注各类Top查询词 关注上升最快的热点查询词 对查询意图进行分类 关键词属性：如电影、股票、人名、网站、视频、学习、公司机构、游戏、软
3、件、文学 用户意图：下载、在线、URL、图片效果评价方法效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 多样性 权威性 效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性逐条评价，考察每一条结果与用户查询相关的程度；评价为极好（相关且完全满足需求），5分好（相关且满足部分需求），4分中（仅相关），2分差（不相关）0分 导航是否命中 时效性 多样性 权威性 效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 导航是否
4、命中仅评价第一条结果，考察导航类查询，以及品牌官网，公司主页，名人官网/博客等的首条命中情况；评价为命中，1分未命中，0分 时效性 多样性 权威性 效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 导航是否命中 时效性逐条评价，考察结果的时效性；按照网页的最后更新时间，评价为即时（3天内），5分新（4-7天），4分中（7天-1月），3分稍旧（1月-1年），1分旧（一年以上），0分 多样性 权威性 效果评价方法效果评价方法影响用户满意度的几个主要方面相关性导航是否命中时效性多样性考察有多重含义的查询词是否满足了各类需求；针对整体（前10条）进行评价，且需要结合查询词所属的类别，评价为
5、好（各类需求兼顾，且主流需求突出，即查询词所代表的主要含义体现在第一条结果中且整体占3条以上）5分中（各类需求兼顾，但主流需求不突出）3分差（仅满足了主流需求），2分极差（没有满足主流需求），0分 权威性 效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 4分的相关性 定义 满足了用户的部分需求 搜索结果内容质量中等 各类搜索词意图定义 URL意图 图片意图 下载意图 在线意图 资料信息意图 其他意图效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 定义 结果页页面的核心内容区域中有完全满足用户需求的内容，且结果能够在线视听，阅读，游戏；此时，结
6、果页面或者为在线视听页本身，或者包含在线视听、阅读、游戏页面链接，需要点击1次才进入在线视听、阅读、游戏页面。子分类 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 当搜索词说清楚了软件版本，视频剧集，音频版本，小说段落，游戏版本时 效果评价方法效果评价方法影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 a.结果页面中是该视频/音频剧集，但是部分剧集链接，或是剧集的某一集，预告片等，相关性为4分。b.果页面中是该音频，但音频不是最热版本/最被大众认可版本时，相关性为4分。c.结果页面中是该小说段落，但是小
7、说部分章节目录，相关性为4分。d.结果页面中是该游戏，但游戏不是最热版本/最被大众认可版本时，相关性为4分 效果评价方法效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作效果评价方法效果评价方法分析和对比我们的技术服务水平 获得如下的珍贵数据 模拟用户真实查询，我们与竞争对手的差别评估数据 我们目前做得不好的大量实例Case 竞争对手比我们做得好的实例Case效果评价方法效果评价方法分析和对比我们的技术服务水平导航没命中相关性较差多样性时效性权威站点赵薇官网网站URL1淘宝网网站URL3高考成绩查询其他资料/信息1，2
8、别克林荫大道内饰其他资料/信息1，2儿子与情人文学其他Y我和爸爸其他其他Y刘德华意外死亡其他资料/信息Y效果评价方法效果评价方法分析和对比我们的技术服务水平资料/信息下载在线URL图片其他网站8+7+31+0+0域名文学0+0+11+1+01+2+1公司/机构/组织0+0+24+3+3人名1+0+05+4+0商品/商业0+0+10+2+4品牌财经0+0+10+4+0视频0+1+01+4+0音频0+0+1色情0+0+11+1+00+6+0效果评价方法效果评价方法分析和对比我们的技术服务水平关键词关键词搜狗搜狗百度百度谷歌谷歌读”昆虫记”有感好好好电子表格不显示0值好大与小作文好春季皮肤保养好好安
9、徽2009高考方案好办房产证期限好白云机场大巴时刻表好白塔寺 地图好好安莉芳内衣加盟好安徽卫视节目主持人好爱国事迹好好效果评价方法效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作效果评价方法效果评价方法如何将用户的感受目标变成开发工作 产品人员用在第三步中得出的大量实例Case进行问题的定位与分类整理 以同类型Case作为样本，抽样提交给开发人员修复 在算法改进结束后，小规模的以同类型Case评估改进效果 上线前，产品人员按照实际Query分布比例，模拟用户查询对改进进行全面性评估，以保证改进过程中没有影响到其他类型
10、的查询词的效果效果评价方法效果评价方法附：以相关性为例，产品人员整理分析Query后，给出的搜索效果总结表 相关性问题分类相关性问题分类定义定义分布比分布比例例满意度满意度评分评分非常满意5分搜索词是官网类搜索词,通常会有官方网站。如果是官网类搜索词，相关性需要评判为5分，意思就是满足了用户的需求，而且命中了官方网站19.6%满意4分1.满足了用户的部分需求2.搜索结果内容质量中等52.3%不满意2分1.搜索结果相关度较低2.搜索结果的内容品质很差24.7%不能接受0分1.搜索结果完全不相关2.搜寻结果虽有符合的搜索词出现，但是上下文完全无关，对网友一点用处也没有，可评断为Bad 3.4%效果
11、评价方法效果评价方法附：开发对应的问题分类与总结 问题分类问题分类具体具体Case分布比例分布比例内部数据填充有问题王国强0.6%抓取or索引问题齐齐哈尔师范高等专科学校今年录取怎样白居易在怎样的情况下写出忆江南保定贴吧8.5%分词，垃圾词包身工中为什么用蠕动代替起床山东造纸厂4.7%rank（需要考虑title的summary Rank）金世彬白塞氏病图片2.1%效果评价方法效果评价方法附：评测词的查询分布(1)总体（350个）完全随机抽取部分（324个）热门查询词词（125个）sogou热门查询（100个）百度热门（25个）长尾（199个）Sogou长尾（149个）Baidu长尾（50个）
12、S646017143433013B726223176392712G898133249483513s/(s+b)47%49%43%45%33%52%53%52%效果评价方法效果评价方法附：评测词的查询分布(2)总体（350个）完全随完全随机抽取机抽取部分部分（324个）个）热门查热门查询词询词（125个）个）sogou热门查询（100个）百度热门（25个）长尾（长尾（199个）个）Sogou长尾（149个）Baidu长尾（50个）s/S64/8460/8017/2514/223/343/5530/4213/13b/B72/9662/8523/3317/236/1039/5227/3812/14G
13、898133249483513s/(s+b)47.1%49.2%43.1%45.2%33.3%52.4%52.6%52.0%S/(S+B)46.6%48.5%43.1%48.8%23.1%51.4%52.5%48.1%s/S51/8448/7910/225/165/638/5728/46 10/11b/B43/7540/646/193/123/734/4526/348/11G63561156453411s/(s+b)54.2%54.5%62.5%62.5%62.5%52.8%51.9%55.6%S/(S+B)52.8%55.2%53.7%57.1%46.2%55.9%57.5%50%衍生产物衍
14、生产物搜索引擎搜索引擎擅长的查询类型擅长的查询类型百度百度1.用户意图明确的相关性匹配。搜索词：棒棒堂男孩图片 2.娱乐八卦类需求中，对于论坛、用户评论圈的深入挖掘。搜索词：江湖好汉来相助王朝马汉武则天3.热点词汇的理解与相关性。搜索词：重庆长江水运股份有限公司 谷歌谷歌1.模糊类的搜索匹配。搜索词：河莉秀 黄头发（记错了片名）2.长词的拆解与正确理解（尤其存在一定歧义时）。搜索词：美国IE组织 3.特殊类别的分词正确性。搜索词：电视剧本草药王有几部 搜狗搜狗1.时效性较好 2.mp3试听类查询效果较好，搜索词：中华力量I_Believe3.日常资料信息类查询 衍生产物衍生产物元搜索是否可行？产品形态满足用户使用习惯 能对各家搜索引擎的不对称性有深入了解 对于结果数小于10 条的，直接拼接各家结果 对于结果中搜狗时效性高的页面加权出现 对于查询词长句，谷歌结果加权出现 对于在线类查询，搜狗结果加权出现后记后记搜索引擎和网上信息挖掘是工程与研究高度结合的产物，愿与学术界加强交流与合作，共同进步谢 谢
