1、中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价导师：导师：X X教授，教授，X X教授教授硕士毕业生：硕士毕业生：X X20192019年年5 5月月硕士学位论文答辩硕士学位论文答辩1谢谢欣赏2019-7-13中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价 引言引言 相关工作与工作基础相关工作与工作基础 网页褒贬态度评价模块网页褒贬态度评价模块 实验结果及展望实验结果及展望2谢谢欣赏2019-7-13引言引言 天网知名度系统天网知名度系统 网页观察机器评价视角下看中文网页类网页观察机器评价视角下看中文网页类型型 项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价 本实验的
2、研究内容及意义本实验的研究内容及意义 3谢谢欣赏2019-7-13天网知名度系统天网知名度系统 基础：天网搜索引擎，计算语言学技术基础：天网搜索引擎，计算语言学技术 定位：用户定制查询，个性化网络检索服定位：用户定制查询，个性化网络检索服务务 数据：数据：75万中文网页，近万中文网页，近300个名人实体个名人实体4谢谢欣赏2019-7-13注册实体信息库注册实体信息库所在的领域所在的领域政府，科教，文学，业界，媒体，歌星，音乐，影政府，科教，文学，业界，媒体，歌星，音乐，影视，体育，艺术（共视，体育，艺术（共10类）类）名字名字包括别名、笔名、艺名等潜在可能代表实体的名字包括别名、笔名、艺名等
3、潜在可能代表实体的名字所在工作单位所在工作单位例如，北京大学例如，北京大学职业描述职业描述例如，主席、书记、教授、记者、演员例如，主席、书记、教授、记者、演员兼职单位兼职单位可以有多个可以有多个社会形象社会形象例如，国学大师，环保大使例如，国学大师，环保大使特征词特征词用户关心的特征描述用户关心的特征描述代表作代表作著作名、作品名、产品名等著作名、作品名、产品名等5谢谢欣赏2019-7-13引言引言 天网知名度系统天网知名度系统 网页观察机器评价视角下看中文网页类网页观察机器评价视角下看中文网页类型型 项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价 本实验的研究内容及意义本实验的
4、研究内容及意义 6谢谢欣赏2019-7-13网页观察机器评价视角下网页观察机器评价视角下看中文网页类型看中文网页类型 强文字相关的信息类网页强文字相关的信息类网页例如：个人简历型网页例如：个人简历型网页 弱文字相关的事件或事物展开型网页弱文字相关的事件或事物展开型网页例如：事件报道，节目单例如：事件报道，节目单7谢谢欣赏2019-7-13引言引言 天网知名度系统天网知名度系统 网页观察机器评价视角下看中文网页类网页观察机器评价视角下看中文网页类型型 项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价 本实验的研究内容及意义本实验的研究内容及意义 8谢谢欣赏2019-7-13项目延伸网
5、页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价 网页是传递信息的。网页是传递信息的。从效果上看，人们通过构建网页来传递信从效果上看，人们通过构建网页来传递信息，也可以进而表达态度和传递情感息，也可以进而表达态度和传递情感即，网页所包涵的褒贬态度信息。即，网页所包涵的褒贬态度信息。9谢谢欣赏2019-7-13网页褒贬评价关系分析图网页褒贬评价关系分析图 网页机器读者语言实体语言实体语言实体构造认知评价解析评价认知认知评价解读网页内容作者10谢谢欣赏2019-7-13引言引言 天网知名度系统天网知名度系统 网页观察机器评价视角下看中文网页类网页观察机器评价视角下看中文网页类型型 项目延伸网页褒
6、贬态度的机器评价项目延伸网页褒贬态度的机器评价 本实验的研究内容及意义本实验的研究内容及意义 11谢谢欣赏2019-7-13本实验的研究内容及意义本实验的研究内容及意义项目延续项目延续 符合天网知名度系统个性化网络服务的立意符合天网知名度系统个性化网络服务的立意 可以利用已有的数据基础和实验平台可以利用已有的数据基础和实验平台 此项实验具有研究和实验展开的可延续性此项实验具有研究和实验展开的可延续性12谢谢欣赏2019-7-13本实验的研究内容及意义本实验的研究内容及意义语言基础语言基础 网络是重要的信息传播媒介。网络是重要的信息传播媒介。现实网页中的褒贬态度表达往往含有明确现实网页中的褒贬态
7、度表达往往含有明确的目标、动机和效果期望，因此构造者会的目标、动机和效果期望，因此构造者会很重视语言知识这个交流手段。很重视语言知识这个交流手段。网页中的褒贬态度表达也就是一个典型的网页中的褒贬态度表达也就是一个典型的修辞行为，所以实验可以充分利用修辞学修辞行为，所以实验可以充分利用修辞学的理论成果，具有理论指导基础。的理论成果，具有理论指导基础。13谢谢欣赏2019-7-13本实验的研究内容及意义本实验的研究内容及意义创新价值创新价值 从语言学角度看，修辞涉及语言的附加意从语言学角度看，修辞涉及语言的附加意义，这区别于概念意义。因而此项实验具义，这区别于概念意义。因而此项实验具有丰富创新性研
8、究价值。有丰富创新性研究价值。14谢谢欣赏2019-7-13中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价 引言引言 相关工作与工作基础相关工作与工作基础 网页褒贬态度评价模块网页褒贬态度评价模块 实验结果及展望实验结果及展望15谢谢欣赏2019-7-13相关工作与工作基础相关工作与工作基础 语言手段语言手段 评价规范及标准评价规范及标准 资源准备资源准备 系统基础系统基础16谢谢欣赏2019-7-13实验考察实验考察实验考察实验考察语言手段语言手段词语手段词语手段句式手段句式手段修辞手段修辞手段评价规范及标准评价规范及标准17谢谢欣赏2019-7-13实验考察与实验资源的对应分布实验考
9、察与实验资源的对应分布 实验考察实验考察实验相关实验相关词词褒义词褒义词基础褒贬义词典基础褒贬义词典贬义词贬义词短语短语固定短语固定短语不固定短语不固定短语褒贬评价结构模板褒贬评价结构模板句式句式陈述句陈述句感叹句感叹句辞格辞格比喻等意义辞格比喻等意义辞格词典部分覆盖评价词典部分覆盖评价排比等形式辞格排比等形式辞格形式累计形式累计修辞标准和规修辞标准和规范范主观标准主观标准褒贬评价原则褒贬评价原则领域标准领域标准领域补充褒贬义词集领域补充褒贬义词集18谢谢欣赏2019-7-13相关工作与工作基础相关工作与工作基础 语言手段语言手段 评价规范及标准评价规范及标准 资源准备资源准备 系统基础系统基
10、础19谢谢欣赏2019-7-13资源准备资源准备 基础褒贬义词典基础褒贬义词典 典型网页文本搜集典型网页文本搜集 领域补充褒贬义词集领域补充褒贬义词集 褒贬评价模板搜集褒贬评价模板搜集 20谢谢欣赏2019-7-13基础褒贬义词典基础褒贬义词典 常用褒贬义词语详解词典常用褒贬义词语详解词典 静态褒义、贬义词语，包括双音词，成语，静态褒义、贬义词语，包括双音词，成语，惯用语，以及少数谦辞、敬辞。每个词条惯用语，以及少数谦辞、敬辞。每个词条包括三部分内容：褒贬色彩，词性，释义，包括三部分内容：褒贬色彩，词性，释义，例句等；提示，重叠形式，同义解析等；例句等；提示，重叠形式，同义解析等；近义，反义等
11、。近义，反义等。仅选取了每个条目中的两项信息，例如仅选取了每个条目中的两项信息，例如（诚挚（诚挚）和（草率）和（草率），生成了褒贬），生成了褒贬评价系统使用的褒贬义电子词典。评价系统使用的褒贬义电子词典。21谢谢欣赏2019-7-13典型网页文本搜集典型网页文本搜集季老先生一生勤勉，一生谦和，著作等身，桃李满门。季老先生一生勤勉，一生谦和，著作等身，桃李满门。她不像倪萍身材高挑、浓眉大眼，也不像周涛那样一副典型的中央台她不像倪萍身材高挑、浓眉大眼，也不像周涛那样一副典型的中央台“国国标标”播音员的风韵。播音员的风韵。李保田修养全面，热爱艺术，在表演上精益求精，是影视界优秀的表演艺李保田修养全面
12、，热爱艺术，在表演上精益求精，是影视界优秀的表演艺术家之一。术家之一。李晓华把握商机和适当冒险的精神的确有其过人之处。李晓华把握商机和适当冒险的精神的确有其过人之处。因此，孙楠的反抗不仅是肤浅的，而且是狭隘的。因此，孙楠的反抗不仅是肤浅的，而且是狭隘的。曹颖从外表上看更显单薄、弱小。她不像倪萍身材高挑、浓眉大眼，也不曹颖从外表上看更显单薄、弱小。她不像倪萍身材高挑、浓眉大眼，也不像周涛那样一副典型的中央台像周涛那样一副典型的中央台“国标国标”播音员的风韵。播音员的风韵。周涛虽然很红，可她太四平八稳，真诚，质朴有余，而灵动，幽默不够。周涛虽然很红，可她太四平八稳，真诚，质朴有余，而灵动，幽默不够
13、。我喜欢施翌，她清新自然，毫不做作，宛如一位邻家学姐在带着露珠的清我喜欢施翌，她清新自然，毫不做作，宛如一位邻家学姐在带着露珠的清晨为你讲述一切美好的东西，让你一整天都感受到温暖和喜悦。晨为你讲述一切美好的东西，让你一整天都感受到温暖和喜悦。第二声感叹便是杨晨了，他带伤上场并奋勇顶进反超的关键一球，职业球第二声感叹便是杨晨了，他带伤上场并奋勇顶进反超的关键一球，职业球员的风采夺目照人。员的风采夺目照人。米色职业装，极富亲和力的熟悉的微笑，标志性的招手米色职业装，极富亲和力的熟悉的微笑，标志性的招手王小丫来了。王小丫来了。而似乎侧重防守的马儿在防守时也未尽心。而似乎侧重防守的马儿在防守时也未尽心
14、。22谢谢欣赏2019-7-13典型网页文本示例典型网页文本示例赵宝刚点评当红明星2001年05月10日09:48:15北京晨报邱俪华王志文：过把瘾之后沉寂了一段时间。从他这两年出的两部戏可以看出，这段时间他没浪费，磨出了更深的功力。他是一定能成艺术家的那类人。江珊：过把瘾之后有五年都没接到好角色，她是个很适合演普通百姓的演员，不能太“贵族”了，那样看着不像她，观众也接受不了。陆毅：千万别“吃”形象，形象早晚会“吃完”，到时就得靠功力了。如果他能不断演些富有挑战性的角色而不是重复过去，将来走到哪里都不怕。周迅：形象也好，气质也好，她是我非常欣赏的那类演员。她在像雾像雨又像风里演的杜心雨，这个人
15、物在文学上很不成功，对演员来说简直没法演，可周迅就能让她“站”起来。徐静蕾：她的文化修养在同龄的女演员里特别突出，这给她的表演打了很好的底子。可有文化的不一定成得了好演员，而好演员可以没文化。出于性格的原因，她表演起来很冷静，不会太投入。再磨一段时间，相信到了火候她就能提高。陈宝国：他是“老来瘦”，虽说添了“褶子”，可身梁还在，他是能演一辈子戏的人，看看大宅门就知道。葛优：在我的编辑部的故事之后也沉寂了一段时间，后来演了活着，又演了冯小刚的几部贺岁剧，又火了。他是个可塑性很强的演员，虽说外形让人觉得是“演配角的命”，可别让他逮着机会，逮着了就能火。23谢谢欣赏2019-7-13领域补充褒贬义词
16、集样例领域补充褒贬义词集样例词语词语褒贬含义褒贬含义出现领域出现领域修饰内容修饰内容著作等身，桃李满门，创新著作等身，桃李满门，创新科教科教科教专家科教专家悠远、磁性、高亢悠远、磁性、高亢音乐音乐嗓音嗓音尽心、团结尽心、团结运动运动足球运动员足球运动员出口成章、机敏、灵出口成章、机敏、灵媒体媒体主持人风格主持人风格四平八稳四平八稳媒体媒体主持人风格主持人风格入木三分、活生生入木三分、活生生影视影视演员演技演员演技俊秀、俊逸、活力俊秀、俊逸、活力影视影视演员外形演员外形感染力、理智、沉稳感染力、理智、沉稳媒体媒体主持人风格主持人风格最佳、绝佳、一流、不俗最佳、绝佳、一流、不俗影视影视演员演技演员
17、演技楚楚动人、温婉楚楚动人、温婉媒体媒体主持人外形主持人外形24谢谢欣赏2019-7-13褒贬评价模板搜集样例褒贬评价模板搜集样例a的的entity楚楚动人的小丫楚楚动人的小丫 Entityna 这姑娘脑袋灵这姑娘脑袋灵 n的丧失的丧失 诚信的丧失诚信的丧失 不不a 不心浮气燥不心浮气燥不乏不乏n 不乏可圈可点之处不乏可圈可点之处 未未a 而似乎侧重防守的马儿在防守时也而似乎侧重防守的马儿在防守时也未尽心未尽心 n不够不够 灵活性不够灵活性不够 极富极富n 极富亲和力的熟悉的微笑极富亲和力的熟悉的微笑 勇于勇于v 勇于开拓前进勇于开拓前进 Nentity 美女曹颖美女曹颖 25谢谢欣赏2019
18、-7-13相关工作与工作基础相关工作与工作基础 语言手段语言手段 评价规范及标准评价规范及标准 资源准备资源准备 系统基础系统基础26谢谢欣赏2019-7-13天网知名度系统天网知名度系统27谢谢欣赏2019-7-13天网知名度系统模块天网知名度系统模块浏览浏览用户界面模块用户界面模块 用户注册用户注册用户检索用户检索指定文本内容的评价指定文本内容的评价主动推送服务主动推送服务网页分析与索引模块网页分析与索引模块用户信息维护模块用户信息维护模块网页相关度评价模块网页相关度评价模块28谢谢欣赏2019-7-13中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价 引言引言 相关工作与工作基础相关
19、工作与工作基础 网页褒贬态度评价模块网页褒贬态度评价模块 实验结果及展望实验结果及展望29谢谢欣赏2019-7-13网页褒贬态度评价模块网页褒贬态度评价模块数据需求数据需求 设计思想设计思想 模块设计模块设计 30谢谢欣赏2019-7-13数据需求数据需求网页网页URL地址地址网页长度网页长度(按词计按词计)网页词串网页词串词的词性标注串词的词性标注串词的词的HTML标记串标记串网页中人名列表网页中人名列表网页中职务列表网页中职务列表网页中企业或机构名列表网页中企业或机构名列表网页中人名网页中人名单位关系列表单位关系列表网页中人名网页中人名职务关系列表职务关系列表网页表示库网页表示库31谢谢欣
20、赏2019-7-13数据需求数据需求所在的领域所在的领域共计共计10类，政府，科教，文学，业界，媒体，歌星，音类，政府，科教，文学，业界，媒体，歌星，音乐，影视，体育，艺术乐，影视，体育，艺术名字名字包括别名、笔名、艺名等潜在可能代表实体的名字包括别名、笔名、艺名等潜在可能代表实体的名字所在工作单位所在工作单位例如，北京大学例如，北京大学职业描述职业描述例如，主席、书记、教授、记者、演员例如，主席、书记、教授、记者、演员兼职单位兼职单位可以有多个可以有多个社会形象社会形象例如，国学大师，环保大使例如，国学大师，环保大使特征词特征词用户关心的特征描述用户关心的特征描述代表作代表作著作名、作品名、
21、产品名等著作名、作品名、产品名等实体信息库实体信息库32谢谢欣赏2019-7-13设计思想设计思想 语言手段是基础语言手段是基础 话题的实体有关性话题的实体有关性 针对领域标准的褒贬评价针对领域标准的褒贬评价 33谢谢欣赏2019-7-13获得当前网页的全部人名、词串、词性标注串取下一个人名成功取下一个候选实体跳至该实体出现的第一句的句首针对当前实体所属领域处理，扫描后面的褒贬评价，跳过任何其他实体的相关评价，得分输出至得分向量，各具体评价单位也加入到系统中该实体的评价记录中成功输出当前网页的全部实体的褒贬评价得分出现新实体名跳至该实体出现的下一个位置获得此人名相关的全部注册实体，加入该网页的
22、实体向量，并生成对应实体的得分向量不成功成功是否注：网页褒贬评价流程图注：网页褒贬评价流程图34谢谢欣赏2019-7-13褒贬结构要素褒贬结构要素模板模板褒褒中中0贬贬指标指标*未登未登录录A（不（不）（不）（不 是是）（少）（少 了了）（没）（没 了了）（未能（未能）（未）（未）（没）（没 能能）（没有）（没有）（决不（决不）10010B（丧失（丧失）（缺乏）（缺乏）1011C（富有（富有）（善于）（善于）（富于）（富于）（富）（富）（极富（极富）21211D（不乏（不乏）（具备）（具备）（具有）（具有）（有）（有）10110E（的（的 缺失缺失）（的）（的 丧失丧失）（不够）（不够）111
23、1AAF（不（不 是是 不不）（没有）（没有 不不）00000ACG（不（不 善于善于）（不）（不 富于富于）11110ADH（不（不 具备具备）（不）（不 具有具有）1001035谢谢欣赏2019-7-13褒贬结构识别模板表达式褒贬结构识别模板表达式 UAP UBP UCP UDP UAAPFP UACPGP UADPHP UP UPE C“和和”|“与与”|“，”|“、”|“且且”P=WCW236谢谢欣赏2019-7-13关键结构关键结构P p结构是褒贬结构的基本组成部分结构是褒贬结构的基本组成部分 识别策略是：使得由链接词语链接在一起的词序识别策略是：使得由链接词语链接在一起的词序列中不
24、允许出现褒贬互逆，同时需要满足，仅当列中不允许出现褒贬互逆，同时需要满足，仅当词语本身具有褒贬含义，或者词语本身具有褒贬含义，或者W本身不在褒贬词本身不在褒贬词典中但该序列中其他词语有褒贬含义，此时才形典中但该序列中其他词语有褒贬含义，此时才形成合法的成合法的P，同时把未在褒贬词典中出现但出现，同时把未在褒贬词典中出现但出现在结构中的这个词语抽取出来，并依照此序列中在结构中的这个词语抽取出来，并依照此序列中的已有褒贬含义按照一致性原则猜测，把这个未的已有褒贬含义按照一致性原则猜测，把这个未登录词语纪录为未证褒贬词语。登录词语纪录为未证褒贬词语。注：考虑到褒贬评价的领域性，这里的未证褒贬注：考虑
25、到褒贬评价的领域性，这里的未证褒贬词语也是根据领域来分别记录的。词语也是根据领域来分别记录的。37谢谢欣赏2019-7-13中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价 引言引言 相关工作与工作基础相关工作与工作基础 网页褒贬态度评价模块网页褒贬态度评价模块 实验结果及展望实验结果及展望38谢谢欣赏2019-7-13实验结果及展望实验结果及展望 成批网页褒贬评价结果浏览成批网页褒贬评价结果浏览 指定内容褒贬评价浏览指定内容褒贬评价浏览39谢谢欣赏2019-7-13结果浏览示例实体结果浏览示例实体实体编号实体编号实体姓名实体姓名实体领域实体领域所属用户所属用户21吴仪吴仪政府政府hi10
26、72王玮王玮业界业界hi3573俞士汶俞士汶科教科教hi3685白春礼白春礼科教科教hi42117吴伯萧吴伯萧文学文学hi58118王安忆王安忆文学文学hi58123曹颖曹颖媒体媒体hi6140谢谢欣赏2019-7-13结果浏览示例实体结果浏览示例实体实体编号实体编号实体姓名实体姓名实体领域实体领域所属用户所属用户158周涛周涛媒体媒体hi78162施翌施翌业界业界hi80173韩乔生韩乔生媒体媒体hi86177孙楠孙楠音乐音乐hi88221李保田李保田影视影视hi110224徐静蕾徐静蕾影视影视hi112243马明宇马明宇体育体育hi12141谢谢欣赏2019-7-13改进方向改进方向 更精
27、细的褒贬评价模板（内容、层次）更精细的褒贬评价模板（内容、层次）转折结构及褒贬权重转折结构及褒贬权重 更精确的褒贬冲突控制更精确的褒贬冲突控制 褒贬评价的程度考虑褒贬评价的程度考虑 更精细的褒贬义词典构造更精细的褒贬义词典构造 42谢谢欣赏2019-7-13实验评价实验评价 修辞是有意识的行为，褒贬是有指向目标的态度，修辞是有意识的行为，褒贬是有指向目标的态度，网络是当代生活的重要传媒手段。网络是当代生活的重要传媒手段。天网知名度系统立足发展个性化网络服务，因此天网知名度系统立足发展个性化网络服务，因此其系统基础和系统数据资源恰好为褒贬态度的机其系统基础和系统数据资源恰好为褒贬态度的机器评价提
28、供了合适的实验和检验平台。器评价提供了合适的实验和检验平台。为合适的应用选择合适的处理方法，为合适的技为合适的应用选择合适的处理方法，为合适的技术发现合适的应用领域，这种研究策略，在交叉术发现合适的应用领域，这种研究策略，在交叉领域是有效，更是饶有趣味的。领域是有效，更是饶有趣味的。43谢谢欣赏2019-7-13参考文献与资料参考文献与资料 文献文献1【英英】杰弗里杰弗里N利奇利奇语义学语义学上海外语教育出版社上海外语教育出版社2 史有为主编史有为主编从语义信息到类型比较从语义信息到类型比较北京语言文化大学出版社北京语言文化大学出版社3 陈汝东陈汝东对外汉语修辞学对外汉语修辞学广西教育出版社广
29、西教育出版社4 陈汝东陈汝东认知修辞学认知修辞学广东教育出版社广东教育出版社5 王逢鑫王逢鑫英汉比较语义学英汉比较语义学外文出版社外文出版社6 亚里斯多德亚里斯多德修辞学修辞学罗念生译，生活读书新知三连书店罗念生译，生活读书新知三连书店 1991年版年版7 张志公张志公 张志公语文教育论集张志公语文教育论集，人民教育出版社，人民教育出版社 1994年版年版资料资料1孙斌孙斌 中文信息提取系统设计与若干相关基础问题的研究中文信息提取系统设计与若干相关基础问题的研究 北京大学博北京大学博士后研究工作报告士后研究工作报告 2002.52孙斌孙斌 天网知名度项目汇报天网知名度项目汇报 2002.11 3昝红英昝红英 天网知名度项目汇报系统结题报告天网知名度项目汇报系统结题报告 2003.12 44谢谢欣赏2019-7-1345谢谢欣赏2019-7-13致谢致谢！46谢谢欣赏2019-7-1347谢谢欣赏2019-7-13
