1、Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua University张申张申 贾珈贾珈 王晓慧王晓慧 蔡莲红蔡莲红清华大学计算机系人机语音交互实验室清华大学计算机系人机语音交互实验室hcsi.cs.tsinghua.eduLab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Comput
2、er Science&Technology,Tsinghua Universityn 引言引言 情态语义与言语表达情态语义与言语表达n 情态语义描述方法情态语义描述方法 语义特征分析语义特征分析 维度评价维度评价n 词汇情态语义分析与标注词汇情态语义分析与标注 情态词汇语料库情态词汇语料库 词汇情态语义聚类词汇情态语义聚类n 小结与展望小结与展望 人机语音交互中的情态表达人机语音交互中的情态表达Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science
3、&Technology,Tsinghua University1情态语义与言语表达Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua University雷雨雷雨剧本（节选）剧本（节选）情态描述词情态描述词姑甲姑甲（和蔼地）请进来吧。（和蔼地）请进来吧。和蔼和蔼老人老人（关心地）她现在还好么？（关心地）她现在还好么？关心关心姑甲姑甲（怜悯地）那（怜悯地）那还是那样。还是那样。怜悯怜悯老人老人（沉静地）我想
4、也是不容易治的。（沉静地）我想也是不容易治的。沉静沉静姑甲姑甲（矜怜地）您先坐一坐，暖和一下，再看她吧。（矜怜地）您先坐一坐，暖和一下，再看她吧。矜怜矜怜n 言语交流言语交流 语义表达+情态表达Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn“说话人对句子所表达命题说话人对句子所表达命题(proposition)或命题所描写的情境或命题所描写的情境(situation)的的观点观
5、点(opinion)或态度或态度(attitude)”。(Lyons,1977)n“说话人对句子表示的命题的真值或事件的现实性状态表达的说话人对句子表示的命题的真值或事件的现实性状态表达的主观态主观态度度”。(彭利贞,2019)n“说话人的主观态度与观点在语法上的表现说话人的主观态度与观点在语法上的表现”(Palmer,1986)“句子的语句子的语义的限制成分义的限制成分”(Quirk,1985)“语言表达的一种语义类型语言表达的一种语义类型”(Bybee,2019)n“指句子的时态、语态等，代表与说话者有关的主观信息指句子的时态、语态等，代表与说话者有关的主观信息(包括包括信念、信念、观点、
6、情绪、态度、观察角度、意图等观点、情绪、态度、观察角度、意图等)”(尹一瓴,2019)Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 情态辅助语义表达情态辅助语义表达 情态是一个语义范畴 命题+情态=语义(Fillmore,1968)n 语义中蕴含的情态信息语义中蕴含的情态信息 心理活动、态度意图、行为能愿、感知评价n 情态的表达方式情态的表达方式 语言表达：情态词汇、短语从句
7、、句式句型、语气韵律 非语言表达：语音语调、表情动作、身体姿态Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 智能人机口语对话智能人机口语对话 准确理解用户的自然语言，给出正确的回答 通过多模态手段表达言语的情态成分，从而贴切地传递语义信息n 关键问题关键问题 如何描述语义中的情态成分？如何量化情态语义特征？如何实现情态语义的表达？Lab of Human Computer S
8、peech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua University2情态语义描述Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 语义特征语义特征(semantic feature)本质：义位构成成分,反映了人脑对义位的认知理解
9、目的：通过分解义位，对语义进行理解和分类n 情态语义特征情态语义特征 传统分类：感情色彩、语体风格 情态子系统：情感、意志、评价（俞永梅,2019）Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 认知心理学认知心理学 情态是典型的认知机制 关注于情态在言语沟通中的认知属性n 维度感知评价维度感知评价 范畴观：独立的范畴类别 维度观：基本维度和两极性 情感计算：维度模型（P-A-
10、D）Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 语义特征语义特征 面向语义的聚合分类 描述语义的共性和差异n 维度属性维度属性 面向情态理解和表达 描述情态的认知属性n 存在的问题存在的问题 相同的语义范畴可能包含不同的情态属性（褒贬、正负）不同的语义范畴可能包含相同的情态属性（确信、激活）面向自然语言理解、人机口语对话等应用，如何对情态进行有效地描述、量化乃至建立计算模型
11、？Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 开放的情态语义维度集合开放的情态语义维度集合情绪感知情绪感知态度意图态度意图认知判断认知判断行为能愿行为能愿心理活动心理活动Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&T
12、echnology,Tsinghua University3汉语情态词汇标注及分析Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 同义词词林同义词词林现代汉语语义分类词典现代汉语语义分类词典 基于概念分类，建立自上而下的语义分类体系n 知网知网 描述概念之间的关系，以及概念的属性之间的关系“情感分析用词语集”（正负情感/评价、主张、程度）n 北大北大CCL 现代汉语语义词典现代
13、汉语语义词典 描述词语参与语言活动时表现出来的分布共性和分布差异 基于“分类+属性描述”的方式建立语义分类树Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 面向语义分类面向语义分类 语义分类为主，属性描述为辅 分类树语义网（语义空间？）n 语义特征有限语义特征有限 侧重实体语义，较少关注情态语义 多采用二元偶分对立，较少采用连续量化建立面向情态语义表达的情态词汇库，采用维度描述
14、的方法建立情态语义空间，实现对情态语义的量化描述和计算表达。Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 情态词汇选择情态词汇选择 心理形容词+心理动词+情态副词 468个情态词语,15个大类,46个同义组 双字词 96.8%，单字词 3.2%n 语料库语料库 义项释义+义项用例+同义组Lab of Human Computer Speech Interaction,Key
15、Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 在线语义维度标注系统在线语义维度标注系统*多用户在多语义维度上的标注结果n 五点语义描述量表五点语义描述量表 极端负性、典型负性、中性、典型正性、极端正性*系统演示:dict9.org 或 hcsi.cs.tsinghua.edu/Demo/SemDict/Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment
16、of Computer Science&Technology,Tsinghua University词语义项释义义项用例标注维度已有标注结果均值标注量度及说明Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 5名大学生，名大学生，468个情态词汇，个情态词汇，1,464人次标注，人次标注，3.13人次人次/词词n 维度标注频度统计维度标注频度统计 愉悦度、激活度标注最为频繁n 标
17、注区间统计标注区间统计 词汇选择相对均衡，非极端语义词较多Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 语义维度标注频度统计语义维度标注频度统计 不同的语义子类对应了不同的维度子空间*表中数据为同义词组中采用该维度进行标注的词汇比例(30%)Lab of Human Computer Speech Interaction,Key Lab of Pervasive Comput
18、ingDepartment of Computer Science&Technology,Tsinghua Universityn 实验目的实验目的 语义维度能否作为情态语义的量化指标？语义维度能否反映词汇间的语义关联和差异？n 实验数据实验数据 情态词汇语义向量：W=w1,w2,w7t 距离度量：语义向量的余弦角度 选取词汇数目最多7个语义子类，共计135个词语n 实验过程实验过程 K-means聚类:K=7（多次实验，取平均性能居中的结果）聚类正确率：原始子类（Cj）在聚类类别（Ki）中所占的比例Lab of Human Computer Speech Interaction,Key La
19、b of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 平均聚类正确率平均聚类正确率 74.1%与传统的同义组划分具有较好一致性n 聚类性能较好的子类聚类性能较好的子类 悲伤、着急、欢乐n 存在混淆的子类存在混淆的子类 安定(愉悦、确信)畅快(欢乐、痛快)判断(奇怪、确信)Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Te
20、chnology,Tsinghua University4小结与展望Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 人机交互中的情态表达人机交互中的情态表达 智能化：准确理解和表达语义信息 人性化：言语动作自然生动n 语义脸像语义脸像（Semantic Face）能够辅助说话人表达情态语义信息的脸像动作 言语文本情态语义维度参数脸像动作参数“对语言的情态义研究很不够，对人们理解
21、语义和语言翻译，特别是对人机对话来讲是一个障碍”(俞永梅,2019)Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua Universityn 虚拟说话人的情态表达虚拟说话人的情态表达标注文本“疲惫疲惫的一天，还要等40分钟的公车回家”愉悦度=-1激活度=-1关注度=-1Lab of Human Computer Speech Interaction,Key Lab of Pervasive Comput
22、ingDepartment of Computer Science&Technology,Tsinghua Universityn 面向说话人言语情态的表达，对汉语词汇情态语义进行分析和面向说话人言语情态的表达，对汉语词汇情态语义进行分析和标注。标注。n 提出开放的语义维度集合，对情态属性进行量化描述。提出开放的语义维度集合，对情态属性进行量化描述。n 在小规模情态词汇集上，完成情态维度标注实验。在小规模情态词汇集上，完成情态维度标注实验。n 基于语义维度标注，采用基于语义维度标注，采用K-均值算法对情态词汇进行聚类，验均值算法对情态词汇进行聚类，验证了语义维度作为证了语义维度作为“情态语义情态语义”距离度量的有效性。距离度量的有效性。n 进一步建立情态语义空间，实现情态语义的量化计算。进一步建立情态语义空间，实现情态语义的量化计算。Lab of Human Computer Speech Interaction,Key Lab of Pervasive ComputingDepartment of Computer Science&Technology,Tsinghua University敬请批评指正谢谢！
