第八章-自然语言处理PPT课件.ppt

1、1第八章 自然语言处理概述2012年10月15日2概况一点击此处输入相关文本内容点击此处输入相关文本内容整体概述概况三点击此处输入相关文本内容点击此处输入相关文本内容概况二点击此处输入相关文本内容点击此处输入相关文本内容3语言的习得之谜当今的语言学界都承认这样一个基本事实：“任何一位四、五岁的儿童都能无师自通地很好掌握包含数不清语法规则变化的本民族口头语言”（只是对于“儿童为何只用几年时间就能无师自通掌握本民族口头语言”这样一个问题，目前语言学界还有各种不同的说法和争论）。4 古埃及关于语言起源的故事 希腊史学家希罗多图斯的载有一段埃及的故事: 古埃及的一位国王曾为探究人类最初的语言词汇到底是

2、什么而采取出人意料的办法。有一次，一个孩子降生，他就下令让一个牧人把孩子放到荒郊野外，命令他不许和孩子说任何话，还要一边放羊，一边照顾这个孩子，等这个孩子说第一个词时马上来报告。一年多以后，孩子说出第一个词汇bekos。国王立即召集学者研究这个词的出处，后来发现是弗吉里亚语中面包的意思，国王就认为人类最早开始说的词就是面包。一次科学实验 5巴别塔 n据圣经创世记第11章记载，是当时人类联合起来兴建，希望能通往天堂的高塔。为了阻止人类的计划，上帝让人类说不同的语言，使人类相互之间不能沟通，计划因此失败，人类自此各散东西。 6内容提纲8.1 自然语言处理概述8.2 自然语言处理的基本技术8.3 自

3、然语言处理技术路线8.4 实例与系统演示78.1自然语言处理概述n基本语言学知识n自然语言处理概念n自然语言理解n研究目标n研究内容nNLPNLP应用n发展历史8自然语言的概念n什么是自然语言n语言是人类交际的工具，是人类思维的载体n人造语言：编程语言，包括C+, BASIC等 世界语n自然语言：n形式：口语、书面语、手语n语种：汉语、英语、日语、法语n语言学是研究语言规律的科学9网络语言“昨晚，我的JJ带着他的青蛙BF到我家来吃饭。在饭桌上，JJ的BF一个劲儿地对我妈妈PMP，说她年轻的时候一定是个漂亮MM，那酱紫真是好BT，7456” JJ : 姐姐 酱紫：这样子 BF : boy fri

4、end青蛙：长相不好的男朋友 PMP:拍马屁MM：妹妹BT：变态7456：气死我了10语言词汇语法词熟语词法句法词素构形法构词法词组构造法造句法语言词汇语法词熟语词法词素句法构形法构词法词组构造法语言词汇语法词熟语词法词素造句法句法构形法构词法词组构造法语言词汇语法词熟语词法词素语言的构成11自然语言处理的层次n语音分析：从语音流中区分出一个一个声音单元-音素n词法分析：从句子中切分出单词、找出词汇的各个词素，确定单词的词性、词义等。n句法分析：对句子和短语的结构进行分析，找出词、短语等的相互关系及在句子中的作用等。n语义分析：识别一句话所表达的实际意义。n语用分析：研究语言所在的外界环境对语

5、言使用所产生的影响。12语义与语用n同一词语在不同的“语境”中具有不同“语义”n例如：中国奥运史上十大女杰的精彩“转身” n病毒 n计算机领域：计算机病毒n医学领域：生物学病毒13自然语言处理的概念n自然语言处理（ Natural Language Processing,NLP ）n也称自然语言理解或计算语言学；n主要研究如何让机器进行自然语言信息处理，即人类语言活动中，信息成分的发现、提取、存储、加工与传输。nNLP是计算机科学、语言学、人工智能与数学等学科的交叉学科和边缘学科。n计算语言学是从计算角度处理语言n将人们对语言的结构规律的认识用精确的、形式化的、可计算的方式（计算模型）加以表示

6、。14中文信息处理n中文信息处理的研究内容是利用计算机对汉语的音、形、义等语言文字信息进行的加工和操作，包括：对字、词、短语、句、篇章的输入、输出、识别、转换、压缩、存储、检索、分析、理解和生成等各方面的处理技术。15自然语言理解的困难n自然语言具有多样性（不同语种、不同地域、不同人群）n自然语言具有进化性n自然语言的模糊性n自然语言的歧义性 处理歧义问题是NLP的核心问题。自然语言处理过程就是各种歧义现象的消解过程。1617机器能够理解人的语言吗？n很难！n什么是理解？n结构主义：机器的理解机制与人相同（白盒）n问题：人类语言理解机理尚未清楚n功能主义：机器的表现与人相同即可（黑盒）n图灵测

7、试n如果通过自然语言的问答，一个人无法识别和他对话的是人还是机器，那么就应该承认机器具有智能18n给计算机输入一段自然语言文本，如果计算机能n问答(question-answering)(question-answering)机器能正确地回答输入 文本中的有关问题；n文摘生成(summarizing)(summarizing)机器有能力产生输入文本 的摘要；n复述(paraphrase)(paraphrase)机器用不同的词语和语句复述输入文本；n翻译(translation)(translation)机器把一种语言( (源语言) )翻译为 另一种语言( (目标语言) )理解自然语言的准则19

8、自然语言处理的研究目标 n弱人工智能目标：建立一个足够精确的语言数学模型使计算机通过编程来完成自然语言的相关任务。如：听、读、写、说，释义，翻译，回答问题等；n强人工智能目标：让用户能通过自然语言与计算机自由对话；20NLP研究内容应用系统数字图书馆、电子商务、电子政务、远程教育、语言学习基础研究分词、词性标注、短语切分、句法分析、语义分析、篇章理解等应用技术研究自动问答、机器翻译、信息检索、文本挖掘、自动校对、信息抽取资源建设语料库资源建设语言学知识库建设语言学家NLP研究者软件企业21NLP 的应用nNLP应用前景n据统计，日常工作中80%的信息来源于语言，处理文本的需求在不断增长n文本是

9、人类知识最大的存储源，并且文本的数量在不停地增长n电子邮件、新闻、网页、科技论文、 用户抱怨信nNLP典型应用n智能搜索引擎、自动问答、信息获取、语义网n语音识别，文字识别、输入法n机器翻译，自动文摘，跨语言检索n文本分类、文本聚类、文本分析（结构、内容、情感）、文本挖掘（主题跟踪：人物跟踪，企业跟踪)、文本过滤222013年973重点支持方向n互联网环境中文信息处理与深度计算的基本理论与方法n研究互联网规模中文深度计算的理论与模型，包括中文信息表示理论与模型、句子与篇章的结构分析和语义理解等方法；n研究言语多通道感知机理，包括多言语识别、翻译、合成与融合、开放式多类型语言知识大规模获取与组织

10、等方法；n研究中文信息所承载中国文化元素的获取、传承和呈现等方法；n构建大规模中文文本语义体系和语料库，开发相应软件系统原型。23文本校对正确的用法错误的用法正确的用法错误的用法执著 执着其他其它思维 思惟想像想象唯一惟一好像好象唯心惟心侍者恃者 伺者磨炼磨练承事承侍历事练心历事炼心降伏降服做主作主调伏调服 做一位智者作一位智者噩梦恶梦叫做叫作摄受摄授24NLP 应用趋势n智能接口n功能：n把现实世界中的信息送入电子世界n主要成果n拼音输入、手写输入、语音合成、语音输入，手机输入n知识处理n功能：n对于已进入电子世界中的信息进行加工处理获得知识n知识经济的时代已经到来！n知识就是力量知识就是财

11、富n百度爱问、百度文库、新浪爱问、VC知识库25NLP的历史n20世纪50年代起步n机器翻译、自动文摘n50-60年代采用模式匹配的方法n60年代衰落n70-80年代采用面向受限域的深入理解的方法n90年代至今统计方法占主流n随着互联网的发展而复苏n互联网为NLP提供了市场需求和试验数据n统计语言模型和机器学习方法推动了NLP近来的主要发展：主要集中于海量网络信息的处理268.2 NLP的基本技术n词法分析n句法分析n语义分析27词法分析n词法分析目的是从句子中切分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的词性n词性 : 名词、动词、形容词、介词等n词的构成 : 动宾,

12、动补, 偏正, 主谓如: 开学, 生病, 加深, 认清, 原油, 火热, 头痛, 人造n自动分词: 汉语处理的难题之一n用程序从句子中切分出单词28自动分词n主要分词算法: : 1.1.基于词表的分词- -最大匹配 即“长词优先”原则，来进行分词2.2.基于统计的分词 n分词的难点n歧义字段处理n未登入词处理: : 人名识别, , 地名识别, , 译名识别, , 新词识别29分词歧义n例：南京市长江大桥 南京|市长|江大桥 南京市|长江|大桥 n例：我们研究所有东西n我们-研究所-有-东西 （交叉歧义）n我们-研究-所有-东西把手放在桌上n把-手-放在-桌上（组合歧义）n把手-放在-桌上30分

13、词的难点之一：未登录词n新词名词：斑竹、大虾、面瓜、菜鸟、美眉、陶吧、911、白骨精动词：打的、埋单、买单、给力形容词：酷、小资、爽n命名实体时间、地名、人名、组织机构名商标、公司名、电话号码、电子邮件地址等等n合成词，简称，派生词三个代表、十六大牛市、熊市微博31语法分析/句法分析S NP VP V NPPPMiss Smith put two books on this dining table.目的 : 分析句子结构, 找出词,短语在句中的相互关系以及各自的作用, 并用层次结构来加以表示32词义消歧n机器翻译中最难的问题之一是词义的二义性（歧义性）问题。n比如 Bush 一词可以是美国总

14、统的名字，也可以是灌木丛。n一个实用的方法是使用互信息。n互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性n首先从大量文本中找出和总统布什一起出现的互信息最大的一些词，比如总统、美国、国会、华盛顿等等，当然，再用同样的方法找出和灌木丛一起出现的互信息最大的词，比如土壤、植物、野生等等。有了这两组词，在翻译 Bush 时，看看上下文中哪类相关的词多就可以了。33理解一段文字所需的NLP基本技术n文本预处理：文本格式转换、HTML-TXT 转换、文件合并噪音信息过滤n句子切分：把段落切分成一个个句子n分词；把句子分成一个个单词n词性标注(P

15、art-of-Speech Tagging)：名词、动词、形容词等n句法分析：句子的句法结构n词义消歧(Word Sense Disambiguation)n语义关系分析；n指代消解(Anaphora Resolution)；n篇章理解；n自动摘要生成；348.2 NLP研究技术路线nNLP语言模型nNLP两大流派：理性主义和经验主义nNLP两大技术路线：统计学习方法与人工规则方法；35计算模型NLP语言模型36理性主义n语言学家N. Chomsky 认为人类生成合乎文法的语句的能力是生来具有的,为此他提出一种称为生成句法( Generative Grammar) 的理论；n通过一组有限的规则

16、作用于一个有限的词汇上,从而本能地生成无限的可接受的、合乎文法的句子n理性主义试图去描写人脑中的语言模型n分析模型：基于规则的方法；37人工规则方法处理系统规则x语言学语义学认知科学人工智能写规则自然语言输入处理结果38中医古文卷名篇名标注String str = bufReader.readLine(); while (str!= null ) /卷名标注 if (str.startsWith(卷 第) str = #+str;/篇名标注 if (str.startsWith(“篇第) str = *+str;printWriter.println(str); str = bufReader

17、.readLine(); 黄帝内经-素问39规则方法的优点n语言学规则是人智慧的结晶，具有很好的描述能力和生成能力；n能有效地处理句法分析中的长距离依存关系等困难问题；n能够处理句子中长距离的主语和谓语动词之间的一致关系；40规则方法的缺点n基于规则方法的语言模型一般比较脆弱、鲁棒性很差n语言是极其复杂的现象n人类总结的规则不完备、不一致，规则多了相互冲突，难以对抗复杂的语言现象n基于规则的方法难以机器自动学习需要语言学家等参与，劳动强度大，成本昂贵。n自然语言是不断发展变化的，规则方法应变能力弱；41经验主义n行为心理学家B. F. Skinner提出另一种语言理论。n这个理论认为人类语言能

18、力的获得来自于学习,语言是通过不断地实践而“约定俗成”的结果。这就是自然语言形成的经验主义解释；n经验主义试图去刻画真实世界的语言现象n统计模型：基于统计的方法n“数据驱动”(Data Driven)：从数据中学习(Learning From Data) 的方法；n从数据中统计语言规律 42统计学习方法学习系统预测系统nxxx211nx概率模型统计学习)x(p n 1建立模型自然语言输入自然语言输入预测43基于统计的研究方法n设定一个语言模型，推导出参数值n最大熵模型（Maximun Entropy Modeling)n隐马尔科夫模型(Hidden Markov Model)n支持向量机(SV

19、M)n贝叶斯算法(Bayes)n条件随机场n几大要素n数学基础n统计算法n训练语料44概率统计方法的缺点n人的语言运用不是一个随机的过程，是有规律可循，用统计模型作为语言模型并不精确；n建立语料库的人工成本；n与语料库质量密切相关：数据稀疏问题；n数据稀疏：真实世界存在，但在语料库中出现概率很小；45自然语言处理统计学习人工规则语料库语言学统计学习方法与人工规则方法的关系混合模型 = 规则+统计468.4 NLP实例与系统演示47一个简单的英汉机器翻译实例n输入英文句子：Miss Smith put two books on this dining table.n形态分析(Morphologi

20、cal Analysis)MissSmithput (+ed)twobook+sonthisdining table.48n句法分析(Syntactic Analysis)S NP VP V NPPPMiss Smith put two books on this dining table.49Q&A问答环节敏而好学，不耻下问。学问学问，边学边问。Heisquickandeagertolearn.Learningislearningandasking.50结束语感谢参与本课程，也感激大家对我们工作的支持与积极的参与。课程后会发放课程满意度评估表，如果对我们课程或者工作有什么建议和意见，也请写在上边点击进入51谢谢聆听THANKYOUFORLISTENING演讲者：XX时间：202X.XX.XX