1、从学术前沿到工p领先阿里小蜜机器阅读的实践y路阿里巴巴 智能服务事p部 算法m家 赵s州智能服务事p部 达摩院 联合出品 认知能力人类的语言和虚构的能力c是人类区别于动物的智能体现 认知的产生离k开对g物的阅读l理解文字的产生推动了文明发展c人类从k断的阅读理解s成长人工智能的下一r突破口f阿里小蜜平台及p务机器阅读理解研究现状学术到工p的落地挑战解决思路及技术实践总结l未来展望小蜜双十一背后的服务u力+&/.%).+亿g阿里小蜜智能服务占比阿里小蜜日活跃用户店小蜜对话轮次阿里小蜜平台介绍7OT小蜜家族阿里小蜜店小蜜企p小蜜u要答场景t啥我k能参加活动f津贴和店铺优惠叠加吗f领的优惠券定“还能
2、参l满减吗f在哪能看到f活动今天还有吗f传统思路 拆解题l答案 长篇幅文档拆解困难 活动时效性短c更新繁琐 答案粒度难以掌握c解决能力差让机器直接读文章c自动找答案f 减少人工阅读、拆解、配置知识点的工作量 提升题理解的泛化能力c自动理解相关法c无需穷v关键词店小蜜活动规则8DzDdD大促玩法税法答政务办事答机器阅读 - 热点学术方向像人一样学z的深度神经网络 对文章和题分别做正向和反向的阅读理解 带着题看文章 带有题“注意力”的文章理解 预测答案在文章s的起始位置和结束位置 给出预测的确信度 ACL2018:h+ps:/acl2018.org/paper/1469机器阅读 学术成果l影响 小
3、蜜团队联合达摩院c在斯坦福评测s模型历史首次超越人类表现c:8P领域引发轰动(590 .(.* WT. .(.), 610 .,&- WT. /1.() )&+国内外u流媒体报道及视频宣传a3:%彭博%223b我眼s的人工智能数据驱动的机器学z革命学术研究数据对真实o界的简化+), 篇文章()(1+ r段落1&-.+ r题学术数据的发展演变SQuAD1.0SQuAD2.0研究模型端到端的设计思路43:2L416R-:5TR9R4SQ16AS7O:5T模型的核心计算单元RecurrentUnitsSelf-A+enEoninputsequencelengthN,networkdepthD学术研究
4、工p应用端到端领域简单法标准有标注数据k考虑性能f单一段落 BS 多文档%长文档SQV14 d 1&-(&词活动规则d+&-1&词政务办事d多篇*+&-1&词税务法规d多篇*1&-)&词复杂的背后是对性能的忽视双11天猫交易峰值*/.1g笔%秒店小蜜承接天猫商家客服咨询量,-%10ms阿里小蜜一分”内最高同时服务量超.)warXiv:1711.04352:FASTREADINGCOMPREHENSIONWITHCONVNETS真实题复杂多样怎w活动页面领的卷没反应f在哪能看到f购物津贴领多了怎w办f是啥意思f昨天买的能参加今天活动吗f强召回 BS 高可控学术研究工p应用端到端领域简单法标准有标
5、注数据k考虑性能系统工程场景复杂法多样数据标注复杂平衡性能l效果hr挑战接入门槛高c领域扩展难01数据复杂c度l效果难平衡02深度模型黑盒化c可控性差03h步解法抽丝剥茧适用场景分析定位借镜观形领域数据构建复用统筹兼顾流程拆解分层优化抽丝剥茧适用场景分析定位展现灵活可关联推荐支持相似法快干预批量变更成本高人工控制答案粒度a较粗b61 Q题答案预先编辑抽丝剥茧适用场景分析定位更新成本便于冷启动长文档多文档支持阅读计算量大延迟高答案粒度灵活可控性差9R3直接阅读文章借镜观形领域数据构建复用机器阅读以海量对话日志预训练的词向量95机器阅读+点击日志加入更多样的法信息增强泛化性9183机器阅读+点击日
6、志+人工知识增强对 题-答案 的语义关联性建模1FFVSDFy QP 2ePFhODSM* 准确率标准d模型答案包含正确答案n长度适s。基于深度神经网络的模型迁移NIPS2014:Howtransferablearefeaturesindeepneuralnetworks?小蜜在文本匹配迁移学z的探索WSDM2017:ModelingDomainRelaRonshipsforTransferLearningonChatbot-basedQuesRonAnsweringSystems少量数据s量数据利用跨领域%跨任务数据共同学z大量数据海量数据统筹兼顾流程拆解分层优化题归一段落检索答案取答案排序
7、Answer3MJAN QuestionWhats the 3Mvouchercode 文章段落检索排序DocumentsAnswerSelectionEntityDescriptionsOntologyKnowledgeRelevantParagraphsReaderRetriever 前置检索缩小阅读范围 带着题阅读每r候段 k同段落的可信度统一比较 综合考虑取全局最优结果AAAI2018:ADeepCascadeModelforMulR-DocumentReadingComprehension性能l准确率表现随着文档长度的增长 答准确率基本稳定 响应时间少量增加融合后置排序进一步增强可控
8、 9VNUL-TDTM TSDLPLPg共享训练资源c多角度提升底层语义抽象能力 CLde 4eeR 5PTeOENe4eeR模型建模语义相似性cCLde模型融合外部知识c保证性能l可控性答总体流程同义归一有效性判断特征计算文章定位文章排序无答案检测规则干预答案排序答案改写摘要生成结构信息还原6eed4LFU构造模型调用概率计算结构化解析预处理模块召回模块阅读模块据实排序模块后处理模块解决方法和实践小结1. 探索机器阅读技术的p务价值l适用场景e(. 构建领域数据集及成本解决模型冷启动e). 利用前置检索缩小范围提高答准确率e*. 拆分答t多阶段增强模型可控及灵活性。领域覆盖活动促销规则解读税
9、务法规百科知识商品属性政务指南RO7分析 每r商家节省时间(周c解决能力提升+-1&%大促活动规则k用拆解配置知识点c支持活动实时i线c赋能百g淘宝商家c单篇文章减少配置时间1-)天。 从无到有c知识库构建成本从数月减少到)天大规模法规文档、长篇幅说明书答极大减轻机器人启动成本c以机器阅读理解能力t核心c配合少量61Q提供精准答。文字本来应该是人类意识的仆人c但现在正在反仆tu。计算机并k能理解智人如何说话、感觉和编织梦想c所以我们现在反而是用一种计算机能够理解的数字语言来教智人如何说话、感觉和编织梦想。尤瓦尔赫拉利案例启示 4T4原则 从学术研究到工p实践c需要明确技术特点l应用场景 - 4eILPe 基于跨任务跨领域迁移学zc降模型训练l扩展成本 - TSDPTIeS 拆解处理步骤、结合前后置模块增强可控性l解决能力 - 4eFQORQTe继续探索y路 多语言、跨语言答 更多外部知识的引入 推理、i下文能力 极小数据的有效学z
