1、大数据驱动的人工智能技术大数据驱动的人工智能技术2022-11-111崇志宏数据与智能实验室 东南大学提纲l基本框架和智能计算l基本框架l技术痛点l应用难点分析文本结构化抽取智能框架智能框架市场研究报告市场研究报告外部公开数据源大数据知识图谱价值传递内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利智能爬虫文本结构化抽取其他非结构化、半结构化数据知识库数据终端什么产品？什么客户？什么市场模式？数据直通API智能搜索智能问答智能平台模型与价值发现用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据产品设计产品设计用户手册用户手册客服录音
2、客服录音文本结构化抽取智能框架智能框架市场研究报告市场研究报告外部公开数据源大数据知识图谱价值传递内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利智能爬虫文本结构化抽取其他非结构化、半结构化数据知识库数据终端什么产品？什么客户？什么市场模式？数据直通API智能搜索智能问答智能平台模型与价值发现用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据产品设计产品设计用户手册用户手册客服录音客服录音技术痛点：多维数据的融合技术痛点：多维数据的融合-知识图谱知识图谱知识库概概念念、属属性性外部公开数据源淘宝、京东、苏宁新闻公司网站社交媒体公司
3、招聘专利其他非结构化、半结构化数据市场研究报告市场研究报告内部数据源用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据市场研究报告市场研究报告内部数据源用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据产品规格设计文档产品规格设计文档用户手册用户手册客服录音客服录音技术痛点：多维度异构数据上的分析建模技术痛点：多维度异构数据上的分析建模知识图谱概概念念、属属性性市场研究报告市场研究报告外部公开数据源内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利其他非结构化、半结构化数据用户研
4、究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据市场研究报告市场研究报告内部数据源用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据模型与价值发现特征丰富特征丰富约束条件约束条件语义向量化语义向量化产品规格设计文档产品规格设计文档用户手册用户手册客服录音客服录音产品规格设计文档产品规格设计文档用户手册用户手册客服录音客服录音技术痛点：多维度异构数据上的分析建模技术痛点：多维度异构数据上的分析建模知识库概概念念、属属性性市场研究报告市场研究报告外部公开数据源内部数据源淘宝、京东、苏宁新闻公司网
5、站社交媒体公司招聘专利其他非结构化、半结构化数据用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据市场研究报告市场研究报告内部数据源用户研究报告用户研究报告行为大数据行为大数据运营数据运营数据推广数据推广数据调查、反馈数据调查、反馈数据模型与价值发现特征丰富特征丰富约束条件约束条件语义向量化语义向量化产品规格设计文档用户手册技术痛点：用户画像、产品画像中的数据的稀疏性技术痛点：用户画像、产品画像中的数据的稀疏性价价格格差差别别品品牌牌差差别别地地区区收收入入差差别别地地区区高高低低档档偏偏好好差差别别评评价价（用用词词偏偏好）好）关关注注偏
6、偏好好微微博博讨讨论论偏偏好好零零星星个个人人信信息息购购买买记记录录投投诉诉记记录录和和关关注注点点访访谈谈调调查查记记录录市市场场研研究究报报告告用用户户研研究究报报告告促促销销反反馈馈职职业业差差别别人人群群差差别别特特殊殊人人群群商商品品偏偏好好特特殊殊人人群群敏敏感感度度属属性性社社会会属属性性行行 为为 属属 性性技术痛点：用户画像、产品画像中的数据的稀疏性技术痛点：用户画像、产品画像中的数据的稀疏性价价格格差差别别品品牌牌差差别别地地区区收收入入差差别别地地区区高高低低档档偏偏好好差差别别评评价价（用用词词偏偏好）好）关关注注偏偏好好微微博博讨讨论论偏偏好好零零星星个个人人信信息
7、息购购买买记记录录投投诉诉记记录录和和关关注注点点访访谈谈调调查查记记录录市市场场研研究究报报告告用用户户研研究究报报告告促促销销反反馈馈职职业业差差别别人人群群差差别别特特殊殊人人群群商商品品偏偏好好特特殊殊人人群群敏敏感感度度属属性性社社会会属属性性行行 为为 属属 性性数据稀疏性：数据稀疏性：1）知识图谱数据融合；）知识图谱数据融合；2）深度神经网络的泛化能力；）深度神经网络的泛化能力；3）语义特征向量）语义特征向量技术痛点：用户画像、产品画像中的数据的稀疏性技术痛点：用户画像、产品画像中的数据的稀疏性数据稀疏性：数据稀疏性：1）知识图谱数据融合；）知识图谱数据融合；2）深度神经网络的泛
8、化能力；）深度神经网络的泛化能力；3）语义特征向量）语义特征向量模型与价值发现特征丰富特征丰富约束条件约束条件知识图谱的深度网络表示知识图谱的深度网络表示技术痛点：高维属性依赖关系模型训练和推理技术痛点：高维属性依赖关系模型训练和推理特特殊殊人人群群敏敏感感度度属属性性社社会会属属性性行行 为为 属属 性性痛点：高维属性依赖关系模型训练和推理痛点：高维属性依赖关系模型训练和推理特特殊殊人人群群敏敏感感度度属属性性社社会会属属性性行行 为为 属属 性性提纲l基本框架和智能计算l基本框架l技术痛点l应用难点分析难点难点1 1：数据爬取和融合：数据爬取和融合难点难点2 2：数据爬取和融合：数据爬取和
9、融合-图片和文本融合图片和文本融合文字描述文字描述多媒体信息融合与搜索多媒体信息融合与搜索I.图片搜索图片图片搜索图片II.文字搜索图片文字搜索图片III.图片搜索文字图片搜索文字IV.语音搜商品语音搜商品难点难点3 3：语音客服综合平台：语音客服综合平台1.什么商品、品牌、规格什么商品、品牌、规格2.什么原因、关切什么？什么原因、关切什么？3.解决方案偏好？解决方案偏好？4.1.这个客户是什么类型？这个客户是什么类型？2.一般的服务策略？一般的服务策略？3.询问什么问题？询问什么问题？4.可以提供什么继续服务？可以提供什么继续服务？抽抽取客户信息取客户信息客服支持客服支持语音客服综合信息平台
10、语音客服综合信息平台I.客户意图识别客户意图识别II.客户背景及相关资料客户背景及相关资料III.服务模式和策略支持服务模式和策略支持难点难点4 4：大规模信息结构评价：大规模信息结构评价I.行为语义行为语义II.网站结构网站结构III.语义一致性和网站结构评价语义一致性和网站结构评价根据日志行为根据日志行为的网页矢量空间的网页矢量空间根据平台结构根据平台结构的网页矢量空间的网页矢量空间语义对齐语义对齐1.语义距离度量行为语义和平台结构语义的差别语义距离度量行为语义和平台结构语义的差别2.不同人群行为分析不同人群行为分析信息结构评价及改进点信息结构评价及改进点I.页面布局问题页面布局问题II.
11、网页链接结构问题网页链接结构问题III.不同人群访问模式特点不同人群访问模式特点难点难点5 5：国防综合信息系统：国防综合信息系统敌我部队编制敌我指挥机构敌我武器装备人防工程作战条令、预案地理、气象信息人工情报KafkaSpark Streaming知识图谱HBASE存储知识抽取、知识图谱构建和维护Spark SPARQL接口作战情报支持五月十五号早上敌飞机？飞近我钓鱼岛，飞行轨迹滞留时间情报分析模型库推测飞机型号、武器装备、飞行目的以及推测依据I.军事知识图谱构建和信息集成军事知识图谱构建和信息集成II.SparQL查询接口查询接口III.语义搜索语义搜索难点难点6 6：情感分析：情感分析Y
12、elp:57百万用户评论,132 百万独立用户访问/月Dianping:26 百万评论,70 百万 独立用户/月One product in one reviewDetailed on different aspectsOverall scoreReview comment用户对不同维度的信息关注度是推用户对不同维度的信息关注度是推荐需要了解的荐需要了解的结婚买什么样的空调安静的、挂安静的、挂起来的起来的分析结果示意图分析结果示意图属性(正面,负面)关于肉类正面评价1465次负面评价 497次关于鸡翅正面评价3次负面评价5次难点难点7 7：用户潜在喜好分析：用户潜在喜好分析推出一款新品，用户的
13、喜好程度如何？推出一款新品，用户的喜好程度如何？长期以来，一直忽视文本与评价分数的结合长期以来，一直忽视文本与评价分数的结合目标：目标：1.用户买过该产品用户买过该产品2.用户对该产品的体验用户对该产品的体验3.推荐可能满意的产品推荐可能满意的产品难点难点8 8：基于潜在关联的打包推荐：基于潜在关联的打包推荐推出相关产品，目的是组合售卖推出相关产品，目的是组合售卖Combo-Recommendation based on Potential Relevance of ItemsYanhong Pan,Yanfei Zhang,Rong ZhangSchool of Dat a Sci ence
14、 and Engi neeri ng,East Chi na Norm al Uni versi t y,Chi na;C om bo recom m endati on expects to recom m end a col l ecti on of products to users i n a G roupon w ay.The representati ve appl i cati on i s com bo recom m endati on i n the travel i ndustry.I n thi s paper,consi deri ng di ni ng scenar
15、i o i n cateri ng i ndustry,w hi ch i s di nni ng w i th m any peopl e i n restaurants.Recom m endi ng di shes to users can not adapt to exi sti ng di nner f orm at,so com bo recom m endati on i s appl i ed to the cateri ng i ndustry.Thi s paper presents a novel com bo recom m endati on al gori thm
16、cal l ed RBM-C R based on the Restri cted Bol tzm ann M achi ne.RBM-C R al gori thm takes advantage of users consum pti on hi stori es to deri ve the correl ati ons am ong products by m appi ng f rom vi si bl ef eatures to hi dden f eatures,and to prof i l e users and com bos by those hi dden f eatu
17、res.M M o ot ti i v va at ti i o on n:O O u ur r M M e et th ho od d:C C o om m b bo o I In nh he er re en nt t F Fe ea at tu ur re es sW e propose that package recom m endati on appl y to new busi ness f i el d def i ned as com bo recom m endati on i n the cateri ng i ndustry.O ur work proposes a n
18、ovel com bo recom m endati on al gori thm cal l ed RBM-C R based on the Restri cted Bol tzm ann M achi ne.RBM-C R al gori thm can recom m end m ore sui tabl e com bos to users by Anal yzi ng the potenti alcharacteri sti c of users.For f uture work,there are several w ays i n w hi ch thi s research c
19、oul d be extended.C C o on nc cl l u us si i o on n:1)Sparsi ty:i nf orm ati on f or com bos i s m uch l ess thanthat f or i ndi vi dual i tem s;2)C ol l ecti vi ty:every com bo i s com posed of m ul ti pl e i ndi vi dual products w i th di f f erent f eatures;3)D i versi ty:products com posed of co
20、m bos m ay have di f f erent f eatures;4)Rel evance:products i nsi de com bos have som e ki nd ofpotenti al rel evantD D i i s sh h U U s se er rU U s se er r-d di i s sh h R Ra at ti i n ng g M M a at tr ri i x xI In np pu ut tR RB BM M-C C R RM M i i s ss si i n ng gV V i i s si i b bl l e e U U n
21、 ni i t ts s(:)H H i i d dd de en n U U n ni i t ts s(H H:)W WR RB BM M-C C R R M M o od de el lC C o om m b bo o U U s se er rU U s se er r-c co om m b bo o P Pr re ed di i c ct ti i v ve e R Ra at ti i n ng g M M a at tr ri i x xO O u ut tp pu ut tM M i i s ss si i n ng gM M i i s ss si i n ng gC
22、C o om m b bo o R Re ec co om m m m e en nd da at ti i o on n A A l l g go or ri i t th hm m I In np pu ut t:The target user,trai ni ng param eters i n RBM-C R m odel i ncl udes wei ghts W,vi si bl e bi as and hi dden bi as O O u ut tp pu ut t:1:Recom m endati on l i st()=()2:Based on equati ons,i m
23、 pl em ent an m ean f i el d to cal cul atethe expectati on to every di sh f rom the target user;3:Repeat step 1 f or every di sh i nsi de the com bo;4:O btai n=()();5:C al cul ate=;6:Repeat step 1 to 5 f or every com bo;7:Sort to obtai n top-k com bos;The 18th Asi a Paci f i c W eb Conf erence通过用户的
24、消费历史，映射商品的可见特征到隐藏通过用户的消费历史，映射商品的可见特征到隐藏特征，获取不同商品之间的关联。特征，获取不同商品之间的关联。难点难点9 9：数据融合：数据融合不同厂家类似产品归类不同厂家类似产品归类NameDescriptionPriceTP-link TL-WR703N 3G Mini Wireless RouterProduct Name:TP-Link Brand:TP-LinkModel:TL-WR703N Router Type:WirelessSpeed(Mbps):150MbpsProtocol:802.11b 802.11g 802.11n 802.3u 802.
25、3Frequency:2.4GSuitable for:Broad band router99.00TP-link TL-WR703N Mini Wireless Router BoardProduct Name:TP-Link Brand:TP-LinkModel:TL-WR703N Router Type:WirelessSpeed(Mbps):150MbpsProtocol:IEEE 802.11b/g/nEmbedded Firewall:NoVPN Support:No44.45目标：提高自身的竞争力目标：提高自身的竞争力Unstructured data contain impor
26、tant informationexquisite and easy of use!Recommend!Satisfied purchase!Received!Very exquisite!Hope it can stay long!Its practical,exquisite and portable.The only drawback Good product,but its impossible to add Lenovo h301 camera together with 301 driver.Add uvc insteadIts appearance is ordinary,but
27、 the handwork is good,the board is stable.The server answers every question.The board is good,the craft is terrific.Best choice for handcraft文本特征重要文本特征重要Matching ResultInput EntityData PreprocessingFeature SelectionData PartitioningPair GenerationSimilarity CalculationFeature NormalizationRandom-bas
28、ed AlgorithmsSignature Sorting&Neighbor SelectionRedundancy ReductionAdditional MapReduce JobHamming Distance基于文本特征的分布式数据融合架构基于文本特征的分布式数据融合架构难点难点1010：分布式内存数据处理：分布式内存数据处理用户交易交易流水主机DB2查询集群实时交易查询企业分析Reatime Data IngestionIn-memory Execution EngineOptimizationsCLAIMS近实时近实时前端Web 服务器 国内第一个实时注入实时分析开源数据库系统 服务于贵州省扶贫云平台（最后测试阶段）将服务于数十万用户 https:/
