范式AI平台产品介绍课件.pptx

1、2019 Lenovo Internal. All rights reserved.范式AI平台20190805122019 Lenovo Internal. All rights reserved.2推荐预警识别科研AI应用场景四大类人脸手写HPC计算管道预警声音教学研究模型搭建新闻推荐风机预警欺诈预警疾病预警知识推荐订餐推荐理财推荐案件预警生物选址推荐2019 Lenovo Internal. All rights reserved.教育科研训练、HPC计算金融公安智能营销、风控、识别能源媒体案情预测、侦破零售应用场景我们可以涉足的行业智能营销、选址、运维故障预警智能推荐32019 Len

2、ovo Internal. All rights reserved.如何充分发挥数据的价值？高维算法+海量特征=业务效果提升如何从“事后分析”变为“实时决策”？实时AI推理=实时决策高维度+实时实现极致业务效果42019 Lenovo Internal. All rights reserved.充分发挥数据的时效价值10ms 100ms1s1m1h1d5d10d1month 1year时间硬实时软实时离线高低数据价值从 “事后分析” 到 “实时决策”客户损失降低30%50%实时金融风控即时侦测交易风险实时零售推荐用户月活提升12%18%实时个性化商品推荐实时工业定价供应链风险降低16%27%动

3、态预测工业品价格从事后分析到实时决策52019 Lenovo Internal. All rights reserved.银行业典型落地案例精准营销（分期）智能投顾（理财）客户挽留效果与收益分析：n第四范式机器学习模型对21%的可分期交易发送短信即可覆盖91%的分期手续费，显著提升手续费收益的同时，节约营销成本n千元以下分期交易占比提升6倍，第四范式机器学习模型能够准确覆盖低消费交易的分期需求效果与收益分析：n对各资产段的客户营销效果均有显著提升n响应率提高2倍 11倍n成交金额提高50% 500%n有效提升长尾客户的客户价值与留存率验证效果n模型名单的营销成功率较专家规则均有不同程度的提升。

4、其中：n通过融e联营销的产品添益快线（基金）提升效果达到了574%n通过远维外呼营销的产品中，基金产品提升158%，节节高2号提高149%，理财产品提升131%。62019 Lenovo Internal. All rights reserved.第四范式银行行业典型落地案例反欺诈验证效果 提高某国有银行线上B2C交易欺诈防控能力，准确率达83%，较专家规则提升316% 。 比专家规则多识别欺诈交易58.8%，响应时间达20毫秒智能催收催收效率是CFC贷后催收的主要考核指标，统计M1入催的业务在30天内催收回款情况。n4月仅对部分业务采用基于机器学习模型的差异化催收策略，30日催收效率达到历史

5、最高92.8%。n4月线上验证结果显示，10天催收效率较3月显著提升，增长近20%，说明差异化催收较传统催收方式，策略手段前移对回款有很大帮助。 智能运营（OCR票据识别）320002200大写金额识别模型识别效率：200张分钟验证集准确率：97+%1948100小写金额识别模型识别效率：200张分钟验证集准确率：97+%2勾选框识别模型识别效率：200张分钟验证集准确率：99%72019 Lenovo Internal. All rights reserved.智能保险行业典型落地案例财险 车险理赔件识别寿险 快速核赔寿险 理赔审核 n利用深度学习算法构建受损程度分类模型后，结合维修工时与单

6、价数据便可计算得到理赔金额n使用机器学习方法，对非正常赔付报案案件进行识别n如果以快赔为目标，召回33%正常赔付样本时准确率100%增补材料判断标准件判断核保决策引擎(模型+规则) 模型：预测“增补材料概率” 模型：预测“是标准件概率” 规则：分析投保原因、投保历史等因素 通过名单82019 Lenovo Internal. All rights reserved.零售行业落地案例门店销售量预测外卖销售量预测个性化推荐系统n地区信息n人口信息n住宅信息n写字楼信息n交通流量n配送距离n利用机器学习技术，预测每个门店的外卖销量，使预测的平均绝对百分比误差控制在18%模型的预测结果可为外卖门店实现

7、快速、科学、高效的选址决策指导应用现有运营数据，建立了67000维的机器学习模型，将每个门店销售额预测的误差控制在15%销售额大幅波动的春节月份实现了相较专家45以上的提升。n利用机器学习模型，通过在App端为客户智能推荐产品与优惠，菜单平均命中率 14.5%n客单价平均提升2%，实现销售额和客单价的大幅提升92019 Lenovo Internal. All rights reserved.医疗行业落地案例慢病预警（糖尿病）慢病预警（心血管并发症）胰腺癌术后生存分析预测效果评估由高到低依次为：n4Paradigm ML model：瑞宁知糖专业版模型nsimple ML model：瑞宁知糖

8、简易筛查模型nCDS：中华医学会标准nFinland：芬兰糖尿病预防研究nADA：美国糖尿病学会标准准确率是专业医生预测结果的2到3倍 效果评估由高到低依次为：n4Paradigm ML model：瑞宁知心专业版模型nsimple ML model：瑞宁知心简易筛查模型nFramingham：Framingham心血管风险评估和【某大型三甲医院】合作，完成胰腺癌术后生存分析模型：n生存分析中c-index值提升8个百分点n二分类问题auc值提升6个百分点提前判断病人术后生存时间，采取相应措施，减少病人痛苦携手瑞金医院，助力疾病患病率预测102019 Lenovo Internal. All

9、rights reserved.能源行业落地案例n通过机器学习技术处理和分析海量的光纤信号数据，将极大地提升异常信号识别的效率n及时地帮助业务人员判断管道破坏事件n提高判断输油管道破坏事件的准确性和及时性，帮助管道管理运营企业减少损失石油管道异常检测风机设备故障预警 化工品价格预测构建故障诊断模型，通过机器学习算法（GBDT梯度迭代决策树），结合状态监测评估，判断机组隐含的或者已经存在的故障信息，分析其故障模式，并得出故障发生的原因。建模：选择齿轮箱故障 历史约200多次n训练模型 若干遍n提高准确率 保证召回率100%n统计5、6月预测结果 准确率81%以上n利用机器学习技术对化工品价格进行

10、准确预测，进行市场和产品趋势分析，了解供求变化，有效指导生产经营，在中长期建立市场研究分析的辅助决策体系n1-7天预测最高准确率达99.99%，平均准确率99.33%11122019 Lenovo Internal. All rights reserved.12一体机形态（4种）- G1一体机，控制台一体机，训练引擎一体机，推理引擎A SR650B SR650C SR650AI控制台AI训练节点AI推理节点D ST550机器学习工作站132019 Lenovo Internal. All rights reserved.销售场景和报价模式 G1 #控制台ML推理引擎ML训练引擎特征存储引擎Re

11、marks硬件安装的软件组件Sage One Adv - K8S & Docker, ES, MySQL, ETCD组件Sage One Adv - 在线服务组件Sage One Adv - Leap HD大数据平台Sage One Adv - RTiDB, Zookeeper, Kafka组件可售卖最小场景最低配置1030共4台实时加批量最小场景最低配置1131共6台高可用场景最低配置3233共11台扩展规则可扩展任意台扩展任意台扩展任意台扩展A SR650B SR650C SR650B SR650142019 Lenovo Internal. All rights reserved.服务流

12、程用户DCG 服务热线范式Sage L2硬件问题DCG L2L0, Support 7x24仲裁委员会L1 L1, Support问题的判断并反馈给相应部门记录客户信息/和服务类型LDP支持团队L24P provide L2 Support LDP支持团队DCG provide L2 Support接线员记录用户信息，支持问题的类型（售后还是报装）LDP交付团队售后问题报装问题联想工厂会尽可能完成软件的预装，LDP负责交付一体机的现场服务。LDP：Leap HD服务支持的验证过程需要定义-主要看日志123451232019 Lenovo Internal. All rights reserve

13、d.152019 Lenovo Internal. All rights reserved.SageOne AI训练引擎超大规模高维机器学习框架16自主研发超大规模高维机器学习框架（4Paradigm GDBT）HD-LR / HD-GBM等10+高维ML算法深度稀疏神经网络DSNAutoCross、FeatureZero、TemporalGO、 AutoDSN等业界领先AutoML算法万亿维机器学习过程支撑2019 Lenovo Internal. All rights reserved.SageOne AI训练引擎软件定义计算全面加速高维机器学习过程17 1.5 TFLOPS, SoC 2

14、0 nm精度 auto-tuning自动优化训练超参数 Cache和DRAM带宽利用率接近理论最优 高维特征计算过程I/O加速 高维GBDT模型训练加速4Paradigm ATX 800 训练加速卡2019 Lenovo Internal. All rights reserved.SageOne AI训练引擎软件定义通信应对AI集群横向流量风暴18大规模分布式参数服务器集群零拷贝数据交换协议软件定义AI通信系统无阻塞网络通讯技术P-RPC自研网络通讯协议Zero Copy高速数据同步智能路由和共享长链路技术2019 Lenovo Internal. All rights reserved.19

15、SageOne AI推理引擎无限缓存技术实现极速实时AI推理特征计算引擎 & 预估服务引擎特征处理过程免开发上线线下线上一致性保证一键生成预估服务水平扩展与弹性扩容灾难自动回复无限缓存技术极速AI推理百万级并发实时交易请求99.9%请求毫秒级响应海量时序特征计算万亿维模型实时推理预测结果精准触达2019 Lenovo Internal. All rights reserved.20SageOne AI存储引擎内存计算打造超低延迟实时特征数据库毫秒级海量时序特征供给自动切换存储介质降低TCOInfini-cache无限缓存技术生产级灾备恢复持久化存储能力RTIDB 实时特征数据库超低延迟在线数据

16、访问接口高速时序特征查询与计算在线水平扩容超低延迟在线服务多源异构数据引入离线、在线数据一致性管理回流数据自动标注权限、审计与配额支持统一数据治理2019 Lenovo Internal. All rights reserved.SageOne vs 通用X86服务器+主流AI框架GBDT（梯度提升决策树）算法，第四范式GDBT在在百万特征维度场景下，计算效率可达H2O的6倍以上 大规模离散的高维逻辑回归（LR）场景下，第四范式GDBT性能可达Spark1.6版本的数千倍， Spark2.4版本的数百倍与主流开源框架主流开源框架 Spark MLlib 的性能对比与商用自动机器学习框架商用自动

17、机器学习框架 H2O.ai 的性能对比2019 Lenovo Internal. All rights reserved.02040608010012014015250501001502002503003504004505001X5X25XSageOne vs 通用X86服务器+主流AI框架核心场景数据量极速增长，保证业务效果所需付出的成本SageOne 拥有 11x 成本优势AI场景规模化落地，场景数大幅增加，相同成本投入的情况下SageOne 提供 16x 算力优势任务运行时长SageOne传统 x86 + Spark开源ML成本单场景数据规模场景规模SageOne传统 x86 + Spa

18、rk开源ML11X16X2019 Lenovo Internal. All rights reserved.SageOne vs 云方案 弹性伸缩云架构 + 国内AI商用&开源工具在同样算法效果与硬件条件下，运行稀疏嵌入神经网络算法，第四范式SageOne GDBT与阿里XDL在单机和分布式各场景下性能提升达12.5倍 阿里PAI云平台特征工程第四范式特征工程3.6x在完成同样特征工程任务，既拼接风控场景的5个业务表时，第四范式SageOne FeQL相比阿里PAI平台的SparkSQL性能优势达3.6倍阿里PAI云平台SageOne与阿里巴巴XDL开源深度学习框架开源深度学习框架性能对比与阿

19、里巴巴PAI商用机器学习平台商用机器学习平台性能对比2019 Lenovo Internal. All rights reserved.SageOne FeQL 相比 Databricks SparkSQL速度优势1.8倍，该场景的总拥有成本优势达5倍SageOne vs 云方案 弹性伸缩云架构 + 国际主流AI平台注1：此场景使用Kaggle著名的HomeHome CreditCredit DefaultDefault RiskRisk 风控信贷场景风控信贷场景的数据，预估房贷逾期信用风险，能代表比较典型的真实风控信贷场景。注2：对于Databricks，测试Databricks在AWS上的

20、弹性伸缩云方案，对齐第四范式SageOne，均使用160核下弹性伸缩方案。SageOne FeQLSparkSQL on DB Notebook on AWS运行时间每秒费用总拥有成本0.0152 /s0.0427/s 507s924s 7.7139.461.8x 5x2.8x2019 Lenovo Internal. All rights reserved.SageOne ATX vs CPU / GPU024681012FE 特征压缩GBM（默认参数）GBM（调优参数）CPU vs 4PD ATX性能对比CPUATX051015202530特征维度=200000特征维度=400000特征维

21、度=800000GPU vs 4PD ATX性能对比GPUATX10 x10 x3x6x11x26x2019 Lenovo Internal. All rights reserved.01000020000300004000050000600007000080000110100100010000通信框架吞吐性能对比 吞吐量（查询次数/秒）消息大小（比特）第四范式通信框架prpc的吞吐性能是百度brpc的3 35 5倍，谷歌grpc吞吐性能的5 51010倍纵坐标越高表示性能越好SageOne vs Baidu / Google2019 Lenovo Internal. All rights r

22、eserved.SageOne vs Sage+X86 训练表现05000 10000 15000 20000 25000 30000 35000 400008节点/52004节点/52002节点/52008节点/22004节点/22002节点/2200风控场景+梯度提升决策树（GBDT）02000400060008000100008节点/52004节点/52002节点/52008节点/22004节点/22002节点/2200风控场景1+逻辑回归（LR）1）风控场景使用Kaggle比赛数据 Home Default Credit Risk中前5表拼接的结果作为输入，数据量6亿。2）反洗钱场景基

23、于第四范式真实场景，全流程包括SparkSQL，自研特征工程（FE）和GBDT模型训练。该场景输入SparkSQL的数据为3亿。输入特征工程的数据为100万BenchmarkSage+X86 configSageOne config时间单位为秒（s），时间越短性能越好944283780500010000150008节点/52008节点/2200反洗钱场景2+GBDT563119991135769361482361117195488427121674119972854Sage EE 3.6X86服务器CPU：32C/64T 2.1GHzMem：12 X 32GBNIC：1GbESage EE A

24、dv 1.0AR5200CPU：40C/80T 2.8GHzMem：12 X 32GBSSD：2TB / NVMeNIC：100GbEAccelerator：4PD ATX2019 Lenovo Internal. All rights reserved.SageOne Advanced Selling Points28企业级端到端AI集成系统 软件定义计算基础设施AI中台战略最佳支撑业界顶级性能表现全流程提速4-10 xTCO节省50%+算法算力系统自研高维ML算法自研AutoML算法自研AutoCV算法自研高维特征工程框架主流开源框架兼容一站式软硬件兼容AI冷启动（开箱即用）黑盒化运维线性扩容自研ATX加速卡软件定义计算架构算法定义通信协议数据定义存储弹性容器架构计算资源池化高性能实时高性能数据库企业级AI全流程平台学习圈方法论应用构建流程标准化模型快速部署企业级系统架构企业级功能特性API/SDK开放性平台9999系统可用性