大数据分析技术架构解决方案(-)课件.ppt

上传人(卖家):晟晟文业 文档编号:4403731 上传时间:2022-12-06 格式:PPT 页数:29 大小:2.85MB
下载 相关 举报
大数据分析技术架构解决方案(-)课件.ppt_第1页
第1页 / 共29页
大数据分析技术架构解决方案(-)课件.ppt_第2页
第2页 / 共29页
大数据分析技术架构解决方案(-)课件.ppt_第3页
第3页 / 共29页
大数据分析技术架构解决方案(-)课件.ppt_第4页
第4页 / 共29页
大数据分析技术架构解决方案(-)课件.ppt_第5页
第5页 / 共29页
点击查看更多>>
资源描述

1、大数据分析技术架构解决方案 大数据分析平台 产品技术架构 典型行业应用案例技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1)新型内存迭代数据挖掘算法2)数据挖掘可视化开发平台3)房地产、金融、电信等机器学习模型研究1)基于内存计算的机器学习算法2)行业大数据深度机器学习模型3)大数据可视化挖掘大数据内存计算1)基于内存的迭代算法研究2)内存大数据高速统计分析技术1)基于大数据内存的计算技术2)国内产品领先大数据语义分析1)大数据自然语言识别2)非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1)大数据云计算平台技术2)商业智能云平台技术1)云BI技术

2、及大数据平台的核心技术研究2)大数据云BI在国内应用是未来趋势,有望建成国内第一家云BI平台-技术基础研究方向技术基础研究方向开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究,在国内外杂志、会议发表了多篇高水平论文。获得视频识别,知识学习与推理相关发明专利2项,申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术,解决视频领域的知识识别,知识发现,知识集成与跟踪,推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑点数据审计数据中心审计跨12个行业,跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期

3、性审计连续审计复杂性隐蔽问题难以发现智能化,具有预测功能依据小样本经验地毯式排查大数据分析,建立抵御和预防手段审计行业大数据知识推理系统 房地产大数据房地产大数据利用大数据建模技术,实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术,建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系,形成满足碳排放计量关系方程和参数目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例数据挖掘越来越多的应用到了各个领域中,主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘概要通过在浏览器内,鼠标拖

4、拽形式实现加载数据、转换、建模、评估、图形以及结果输出特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘,速度快关系型数据库数据挖掘模型算法库/语义分析 Hbase/Hive/Hdfs 可视化数据挖掘平台 多维自助分析调度管理SQLSQL接口接口JDBC/ODBCJDBC/ODBC内存计算服务Scala/Java/PythonOLAP ServerOLAP Server手机平板电脑批处理实时流处理交互式查询统计分析平台ETHINK产品架构特点一丰富建模方法特点可拖拽式建模 JDBC Web Services Restful api可扩展性强自定义模型

5、,扩充组件特点传统的关系型数据(mysql、Oracle等)列式数据库(Hbase)非结构化数据(Hdfs、文件系统)大数据(Hbase、Hive)特点二大数据处理特点开放型平台 BS结构,一站式建模、评估、部署基于Spark平台内存计算运算速度快特点GBPB特点三大数据处理能力特点基于Spark平台内存计算执行数据挖掘时,方法论非常重要.因为准确的方法论能够提高作业速度,能系统地减少各种进展状况,所以选择正确的方法论是很重要的.CRISP-DM 方法论是全球认可的数据挖掘的标准执行方法论.功能模块金融电信行业 1.信用卡用户流失预测 2.基于客户分群的精准智能营销 3.基于公司价值评价的证券

6、策略投资 电力行业 1.电力负荷预测 2.自适应防窃漏电实时诊断互联网行业 1.电子商务网站用户行为分析 2.基于用户行为分析的定向广告投放 3.企业信息系统用户服务感知评估 制造业行业 1.制造设备生命周祺管理 2.制造业投入产出预测 公共服务业 1.空气质量预测 2.卷烟消费者购买行为分析 3.纳税人偷税漏税评估场景应用(实验室模拟实验课题)目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例基于spark内存的计算模型,同时支持批处理、交互式处理、流处理。技术架构解决方案-要解决的问题技术架构解决方案-分布式内存计算批处理应用(分钟级别小时级别)OLTP/在线事务处理应用(毫

7、秒秒级别)OLAP/在线交互式分析应用(秒级别)实时流处理(持续不断)技术架构解决方案-交互式查询 通常的时间跨度在数十秒到数分钟之间按数据维度进行统计、聚合根据历史数据进行拟合和预测计算数据之间的相关性和模式等适合提供高速在线分析服 典型应用场景政府各部门数据证券交易银行保险企业ERP/CRM等 适用于数据量在GB到TB的高速数据分析技术架构解决方案-实时在线处理 通常的时间跨度在数百毫秒到数秒之间数据来源多、高并发、数据处理量达分析结果快速响应 典型应用场景 社交网络分析、关联关系分析用户分类、用户行为预测 高并发查询按主键毫秒级检索按多维度秒级检索按照关键字秒级检索 事件驱动计算模型,系

8、统处于持续不断计算之中,事件响应延迟在毫秒秒级。流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。典型应用场景有金融在线欺诈预警广告CTR推荐系统技术架构解决方案-实时流处理技术架构解决方案-批处理及离线挖掘 时间跨度在数十分钟到数小时之间。离线挖掘主要用于,多维统计预测,准实时分析以及对客户进行聚类、分类等数据挖掘应用。典型应用场景电子商务推荐引擎流失客户预测挽留日志清洗、ETL用户行为分析目录 联合实验室 大数据分析平台 产品技术架构 典型行业应用案例 项目需求将总行下发的数据及核心业务数据,经过数据整理、加载到省级数据中心,并进行各项业务快速应用开发 数据源某省公积金中心,近五年的

9、操作、交易记录,共10亿条左右。系统环境4台X86架构的PC服务器,共128G内存单台服务器,8核CPU,32G内存 解决方案Hbase导入海量数据,并支撑大数据查询可视化设计、可视化报表实现了数据的实时分析行业应用案例-金融 行业应用案例-金融系统由对公客户综合积分子系统、展业通客户综合收益分析子系统、授信客户资金结算子系统、对公柜面交易流水分析子系统等组成行业应用案例-金融 项目需求整合第三方支付数据资源,分析挖掘客户交易、反馈信息、交易行等数据,实现精准营销,最大限度地提升产品价值 数据源某第三方支付平台交易、反馈数据,月交易记录量1亿条。系统环境台X86架构的PC服务器,共96G内存单

10、台服务器,8核CPU,16G内存 解决方案Hbase导入海量数据,并支撑大数据查询Hive对历史交易数据进行分析可视化设计、可视化报表实现数据的实时分析基于ETHINK可视化挖掘平台,完成精准营销建模 持卡客户多维分析:持卡客户人口统计特征分析持卡客户交易行为模式分析持卡客户应用场景分析 特约商户多维分析:商户基本信息分析/商户业务收益分析商户价值贡献度评估商户收单风险分析 持卡客户和特约商户双向分析特定特征客户特定时间消费商户分布分析特定时间在特定商户消费的客户特征分析行业应用案例-金融 项目需求烟草工业企业目前积累了大量的数据信息,管理方式由粗放式管理转为精细化管理,产生了利用大数据技术收

11、集、管理和展示分析结构化和非结构化的数据和信息的诉求,于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题。数据存储近1年数据,每秒钟10000个数据采集点 系统环境硬件环境:数据库服务器1台+4台分布式pc server单台4核,16G内存 解决方案流处理模块处理设备实时数据流事件预警开发平台,实现问题预警 基于ETHINK数据挖掘建模分析平台,实现疑点挖掘建模可视化报表设计,完成大数据精益管理行业应用案例-烟草设备健康指数模型:利用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况,实现指标关联分析及问题挖掘目的。行业应用

12、案例-烟草烟草1、用爱心来做事,用感恩的心做人。2、人永远在追求快乐,永远在逃避痛苦。3、有多大的思想,才有多大的能量。4、人的能量=思想+行动速度的平方。5、励志是给人快乐,激励是给人痛苦。6、成功者绝不给自己软弱的借口。7、你只有一定要,才一定会得到。8、决心是成功的开始。9、当你没有借口的那一刻,就是你成功的开始。10、命运是可以改变的。11、成功者绝不放弃。12、成功永远属于马上行动的人。13、下定决心一定要,才是成功的关键。14、成功等于目标,其他都是这句话的注解。15、成功是一个过程,并不是一个结果。16、成功者学习别人的经验,一般人学习自己的经验。17、只有第一名可以教你如何成为

13、第一名。18、学习需要有计划。19、完全照成功者的方法来执行。20、九十九次的理论不如一次的行动来得实际。21、一个胜利者不会放弃,而一个放弃者永远不会胜利。22、信心、毅力、勇气三者具备,则天下没有做不成的事。23、如果你想得到,你就会得到,你所需要付出的只是行动。24、一个缺口的杯子,如果换一个角度看它,它仍然是圆的。25、对于每一个不利条件,都会存在与之相对应的有利条件。26、一个人的快乐,不是因为他拥有的多,而是他计较的少。27、世间成事,不求其绝对圆满,留一份不足,可得无限美好。28记住:你是你生命的船长;走自己的路,何必在乎其它。29、你要做多大的事情,就该承受多大的压力。30、如

14、果你相信自己,你可以做任何事。31、天空黑暗到一定程度,星辰就会熠熠生辉。32、时间顺流而下,生活逆水行舟。33、生活充满了选择,而生活的态度就是一切。34、人各有志,自己的路自己走。35、别人的话只能作为一种参考,是不能左右自己的。36、成功来自使我们成功的信念。37、相互了解是朋友,相互理解是知己。38、没有所谓失败,除非你不再尝试。39、有时可能别人不在乎你,但你不能不在乎自己。40、你必须成功,因为你不能失败。41、羡慕别人得到的,不如珍惜自己拥有的。42、喜欢一个人,就该让他(她)快乐。43、别把生活当作游戏,谁游戏人生,生活就惩罚谁,这不是劝诫,而是-规则!44、你要求的次数愈多,

15、你就越容易得到你要的东西,而且连带地也会得到更多乐趣。45、把气愤的心境转化为柔和,把柔和的心境转化为爱,如此,这个世间将更加完美。46、一份耕耘,一份收获,付出就有回报永不遭遇过失败,因我所碰到的都是暂时的挫折。47、心如镜,虽外景不断变化,镜面却不会转动,这就是一颗平常心,能够景转而心不转。48、每件事情都必须有一个期限,否则,大多数人都会有多少时间就花掉多少时间。49、人,其实不需要太多的东西,只要健康地活着,真诚地爱着,也不失为一种富有。50、生命之长短殊不重要,只要你活得快乐,在有生之年做些有意义的事,便已足够。51、活在忙与闲的两种境界里,才能俯仰自得,享受生活的乐趣,成就人生的意义。52、一个从来没有失败过的人,必然是一个从未尝试过什么的人。53、待人退一步,爱人宽一寸,人生自然活得很快乐。54、经验不是发生在一个人身上的事件,而是一个人如何看待发生在他身上的事。55、加倍努力,证明你想要的不是空中楼阁。胜利是在多次失败之后才姗姗而来。

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 办公、行业 > 各类PPT课件(模板)
版权提示 | 免责声明

1,本文(大数据分析技术架构解决方案(-)课件.ppt)为本站会员(晟晟文业)主动上传,163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。
2,用户下载本文档,所消耗的文币(积分)将全额增加到上传者的账号。
3, 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(发送邮件至3464097650@qq.com或直接QQ联系客服),我们立即给予删除!


侵权处理QQ:3464097650--上传资料QQ:3464097650

【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。


163文库-Www.163Wenku.Com |网站地图|