HDS统一计算平台的大数据解决方案.pptx

1、 Hitachi Data Systems Corporation 2014.All rights reserved.1 Hitachi Data Systems Corporation 2014.All rights reserved.1HDS 统一计算平台的统一计算平台的大数据解决方案大数据解决方案HDS channel enablement TeamCicean Wang Hitachi Data Systems Corporation 2014.All rights reserved.2议程 Hitachi Data Systems Corporation 2014.All right

2、s reserved.33它真正的含义是什么？Hitachi Data Systems Corporation 2014.All rights reserved.4大数据及大数据时代“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”麦肯锡您将会面对的是16.416.4ExabytesIn 20103535ZxabytesIn 2020IDC做出估算30倍 Hitachi Data Systems Corporation 2014.All rights reserved.5大数据的定义（4V）海量（Vo

3、lume）多样（Variety）快速（Velocity）价值（Value）3亿用户，每天上亿条微博中型城市每月数十亿智能电表数据2015年全球移动终端产生的数据量6300PB卫星图像个人信息M2M 日志文件传感图像视频音频非结构化数据将占到75%-85%增长速度快用户基数庞大设备数量众多实时海量数据数据指数级别增长单条数据并无太多价值，但庞大的数据量蕴含巨大财富 Hitachi Data Systems Corporation 2014.All rights reserved.6存储理解控制大数据最终的目的大数据可以从根本上提高洞察力获得洞察力！跨越鸿沟输入数据$Hitachi Data Sy

4、stems Corporation 2014.All rights reserved.7大数据-第三次浪潮的华彩乐章2012年3 月份美国奥巴马政府发布了大数据研究和发展倡议(Big Data Research and Development Initiative)，投资2 亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(Information Highway)计划之后在信息科学领域的又一重大举措。与2013年12月 贯彻落实广东省信息化发展规划纲要（2013-2020年），加快物联网、云计算

5、、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化发展水平。广东省委副书记朱小丹广东省经济和信息化委员会副主任，党组副书记邹生 Hitachi Data Systems Corporation 2014.All rights reserved.8我们为什么需要大数据 在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次 在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。在

6、没有大数据技术之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。在没有大数据技术之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。Hitachi Data Systems Corporation 2014.All rights reserved.99将大数据承诺转化为巨大的价值 Hitachi Data Systems Corporation 2014.All rights reserved.1010从“谷歌流感趋势”工具看大数据应用跟踪搜索词相关数据来判断全美地区的流感情况这个工具工作的原理大致是这样的：设计人员置入了一些关键词（

7、比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从图可知，两者结论存在很大相关性。Hitachi Data Systems Corporation 2014.All rights reserved.11以银行信贷审批决策为例 Hitachi Data Systems Corporation 2014.All rights reserved.12用户移动轨迹和精准用户群集分析应用 Hitachi Data Systems Corporation 2014.A

8、ll rights reserved.13实时精准营销-只给最近的你 Hitachi Data Systems Corporation 2014.All rights reserved.1414支撑大数据应用的IT架构实例 Hitachi Data Systems Corporation 2014.All rights reserved.15 新的大数据技术传统数据库处理方式 池塘捕鱼新的大数据处理方式 大海捕鱼数据规模数据类型模式和数据关系处理对象处理工具 Hitachi Data Systems Corporation 2014.All rights reserved.16数据的自由度和性

9、能矛盾。数据的自由度和性能矛盾。固定字段、维度的表结构，限制固定字段、维度的表结构，限制了数据的入库和拓展。了数据的入库和拓展。数据处理数据处理数据库数据库中间件中间件索引及应用开发索引及应用开发J2EEStorageFilesytem/LUNDatabaseJ2EEJ2EEWebWebWebWebWeb数据索引方式的瓶颈，依赖文件目录结构（数据索引方式的瓶颈，依赖文件目录结构（NASNAS）或私）或私有的位图块表结构（有的位图块表结构（BlockBlock）。）。非结构数据还需要上层数据库或文件系统提供索引；非结构数据还需要上层数据库或文件系统提供索引；面对大数据传统IT的架构的瓶颈存储成本

10、（TB）20,000 rmb数据库和中间件（TB）15,000 rmb计算（TB）30,000 rmb技术服务（TB）10,000 rmb应用服务 依赖合作伙伴总体拥有成本（TB）75,000 rmb Hitachi Data Systems Corporation 2014.All rights reserved.17后期维护后期维护成本成本低下的低下的数据管理性能数据管理性能存储扩容成本存储扩容成本面对大数据传统IT的架构带来的问题 Hitachi Data Systems Corporation 2014.All rights reserved.18新的大数据处理技术-Hadoop核心思

11、想：分布式+经济Hadoop:分布式，大数据集，延时，离线计算 NoSQL:分布式，小数据集，灵活，实时，快速读写 Hitachi Data Systems Corporation 2014.All rights reserved.19天云&HDS大数据混合计算一体机J2EEWebHDS CR 220SHadoop DistributionsStreamingSearchingIndexMemDBBDP(BeagleData Platform)Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt:DataView

12、EasyFail sensedata zip/data lifescycleDR（Optional）BDA(Beagle Data Accelerator)机器学习组件包 （Optional）BDF(Beagle Data Flow)大数据中间件SaaS/DaaS Hitachi Data Systems Corporation 2014.All rights reserved.20天云&HDS提供混合计算的能力HDS CR 220SHadoop DistributionsStreamingSearchingIndexMemDBBDP(BeagleData Platform)Integrati

13、on/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt:DataView EasyFail sensedata zip/data lifescycleDR大数据储存大数据处理数据分享数据分享数据检索数据检索数据数据分析分析数据数据展现展现 Hitachi Data Systems Corporation 2014.All rights reserved.21基于事件的可视化管理快速就绪的大数据平台天云大数据平台:BDPHadoop集群部署与管理 Hitachi Data Systems Corporation 2014.All rig

14、hts reserved.22管理控制台 HA管理 集群性能监控 节点性能监控 集群磁盘监控告警类型可视化的运维管理天云大数据平台:BDP Hitachi Data Systems Corporation 2014.All rights reserved.23天云&HDS解决方案产品配置规格型号大数据一体机 满配大数据一体机 半配管理服务器2台CR220S服务器，每服务器配置：2*IntelXeonE5-247064G内存2*300GB硬盘，12*3.5寸3T硬盘1个4端口高性能千兆以太网卡2台CR220S服务器，每服务器配置：2*IntelXeonE5-247064G内存2*300GB硬盘，

15、12*3.5寸3T硬盘1个4端口高性能千兆以太网卡数据服务器14台CR220S服务器，每节点配置：2*IntelXeonE5-247064G内存2*300GB硬盘，12*3.5寸3T硬盘2个高性能千兆以太网卡6台CR220S服务器，每节点配置：2*IntelXeonE5-247064G内存2*300GB硬盘，12*3.5寸3T硬盘2个高性能千兆以太网卡网络与交换2台可管理全千兆以太网交换机2台可管理全千兆以太网交换机其他选配硬件附加硬件组件：1U机架式KVM标准42U机柜外置UPS供电设施（选配）附加硬件组件：1U机架式KVM标准42U机柜外置UPS供电设施（选配）大数据软件BeagleDat

16、aPlatformV1.516节点License授权BeagleDataPlatformV1.58节点License授权升级与扩展使用交换机堆叠方式连接多个一体机可升级至大数据一体机满配支持服务提供软硬一体化整体支持硬件：三年保修服务软件：一年维保服务（可续订）提供软硬一体化整体支持硬件：三年保修服务软件：一年维保服务（可续订）Hitachi Data Systems Corporation 2014.All rights reserved.24天云&HDS大数据一体机方案优势总结更低的成本更低的成本更高的性能更高的性能由全新分布式架构带来由全新分布式架构带来混合的架构混合的架构存储存储和计算

17、的能力同时具和计算的能力同时具备备软硬件软硬件结合的方案结合的方案强大的计算能力强大的计算能力分布式计算分布式计算NoSQLNoSQL数据管理应用更数据管理应用更加灵活加灵活高可扩展和高可用高可扩展和高可用线性扩展，性能线性提升线性扩展，性能线性提升多节点多副本带来高可用多节点多副本带来高可用性性 Hitachi Data Systems Corporation 2014.All rights reserved.25天云&HDS大数据一体机卖点总结 强大强大数据存储能力数据存储能力 先进的硬件架构先进的硬件架构 一流的大数据平台软件一流的大数据平台软件 业界领先的性能业界领先的性能 就绪的软件

18、最佳实践就绪的软件最佳实践单机柜提供1PB的存储能力 Hitachi Data Systems Corporation 2014.All rights reserved.2626大数据落地的经验（天云科技）Hitachi Data Systems Corporation 2014.All rights reserved.27大量用户无法精准识别重复电话销售产生的抱怨对品牌形象产生伤害通过统一用户视图进行理财产品推荐实现精准客户营销避免传统轰炸式电话营销对品牌的负面影响人数占比 年龄年收入（元）累计标保和缴付保费合计件均标保寿险缴付金额两全缴付金额年金缴付金额万能缴付金额意外缴付金额医疗缴付金额

19、重疾缴付金额投连缴付金额0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%40180600108002130078001100380012400160010030070002.07%472940074007110011000600510015006370010050013005000.68%33820065003070054002008002930020001001001000.84%5336005800805

20、0010400053002500530000200772001.77%42974005300980039004003300300017001003004000某保险公司大数据于精准营销 Hitachi Data Systems Corporation 2014.All rights reserved.28光大银行更侧重理财产品的推广。招商银行更关注大众生活。两大银行的面向品牌认知对比要精确，还是要混杂效率 Hitachi Data Systems Corporation 2014.All rights reserved.29 Hitachi Data Systems Corporation 2

21、014.All rights reserved.29Questions and Discussion Hitachi Data Systems Corporation 2014.All rights reserved.30 Hitachi Data Systems Corporation 2014.All rights reserved.30Thank You每一个优秀的人，都有一段沉默的时光。那一段时光，是付出了很多努力，忍受孤独和寂寞，不抱怨不诉苦，日后说起时，连自己都能被感动日子。22.8.822.8.8Monday,August 08,2022企业的出路在于产品更新换代。16:36:5

22、116:36:5116:368/8/2022 4:36:51 PM在企业内部，只有成本。22.8.816:36:5116:36Aug-228-Aug-22人人是人才，赛马不相马，给每一个愿意干事的人才以发挥才干的舞台。16:36:5116:36:5116:36Monday,August 08,2022旁观者的姓名永远爬不到比赛的计分板上。22.8.822.8.816:36:5116:36:51August 8,2022我不理解这句话的意思。2022年8月8日下午4时36分22.8.822.8.8渐进思想是创新的最大敌人。2022年8月8日星期一下午4时36分51秒16:36:5122.8.8无

23、须匆忙，该来的总会来，在对的时间，和对的人，因为对的理由。2022年8月下午4时36分22.8.816:36August 8,2022人在得意时须沉得住傲气；失意时则要忍得住火气。2022年8月8日星期一16时36分51秒16:36:518 August 2022学而不厌，诲人不倦。论语。下午4时36分51秒下午4时36分16:36:5122.8.8管理就是把复杂的问题简单化，混乱的事情规划化。22.8.822.8.816:3616:36:5116:36:51Aug-22金钱损失了还能挽回，一旦失去信誉就很难挽回。2022年8月8日星期一16时36分51秒Monday,August 08,2022自知之明是最难得的知识。22.8.82022年8月8日星期一16时36分51秒22.8.8谢谢各位！谢谢各位！