1、新天大数据平台0大数据将是下一个自然资源大数据将是下一个自然资源“我们首次在全球的经济是基于一种关键的资源我们首次在全球的经济是基于一种关键的资源-信息信息,它它不不 但可以再但可以再生生,它是自我生产它是自我生产,永远不会用尽永远不会用尽,它唯一问题是人它唯一问题是人 们会在里面溺们会在里面溺死死” 大趋势作家大趋势作家John Naisbitt 任何资源的获取,都需要经过开采、提炼和传递1大数据是什么?大数据行业现状?你想从大数据中得到什么?怎么从大数据中获得价值?关于大数据的思考21分钟时间新浪可以发送新浪可以发送2万条微博万条微博苹果可以下载苹果可以下载4.7万次应用万次应用淘宝可以卖
2、出淘宝可以卖出6万件商品万件商品人人网可以发生人人网可以发生30万次访问万次访问百度可以产生百度可以产生90万次搜索查询万次搜索查询3数据增长趋势4大数据市场规模预测增长速度超过30%市场规模突破100亿亿32.5%的公司处于测试阶段29.5%的公司实践大数据24.5%的公司开发准备就绪不了解的只占13.5%36.5%进行离线处理23.2%进行实时处理40.3%两种都做5大数据企业腾飞的“肾上腺素”MBGBTBPBERP/CRM付款薪金存货联系人订单跟踪销售管道广告移动协作电子商务WEB 2.0Web 日志数字市场搜索市场网上推荐BIG DATA日志文件空间 & GPS 坐标数据数据集市电子政
3、务气候文本/图像社交网络音频/视频传感器/RFID/设备网页点击流Wikis/博客5.5 Billion Subscribers WW (70+% of population)设备爆炸2 Billion Connected People 社交网络Web Traffic up from130 Exabyte (10 E18) in 2010 to 1.6 ZettaByte (10 E21) in 2015无处不在的连接10 Billion Connected Sensors传感器网络大数据来源大数据获取的主要趋势6现在企业面临的问题不是数据太少了,是数据太多了?7你想从大数据中得到什么?社交网
4、络和互联网分析监控品牌和产品评价历史数据通过对历史数据的挖掘分析建立新的商业模型高级分析功能如何更好预测未来结果8传统大数据解决方案(Apache)HDFSMapReduceHivePigMahoutHbaseZookperSqoopAmbari9传统大数据架构与和创新天大数据架构比较传统大数据架构分析传统大数据架构分析和创新天大数据架构分析和创新天大数据架构分析集群维护难度大、复杂的集群设置提供Cloudera Manager,能快速部署集群并实时监控状态,降低维护成本开源Hadoop生态系统软件存在各种Bug提供cloudera发行版(基于稳定Apache Hadoop开发),开源且bug
5、少缺乏商业支持提供完整的商业支持复杂的版本与生态系统版本较简单,便于管理10和创新天的大数据解决方案获取组织分析决策HDFSHbaseHiveETLYongHong BIMapReduceHUE实时决策复杂场景处理Spark11企业维护人员转型?HadoopHiveMapReduce还是。还是。12企业人员转型分析DBAHadoop快速转型Hive/Impala13图形化操作界面14集群状态实时监控15新的数据分析方法是怎样的?管理层看固定报表少数人了解数据只有IT人员才会操作的BI系统数据量大时需要提前计算汇总好结果传统BI:埋没数据价值敏捷BI:释放数据价值VS一线人员灵活分析数据数据指导
6、每个人的业务运营人人会用的可视化分析工具海量数据实时计算固定的不只是报表,还有思维中断的不只是工作,还有思考提升的不只是性能,还有视野16传统商业智能架构BI界面OLTP其它数据OLTP好几个月甚至跨年的上线周期N种产品,成本昂贵与计划经济相似的商业智能迄今为止,打造了传统的企业数据仓库的机构,有83%的用户没有用数据仓库做数据分析,而是继续使用Excel等其他工具做数据分析。 OLAP工具, 报表工具, 仪表盘工具, 分析工具数据集市数据仓库数据抽取、转换、装载(ETL)Forester数据17敏捷商业智能架构细节数据,轻量建模:1/4的上线周期一个产品,成本低廉:1/4的成本与市场经济类似的商业智能:探索式BI利用探索式BI工具,48%的BI用户能从大数据中找到他们想要的答案;如果不是探索式BI工具,那么只有23%的BI用户能做到这一点。用户BI界面OLAP工具, 报表工具, 仪表盘工具, 分析工具ETL和内存数据集市(压缩、MPP)ODSEDWOLTPTDWI数据一个产品!18效果演示19您的梦想 我们的使命20