大数据可视化平台建设及应用案例分析课件.pptx

1、大数据可视化平台建设及应用案例分析业务价值导向业务价值实现大数据基础平台行业应用提供一站式大数据应用支撑平台产品能力交换汇集挖掘分析可视化存储计算融合治理提供专业服务能力政府金融能源交通军工企业咨询设计算法定制实施运维建立大数据的数据之源复杂异构数据源实时性传输兼容大数据技术栈多人协作开发核心特色产品定位SDC 融合数据ETL 以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强大的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。提供高可用集群管理以及HA

2、能力，使得数据处理过程高效稳定。高效稳定操作智能便捷单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序任务执行一览无余构造大数据运行基石SDC 企业级一站式大数据基础平台大数据领域 - 存储计算为核心的基础平台组件融合Hadoop+Spark生态组件融合；MPP+Hadoop混合框架；国内组件支持最多，最丰富。统一存储数据收集及整合萃取能力横向扩展能力数据备份、安全存储能力数据

3、按策略存储能力全文检索基于数据的检索对结构化、半结构化、非结构化数据的全类型检索支持支持按类型分类呈现检索结果，在线播放音视频文件。交互式分析批量数据非实时分析能力秒级实时交互分析能力实时数据查询能力实时流计算亚秒级，低延时的实时流处理高可用的、基于内存计算的流计算引擎性能业界领先运维管理一键式安装可视化运维监控按需部署简单易用全生态安全加固 通过了权威机构性能评测 2017年6月，四方伟业SDC大数据基础平台参加了中国信息通信研究院大数据性能评测，取得了以下成绩： 比规定测试时间提前2天跑出性能结果。 与其它参评的企业相比，数据查询性能处于行业第一梯队。 性能评测场景30T数据情况下测试：

4、场景1：复杂SQL语句查询。在30T数据情况5条不同SQL语句5次查询， 分别执行时间为：202.7s ,258.0s, 50.8s,132.7s,53.1s. 最好执行速度为：1.7s/T 最坏情况：6.7s/T 场景2：简单SQL语句查询。在30T数据情况5条不同SQL语句5次查询， 分别执行时间为：52.9s ,34.9s, 66.3s,92.5s,79.8s. 最好执行速度为：1.1s/T 最坏情况：3s/T国家版权云项目案例难点原数据的种类多样，大小不同，大数据平台存储方式不同，对后续用户检索效率有影响，需要按类型，大小存储到不同的组件，提升检索效率。解决思路1.大文件存放HDFS，

5、建立索引，将索引存入关系型数据库，小文件直接放入NoSQL数据库。2.提前配置好分类存储策略，自动分类存储： Size100M & Video 存储#001，10M Size = 100M & Video | Voice | Picture 存储#002，0M Size =10M& Video | Voice | Picture 存储#003 快速检索，性能高效可视化，资源使用情况查看500T 数据检索速度 平均小于=80A+类企业该类企业出口合格率高，出口数量金额较大，较多企业通过了ISO9000认证77,80）A类企业该类企业在数量、金额、批次上的合格率至少在90%以上，出口量较大75,7

6、7）B类企业部分合格率指标出现低于80%，但企业质量信用综合得分较高60,75）C类企业该部分企业中，存在至少一项合格率低于60%的企业较多，总体上合格率低，质量信用得分低，因数量较少，归为一类60D类企业黑名单或者封号企业，信用极差熵权法质量信用评估指标体系信用评估指标中文名不合格件数企业代码包装件数合格率企业名称货物总值(美元)企业类型不合格金额(美元)企业性质出口金额合格率检验方式出口批次黑名单标志出口不合格批次封号标志出口批次合格率备案标志二次检验次数是否通过ISO9000二次检验率支撑大数据丰富的可视化呈现组件多样化：Dashboard图表、高级复合图表、3D图表、WEB组件（交互式

7、选择类、容器类、布局类、表单类、高级Web应用类）数据多样化：结构化数据、文本数据、地理空间数据、关系网络数据、层级数据样式多样化：动态效果设计、精细化的样式自定义、动态背景、动画边框、组件皮肤、动态组件多样化数据筛选、组件联动、动态数据绑定、内外系统参数传递数据、组件、页面、业务实体场景互动与数据实时交流，让页面活起来事件交互自研SAE智能查询分析引擎，集多维分析、业务分析于一体，不仅仅是展示直接处理业务数据库，实时、便捷、灵活高性能完备的权限控制体系，功能权限、数据权限支持集团式、区域式管理灵活的数据授权方式安全性完全开放的组件、主题开发规范集成任意类型组件，效率高、多样化直接DOM对象操

8、作，代码直接注入，无需编译个性化业务需求快速、灵活实现，游刃有余二次开发无需技术背景，业务人员可自服务完成分析需求拖拽式的可视化编排方式，极致的用户体验敏捷式页面开发，实改时生效,快速响应业务变化敏捷1、快速构建中国特色大屏效果，满足实时变化。2、提供可视化的快速配置服务，构建各类大数据可视化系统。政府部门提供快速开发可视化系统的平台，降低成本，提高开发效率。10个研发 变为 2个研发+3个实施集成合作商1、提供自助式分析的产品，部门、领导进行决策分析2、提供构建业务可视化的平台，不依赖软件公司，自己设计系统。企业支撑大数据丰富的可视化呈现管理驾驶舱数据驾驶舱基于行业决策需求，通过详尽的指标体

9、系，实时反映行业的运行状态，将采集的数据形象化、直观化、具体化。 数据可视数据分析用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。大屏展示提供共享信息、决策支持、态势显示技术；涉及多种信息接收处理显示、多类人员操作控制、部门管理协调等需求实现数字沙盘数字沙盘能够兼容所有类型的三维空间数据，将这些空间数据放入数据沙盘进行立体展示，并提供三维互动操作、数据标注、数据轨迹、实时告警、数据趋势演进等功能构成数据沙盘可视化技术。自动化智能数据建模技术 传统的数据建模方式，根据模型需求的多寡，往往需要投入大量的专业IT人员手动编辑SQL语句完成模型构

10、建。ME产品从用户易用性出发，运用先进的AI技术对数据进行智能建模，减少用户对于SQL语句的依赖.创建数据集添加数据源建立模型自动化智能数据建模技术13构建交互部署控件系统授权权限共享跨平台数据同步分享技术组件式数据交互技术45制作数据高自由度数据编排技术自助式数据分析技术2数据模型组件智能高自由度数据编排技术 高自由度数据编排技术可对不同种类的业务数据进行自定义拖拉拽操作布局，对每一个维度、每一项指标、每一张报表、每一个组件、每一组场景都可进行随心所欲的快速编排，配合自动化智能数据建模技术充分体现数据的灵活性，让数据在多维的视觉下更为生动，准确，直观，真实，远远超越TABLEAU等同类产品数

11、据呈现效果；开放自助式数据分析技术自助式数据分析技术结合智能数据建模、数据编排、可视化交互技术，实现图形化情报信息查询、可视化关联分析、证据链和情报线索发掘等功能。该技术旨在利用人的洞察把人的思想与计算机的运算能力结合起来，通过直观的多维可视、交互手段，帮助人捕捉到事物之间的关联线索。灵活跨平台数据同步分享技术&组件式数据交互技术ME旨在帮助使用者在任何时间、任何地点、通过任何移动通讯设备处理与业务相关的任何事情。这种全新的数据分享交互模式，可以让使用者摆脱时间和空间的束缚。数据信息可以随时随地通畅地进行交互流动，工作将更加轻松有效，整体运作更加协调。有助使用者提高管理效率，推动效益增长。共享

12、减少数据接口兼容性开发成本数据库RDBMS、Excle/CSV文本数据源、基于hadoop的大数据平台数据源以及其他多种JDBC数据源降低对专业IT人员的投入在数据建模过程中，减少对SQL语句编写的场景，未接受过专业编程培训的用户也能够通过简单的可视化操作，将数据库中的数据表创建成待分析的数据模型；增加数据灵活性在多维分析的行业智能解决方案中ME产品更尊重市场变化，为用户建立一套更灵活的数据建模混合方案。着力基础数据抽取，不仅能够满足星型和雪花模型还能满足用户自定义的数据模型创建；保障安全共享提供了数据安全机制，用户能够对访问数据模型进行权限设置管理，也可以通过授权方式共享给其他用户使用，即保

13、证了数据的访问权限，也保证了开放共享。支撑大数据丰富的多维分析报表01数据采集内置ETL工具，接入任意种类数据源，自定义算法规则，分布式大数据处理引擎。02数据存储RDB与大数据数仓结合，横向扩展支持PB级别以上数据量安全存储。03数据分析MOLAP于ROLAP结合，大数据分析引擎，多视角，多粒度快速呈现分析结果。04数据呈现丰富的可视化组件，涵盖2D、3D、GIS，辅助插件齐全，多终端流畅呈现。BE是一套面向大数据时代以及人工智能时代的BI工具！强悍的大数据处理能力 通过分布式数仓能力理论上支持的数据量可以无限大； 覆盖所有常用关系型数据库，大数据仓库以及常用文本数据。 BE支持表关联、过滤

14、、转换、拆分、聚合、自定义SQL等10余种预处理方式； 处理1000万级别的数据，BE可以在3秒内完成。丰富强大的算法 支持100余种算法； 其中，预测回归算法10余种；灵活的扩展能力 快速响应，满足用户各种定制化需求 普通组件可在3日内完成定制；强大的可视化效果 支持pc、手机、平板多终端呈现 内置24种图表组件，10种报表组件 根据数据特征智能推荐最合适的图表组件联合多个异构数据源拖拽可视编辑数据处理流程算法节点丰富，可随时扩展直接SQL注入能力数据模型切换维度/度量/参数过滤排序时序轮播分析特性二维数轴图表分析显示数据分析快照智能图表选择10余种可视化插件可视化样式设置数据挖掘预测长远分

15、析问题提高决策质量深入分析问题整合信息孤岛整体分析问题提高工作效率避免资源浪费帮助企业进行风险预警防控帮助企业开源节流增加利润3 M3M公司客户痛点：n 已有BI工具灵活性有限，不能满足项目和产品利润分析的要求n 已有平台复杂度高，缺乏专业的IT人员，无法及时响应业务需求解决方案： 实时某业界领先BI产品，为全业务员工不是一套系统 整合公司数据仓库、零散业务库、文件数据到统一的数据库中 使用BI进行全球范围内的跨业务数据分析美国著名制造公司，拥有多种领先技术，在个人办公，医疗，电子，图像显示灯领域占有重要份额，员工人员69000，营销收入：229亿美元实施收益经营数据的分析时间降低了75%，快速响应市场变化管理层能够直观看到项目绩效，及时提高团队的效率的业务能力公司存货水平得到有效控制，与实际销售量基本一致感谢聆听 批评指导