1、技术培训2016年1月第1页，共39页。大数据平台技术概述 批处理型大数据技术：批处理型大数据技术：适合利用大规模集群处理海量规模数据，一般并发度适合利用大规模集群处理海量规模数据，一般并发度较低，任务响应时间为分钟或小时级；较低，任务响应时间为分钟或小时级；相关技术：、相关技术：、实时实时/准实时型大数据技术：准实时型大数据技术：集群规模可大可小，处理交互式或高并发任务，响应集群规模可大可小，处理交互式或高并发任务，响应时间在毫秒或秒级别；时间在毫秒或秒级别；相关技术：、相关技术：、混合型：混合型：设计上试图同时满足上述两种类型数据处理要求，可设计上试图同时满足上述两种类型数据处理要求，可能
2、需要克服一定的技术瓶颈；能需要克服一定的技术瓶颈；相关技术：、相关技术：、第2页，共39页。基础第3页，共39页。基础第4页，共39页。架构定义：存储和管理大规模结构化数据的数据仓库系统，实现对应用数据集的模型定义、存储组织、索引、查询和统计分析功能。数据存储和管理：主要使用存储引擎；支持海量结构化、半结构化数据的存储和管理。数据导入导出：采用分布式加载工具，未来集成进实现。功能的一部分。数据统计分析：提供92兼容的查询接口、基本统计能力，并行分析。集成多种开源查询引擎，并支持基于代价查询优化。系统管理：集成的系统监控、数据管理、用户管理、日志和告警等。数据备份恢复：支持高性能的数据库/表备份
3、和恢复。第5页，共39页。基础第6页，共39页。组件自动化部署工具导入导出工具编译打包工具加载工具自动化测试工具开发者工具包一致性检验工具 外围工具 SQL引擎ScanMR关系型数据库分布式文件系统分布式 监控/管理元数据存储索引存储查询能力存储能力数据存储第7页，共39页。组件 元数据管理模块 第8页，共39页。组件&处理模块备份还原建表、建索引/权限管理用户管理自定义、处理模块，这部分主要处理自定义的命令，可以灵活添加修改。第9页，共39页。模块 引擎表模块索引查询读取：的核心模块，主要工作是表的增、删改、查，导入等。导入：第10页，共39页。组件 存储引擎模块为了满足不同应用领域对数据存
4、储的要求，在提供统一访问接口的前提下，底层支持多种特性不同的数据存储引擎。引擎名称特点适合场景引擎名称特点适合场景()纯文本格式；原始文件可直接入库，支持多种压缩算法。入库效率要求高；数据在多应用间共享，且其他应用要求文本存储。()行-列混合存储方式；支持多种压缩算法。对数据入库压缩比有较高要求；数据查询针对特定列执行。()对数据局部排序的行存引擎，支持多种压缩方法；支持丰富的索引机制。同时具有精确定位和海量数据分析需求的场景。数据实时入库，保证行级的数据一致性，具有一定的幵发能力。数据有需求，且幵发用户较多的场景。第11页，共39页。组件 索引模块 1(,(,)部分详单类应用要求在短时间内获
5、取对海量数据的精确匹配查询结果，现有开源数据仓库系统系统无法满足。()134993885232913500000004000110241349938852329,135000000040001,1024134993885677013500000049000220481349938856770,135000000490002,204813499388543971350000010800015121349938854397,135000001080001,51213499388552751350000012700031281349938855275,135000001270003,128第12页，
6、共39页。组件 智能路由模块概述 模块 开发：以的 作为基础，进行开发 通过、等扩展机制对进行扩展 处理对象：主要用于高并发索引查询和操作 所有扩展的语法通过 进行处理 结果处理：返回的结果通过适配，转换成一致的结果第13页，共39页。基础第14页，共39页。用户模型 M N第15页，共39页。用户管理 示例 创建用户/角色 修改密码 修改数据库所有者身份|;|;第16页，共39页。用户管理 示例 查看所有用户和角色 ;|2|U1|9|2 (0.229);|R1|2 (0.046)第17页，共39页。基础第18页，共39页。权限模型 权限结构第19页，共39页。权限模型 权限授予/回收方式第2
7、0页，共39页。权限模型 系统权限 第21页，共39页。权限模型 系统权限语法 语法 示例 赋予系统权限 ,.;收回系统权限 ,.;*当用户名为全数字时，请在引用用户名时使用双引号;1;1;2;第22页，共39页。权限模型 对象权限 第23页，共39页。权限模型 对象权限语法 语法 示例 赋予对象权限 ,.,.;,.;收回对象权限 ,.,.;,.;|.11;11;,T22;T31;第24页，共39页。权限管理 查看权限 查看被赋予的系统权限 语法 示例 ;|U1|()|()|3 (0.127)第25页，共39页。权限管理 查看权限 查看被赋予的对象权限 语法 示例|;.;(0.002)t1 u
8、1;(0.01);|U1|1|1 (0.129)第26页，共39页。用户权限说明 是中的一个特殊的角色，所有用户都隐式的拥有角色所拥有的所有权限；只有数据库管理员（）可以将系统权限赋予其他用户或从其他用户收回系统权限。数据库拥有者（）可以赋予或收回其所拥有的数据库内的数据库对象的对象权限。管理员默认拥有所有系统权限和对象权限；数据库所有者默认拥有其下数据库内的所有数据库对象上的所有对象权限。第27页，共39页。第28页，共39页。负责创建和管理连接，对于每次连接请求，根据找到相应的进行连接。是运行在客户端用来转换 和下层数据库协议的适配器()。用户的程序可以通过标准的 访问中的数据。第29页，
9、共39页。认证数据库对象管理获取列表创建删除获取的列表获取的写操作服务状态管理获取服务状态更改服务状态统计信息查询获取系统级别统计信息获取服务级别统计信息配置信息管理获取服务器配置设置服务器配置第30页，共39页。认证认证在消息头中必须有以下的消息头：发起操作的时间，按照“,d z”的格式发送数据。：用于认证。客户端在发送请求前，使用“用户名/密码”计算出头部的值。值的格式为“”。为认证方法，目前支持的为“”。为用户名；为5(密码)当一个消息到达 的时候，会首先判断字段值是否合法，如果格式合法，并且与系统当前时间的时间差在300s之内，则认为该消息有效，之后需要根据消息头中的信息，取得该用户对
10、应的密码重新计算一遍，如果计算得到的与消息头中的一致，则认为通过认证，否则认为认证失败。:,23 2011 09:13:07 第31页，共39页。示例1服务状态管理-例获取系统所有服务，以及服务的状态内容：1.1:,23 2011 09:13:07:第32页，共39页。示例1服务状态管理-例返回系统所有服务，以及服务的状态内容：1.1 200:.第33页，共39页。是的系统组件之一，实现系统的告警信息采集和上报功能。所做的工作有定义定义消息标识、消息内容将定制化的和内容集成进服务端代码第34页，共39页。数据库访问方式-使用 连接完整的格式（表示可选）的主要参数：参数值说明 名称。在中将由此区分不同的。或地址启动 的服务器地址。缺省为9092启动 的监听端口。依赖于 的监听端口号配置。缺省为中的名。第35页，共39页。数据库访问方式-使用 连接示例()=;=10.133.5.74:9092;=;=123123;();=(,);=();=(*10);=();(e)();(!,e);(!,e);(1);第36页，共39页。其他功能 数据库备份/恢复 数据表备份/恢复 元数据备份/恢复 分类的日志系统 基于的管理页面 基于的安全防护 基于的配置管理和监控第37页，共39页。谢谢 谢谢！第38页，共39页。演讲完毕，谢谢观看！第39页，共39页。
