1、Hugetable技术培训2016年1月第1页，共39页。大数据平台技术概述 批处理型大数据技术：批处理型大数据技术：适合利用大规模集群处理海量规模数据，一般并发度较低，任务响应时间为分钟或小时级；相关技术：MapReduce、Hive、Pig 实时实时/准实时型大数据技术：准实时型大数据技术：集群规模可大可小，处理交互式或高并发任务，响应时间在毫秒或秒级别；相关技术：Impala、Spark SQL 混合型混合型：设计上试图同时满足上述两种类型数据处理要求，可能需要克服一定的技术瓶颈；相关技术：HBase、HugeTable第2页，共39页。HT基础第3页，共39页。HT基础第4页，共39页
2、。HT架构HugeTable定义：存储和管理大规模结构化数据的数据仓库系统，实现对应用数据集的模型定义、存储模型定义、存储组织、索引、查询和统计分析组织、索引、查询和统计分析功能。数据存储和管理：主要使用Hbase存储引擎；支持海量结构化、半结构化数据的存储和管理。数据导入导出：采用HTLoad分布式加载工具，未来集成进CrossData实现。ETL功能的一部分。数据统计分析：提供SQL92兼容的查询接口、基本统计能力，并行分析。集成多种开源查询引擎，并支持基于代价查询优化。系统管理：集成的系统监控、数据管理、用户管理、日志和告警等。数据备份恢复：支持高性能的数据库/表备份和恢复。第5页，共3
3、9页。HT基础第6页，共39页。HT组件自动化部署工具导入导出工具编译打包工具加载工具自动化测试工具开发者工具包SDK一致性检验工具 外围工具SQL Cli/xDBCNative ScanMapReduceSQL引擎ScanMR关系型数据库MySQL分布式文件系统HDFS分布式KV-Store HBase监控/管理元数据存储HFileORCTextFileRCFile索引存储查询能力存储能力数据存储第7页，共39页。HT组件 元数据管理模块Hive SQL EngineHive MetadataAPIMetadataStorage inMySQLSmart SQLEngineHive Meta
4、 Adapter第8页，共39页。HT组件 DDL&DML处理模块Parser备份还原建表、建索引DDL/DML权限管理用户管理自定义DDL、DML处理模块，这部分主要处理HT自定义的命令，可以灵活添加修改。Select/IUD第9页，共39页。HT模块 HBase引擎表模块索引查询读取：InputFormatInsertUpdateDeleteHT的核心模块，主要工作是HBase表的增、删改、查，导入等。导入：BulkLoad/OutputFormatHBase TableHiveHTSpark第10页，共39页。HT组件 存储引擎模块为了满足不同应用领域对数据存储的要求，HugeTable
5、在提供统一访问接口的前提下，底层支持多种特性不同的数据存储多种特性不同的数据存储引擎引擎。引擎名称特点适合场景引擎名称特点适合场景TextFile(File)纯文本格式；原始文件可直接入库，支持多种压缩算法。入库效率要求高；数据在多应用间共享，且其他应用要求文本存储。RCFile(File)行-列混合存储方式；支持多种压缩算法。对数据入库压缩比有较高要求；数据查询针对特定列执行。Hfile(File)对数据局部排序的行存引擎，支持多种压缩方法；支持丰富的索引机制。同时具有精确定位和海量数据分析需求的场景。K-V Store数据实时入库，保证行级的数据一致性，具有一定的幵发能力。数据有IUD需求
6、，且幵发用户较多的场景。第11页，共39页。HT组件 HT索引模块CREATE TABLE TB1(start_time BIGINT,msisdn STRING,file_name STRING,line_number BIGINT,PRIMARY KEY(start_time,msisdn)部分详单类应用要求在短时间内获取对海量数据的精确匹配查询结果，现有开源数据仓库系统系统无法满足。start_timemsisdnfile_nameline_numberrowkeyvalue(other columns)134993885232913500000004File00011024134993
7、8852329,13500000004File0001,1024134993885677013500000049File000220481349938856770,13500000049File0002,2048134993885439713500000108File00015121349938854397,13500000108File0001,512134993885527513500000127File00031281349938855275,13500000127File0003,128第12页，共39页。HT组件 智能路由模块概述 Smart SQL Engine模块 开发：以RDB
8、的SQL Engine作为基础，进行开发通过SERDE、INPUTFORMAT、OUTPUTFORMAT等扩展机制对Hive进行扩展 处理对象：主要用于高并发索引查询和IUD操作所有扩展的语法通过Smart SQL Engine进行处理 结果处理：Hive返回的结果通过适配，转换成一致的结果第13页，共39页。HT基础第14页，共39页。HT用户模型HT DBM N第15页，共39页。HT用户管理 SQL示例 创建用户/角色 修改密码 修改数据库所有者身份CREATEUSERIFNOTEXISTSuser_namePASSWORDstring|SALTbytesHASHbytesADMIN;C
9、REATEROLEIFNOTEXISTSrole_name;ALTERUSERuser_nameSETPASSWORDstring;SETPASSWORDstring;ALTERSCHEMA|DATABASEdatabase_nameSETAUTHORIZATIONuser_or_role_name;第16页，共39页。HT用户管理 SQL示例 查看所有用户和角色hugetableshowusers;+-+-+-+-+-+|NAME|ADMIN|REMARKS|ID|QUEUE_NAME|+-+-+-+-+-+|ROOT|true|2|root.hugetable.default|U1|fal
10、se|9|root.hugetable.default|+-+-+-+-+-+2rowsselected(0.229seconds)hugetableshowroles;+-+|ROLE_NAME|+-+|R1|PUBLIC|+-+2rowsselected(0.046seconds)第17页，共39页。HT基础第18页，共39页。HT权限模型 权限结构第19页，共39页。HT权限模型 权限授予/回收方式第20页，共39页。HT权限模型 系统权限CREATE SESSIONALTER SESSIONANALYZE ANYCREATE SCHEMAALTER SCHEMADROP SCHEMAC
11、REATE USERALTER USERDROP USERCREATE ROLEDROP ROLECREATE AGGREGATEDROP AGGREGATECREATE TABLECREATE ANY TABLEALTER ANY TABLEDROP ANY TABLESELECT ANY TABLEINSERT ANY TABLEUPDATE ANY TABLEDELETE ANY TABLECREATE ANY SNAPSHOTDROP ANY SNAPSHOTCREATE ANY PARTITIONDROP ANY PARTITIONCREATE VIEWCREATE ANY VIEW
12、ALTER ANY VIEWDROP ANY VIEWCREATE ANY INDEXALTER ANY INDEXDROP ANY INDEXCREATE SEQUENCECREATE ANY SEQUENCEALTER ANY SEQUENCEDROP ANY SEQUENCECREATE ALIASCREATE ANY ALIASDROP ANY ALIASEXECUTE ANY ALIASCREATE TRIGGERCREATE ANY TRIGGERDROP ANY TRIGGERCREATE CONSTANT第21页，共39页。HT权限模型 系统权限SQL语法 语法 示例-赋予系统
13、权限GRANTsystemPrivilege,.TOuser_or_role_name;GRANTALLPRIVILEGESTOuser_or_role_name;-收回系统权限REVOKEsystemPrivilege,.FROMuser_or_role_name;REVOKEALLPRIVILEGESFROMuser_or_role_name;*当用户名为全数字时，请在引用用户名时使用双引号GRANTCREATESESSIONTOPUBLIC;GRANTCREATETABLETOUSER1;REVOKEDROPUSERFROMROLE1;REVOKEALLPRIVILEGESFROMUSE
14、R2;第22页，共39页。HT权限模型 对象权限SELECTINSERTUPDATEDELETEALTERINDEXREFERENCESEXECUTECREATE SNAPSHOTDROP SNAPSHOTCREATE PARTITIONDROP PARTITION第23页，共39页。HT权限模型 对象权限SQL语法 语法 示例-赋予对象权限GRANTobjectPrivilege,.ONobjectTypeobjectName,.TOuser_or_role_name;GRANTALLPRIVILEGESONobjectTypeobjectName,.TOuser_or_role_name;
15、-收回对象权限REVOKEobjectPrivilege,.ONobjectTypeobjectName,.FROMuser_or_role_name;REVOKEALLPRIVILEGESONobjectTypeobjectName,.FROMuser_or_role_name;objectType:=TABLE|VIEW|INDEX|TRIGGER|ALIAS|CONSTANT|SEQUENCEobjectName:=schema_name.object_nameGRANTSELECTONDEFAULT.T1TOUSER1;GRANTALLPRIVILEGESONINDEXDB1.INX1
16、TOPUBLIC;REVOKEINSERT,UPDATE,DELETEONTABLET2FROMUSER2;REVOKEALLONT3FROMROLE1;第24页，共39页。HT权限管理 查看权限 查看被赋予的系统权限 语法 示例SHOWGRANTEDPRIVILEGESFORuser_or_role_name;hugetableshowgrantedprivileges;+-+-+-+|GRANTEE|GRANTEE_TYPE|SYSTEM_PRIVILEGES|+-+-+-+|ROOT|USER|ALLPRIVILEGES|U1|USER|(EMPTY)|PUBLIC|ROLE|(EMPT
17、Y)|+-+-+-+3rowsselected(0.127seconds)第25页，共39页。HT权限管理 查看权限 查看被赋予的对象权限语法示例SHOWGRANTEDRIGHTSFORuser_or_role_name|ONobjectName;objectName:=schema_name.object_namehugetableshowgrantedrights;Norowsselected(0.002seconds)hugetablegrantselectont1tou1;Norowsaffected(0.01seconds)hugetableshowgrantedrights;+-+
18、-+-+-+|GRANTEE|GRANTEE_TYPE|GRANTED_OBJECT|GRANTED_RIGHTS|+-+-+-+-+|U1|USER|DEFAULT.T1|SELECT|+-+-+-+-+1rowselected(0.129seconds)第26页，共39页。HT用户权限说明 PUBLIC是HT中的一个特殊的角色，所有用户都隐式的拥有PUBLIC角色所拥有的所有权限；只有数据库管理员（DB Admin）可以将系统权限赋予其他用户或从其他用户收回系统权限。数据库拥有者（DB Owner）可以赋予或收回其所拥有的数据库内的数据库对象的对象权限。管理员默认拥有所有系统权限和对象权限
19、；数据库所有者默认拥有其下数据库内的所有数据库对象上的所有对象权限。第27页，共39页。HT APIJDBC APIREST APISNMP API第28页，共39页。HT API JDBC API JDBC Driver Manager负责创建和管理JDBC连接，对于每次连接请求，Driver Manager根据URL找到相应的Driver进行连接。Hugetable JDBC Driver是运行在客户端用来转换JDBC API和下层数据库协议的适配器(adaptor)。用户的Java程序可以通过标准的JDBC API访问HugeTable中的数据。第29页，共39页。HT API REST
20、 API认证数据库对象管理获取Database列表创建Database删除Database获取Database的Table列表获取Table的SchemaDatabase写操作服务状态管理获取服务状态更改服务状态统计信息查询获取系统级别统计信息获取服务级别统计信息配置信息管理获取服务器配置设置服务器配置第30页，共39页。HT API REST API 认证认证在HTTP消息头中必须有以下的消息头：Date：发起操作的时间，按照“EEE,d MMM yyyy HH:mm:ss z”的格式发送数据。Authorization：用于认证。客户端在发送REST请求前，使用“用户名/密码”计算出Aut
21、horization头部的值。值的格式为“METHOD USERNAME:SIGNATURE”。METHOD为认证方法，目前支持的METHOD为“HTAUTH”。USERNAME为用户名；SIGNATURE为MD5(METHOD+DATE+密码)当一个REST消息到达Web Server的时候，Server会首先判断Date字段值是否合法，如果格式合法，并且与系统当前时间的时间差在300s之内，则认为该消息有效，之后Server需要根据Authorization消息头中的信息，取得该用户对应的密码重新计算一遍SIGNATURE，如果计算得到的signature与Authorization消息头
22、中的一致，则认为通过认证，否则认为认证失败。Date:Mon,23 May 2011 09:13:07 GMTAuthorization:HTAUTH username:signature第31页，共39页。HT API REST API 示例1服务状态管理-例获取系统所有服务，以及服务的状态Request内容：RequestGET/services HTTP/1.1Host:Date:Mon,23 May 2011 09:13:07 GMTAuthorization:HTAUTH username:signatureContent-Type:application/xml第32页，共39页。
23、HT API REST API 示例1服务状态管理-例返回系统所有服务，以及服务的状态Response内容：HTTP/1.1200OKContent-Length:xxxNameNodenn-host-nameACTIVEDataNodedn-host-nameACTIVE.第33页，共39页。HT API SNMP APISNMP APISNMP是Hugetable的系统组件之一，实现NOSQL系统的告警信息采集和上报功能。HT SNMP API所做的工作有 定义OID 定义TRAP消息标识、消息内容 将定制化的OID和TRAP内容集成进SNMP服务端代码第34页，共39页。HT数据库访问方
24、式-JDBC API使用JDBC API连接 完整的URL格式（表示可选）jdbc:hugetable:/ServerHost:ServerPort/dbname JDBC Driver的主要参数：参数值说明DriverNamehugetableHugeTable JDBC Driver名称。在URL中将由此区分不同的JDBC Driver。ServerHosthostname或IP地址启动HugeTable Server的服务器地址。ServerPort缺省为9092启动HugeTable Server的监听端口。依赖于HugeTable Server的监听端口号配置。dbname缺省为de
25、faultHugeTable中的Database名。第35页，共39页。HT数据库访问方式-JDBC API使用JDBC API连接示例publicclassJDBCClientpublicstaticvoidmain(Stringargs)StringdriverName=com.hugetable.Driver;Stringurl=jdbc:hugetable:/10.133.5.74:9092/default;Stringuser=root;Stringpassword=123123;try/Class.forName(driverName);Connectionconn=DriverM
26、anager.getConnection(url,user,password);Statementstatement=conn.createStatement();booleanquery=statement.execute(SELECT*fromhcdrLIMIT10);ResultSetresult=statement.getResultSet();catch(SQLExceptione)e.printStackTrace();System.out.printf(Connectionerror!,e);/log.error(Connectionerror!,e);System.exit(1);第36页，共39页。HT其他功能 HT Help HT HA 数据库备份/恢复 数据表备份/恢复 元数据备份/恢复 分类的日志系统 基于HUE的管理页面 基于Kerberos的安全防护 基于HControl的配置管理和监控第37页，共39页。谢谢 谢谢！第38页，共39页。演讲完毕，谢谢观看！第39页，共39页。
