Hive开发规范、最佳实践.pptx

1、Hive开发规范、最佳实践制定规范的目的 低沟通成本 安全 易维护 高效开发 减少“回锅”跳过已知的“坑”制定规范需要避免 增加管理成本 增加不必要的流程 影响开发效率 形式主义。好规范还是坏规范？好规范的标准：简单 清晰 易遵循Hive应用现状 已经上线的项目 UBT 数据进hive ABTest OrderSearch。后续项目 UBT 横向业绩 Mysql汇总表切hive V1.0Hive应用现状 涉及到的组 Data Infrastructure 基础分析服务组 酒店组Hive应用现状 项目开发领先于规范制定 摸石头过河的过程 不断提炼、完善规范的过程规范项目开发流程命名规范数据库、表

2、、视图用户规范项目开发流程 创建Git项目 设计数据库、表结构 开发需要的HiveSQL、Shell脚本 数据导入Hive（可选）项目开发流程 在开发Hadoop集群上开发、测试 审核规范 性能测试 在生产环境部署项目开发流程-Git Git公司统一的版本管理工具 推荐使用的客户端 msysgit Git+TortoiseGit项目开发流程-Git Git公司统一的版本管理工具 角色：Master全部权限 Developer读、写、Reporter读、clone Guest读项目开发流程-数据库设计 设计数据库、表结构 根据业务需求，设计非结构化的表结构 是否需要分区 只初始化一次 避免在SQ

3、L中 创建数据库 建表 drop表项目开发流程-开发Hive SQL 开发 HiveSQL 使用 Shell 封装 SQL 项目开发流程 数据导入 需要从外部数据源导入数据 几种模式：用SQOOP从数据库导入到Hive Hbase 提供的RC File，直接创建为外部表 CSV/TSV文件上传到HDFS，创建外部表 kettle项目开发流程 开发 在开发Hadoop集群上开发、测试 Job是否需要多日重跑？对应数据是否需要修复？配置信息单独维护 目录结构与生产环境一致 目录结构与Git项目的目录结构一致 Windows上的文件上传至linux机器上：Dos2unix避免r的问题项目开发流程 审

4、核 审核规范 交叉检查 每个小组内设置专门的对口人项目开发流程 性能测试 判断需要处理的数据量 超过20分钟的脚本，需要检查 整个job的运行时间项目开发流程 部署 在生产环境部署 每个小组专门对口人负责 申请数据库App账户 修改配置信息：HDFS集群信息 数据库配置 更新Release Notes 到Confluence 监控job运行项目开发流程 部署 存在的问题:开发环境集群计算能力不足 熟悉过程数据库层SourceDWTmpDIMOLAPReportTmp query每层内按照业务线切分SourceDWDimensionOLAPReportDim_UBTDim_AbTestDim_H

5、otelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotel数据库命名规范 总体原则：总体原则：数据库名以DB结尾 采取首字母大写 用下划线_风格的拼写规范 专门的临时库用于中间表 数据库命名规范数据库层数据库层库名库名Report工作层工作层Htl_TmpDBReport层层Report_HtlDBOLAP工作层工作层Htl_TmpDBOLAP层层OLAP_HtlDBDW 工作层工作层Htl_TmpDBDW 层层DW_HtlDBSource 层层Source_HtlDBDimenstion层层Dim_UbtDBQuery&analy

6、sis层层Tmp_UbtQueryDB表命名规范 Source 层层 基本原则：与源表名一致 缺陷：会有多种风格的表名存在 Dimension 层层表名必须以表名必须以Dim为前缀为前缀 其他层其他层首字母大写、不用下划线不用下划线的驼峰命名规范事实表以Fact为前缀表命名规范实例 Fact_UBT_Order_Online X FactUBTOrderOnline ubt_dim上的维表 Platform X 维表 DimPlatform 列命名规范 Source层，保持原有列名不变 其他层 首字母大写、其余字母小写、不用下划线的驼峰风格 避免使用关键字 实在不能避免，使用转义例如 From

7、最佳实践 总体原则：不同角色，不同开发工具 与时间相关的表，按照时间做分区 支持多日的job同时运行，互不影响 良好、可维护的目录结构最佳实践角色 两大类：ETL 分析师最佳实践角色 ETL 自动运行Hive上ETL Job 推荐使用环境：SSH 客户端(Secure SSH Client)Hive 命令行客户端 Shell脚本内部调用 Hive f sqlFile.sql 权限：业务线内部数据库，写权限 业务线外数据库，读权限最佳实践角色 ETL 账户列表 bihtl 酒店组 bipkg度假组 biflt机票组 bipub公共组 bitrain无线/新业务组 bicorp商旅组 bianal

8、ysis基础分析服务组 bimob无线/新业务组最佳实践角色 Hive 自定义配置 UDF 自动加载.hiverc最佳实践角色 分析师 AdHoc Job 推荐使用环境：Squirrel GUI界面查询 权限：业务数据库，读权限 个人临时库，写权限最佳实践多日job 支持多日job并发运行，要求：所有中间表都是分区表 预先创建好TmpDB以及对应的Tmp表 采用 INSERT OVERWRITE TABLE ttt PARTITION(d=YYYY-MM-DD)DML语句覆盖旧数据最佳实践ETL Job开发 小的Git项目 管理代码、脚本 目录结构与运行环境完全一致 专门的建库、建表脚本 剥离

9、与环境相关的配置文件 在开发环境上完成开发 用crontab部署试运行最佳实践ETL Job开发实例 Git项目目录结构 binshell脚本 data 数据文件 lib放置jar包 etc 配置文件 schema 建库、建表语句 script hive脚本 logs 日志文件最佳实践ETL Job开发实例 部署到/home/bianalyais/abTest binshell脚本 data 数据文件 etc 配置文件 schema 建库、建表语句 script hive脚本 logs 日志文件最佳实践ETL Job开发实例 文件后缀名规范 shell脚本.sh 配置文件.properties

10、 建库、建表语句.sql hive脚本.sql 日志文件.log最佳实践ETL Job开发实例shell脚本 使用BASH解释执行#!/bin/bash 智能判断当前目录 curDir=$(cd dirname$0;pwd)cd$curDir 判断参数格式 内部使用相对目录 内部不包含配置信息最佳实践ETL Job开发实例shell脚本实例：#!/bin/bashcurDir=$(cd dirname$0;pwd)cd$curDirsource common.shproperties=./etc/db.abtest.propertieshiveDb=$hive_source_abtestdbs

11、ourceDb=$mysql_abtestdb./commonFullTable.sh$properties$hiveDb experiment$sourceDb experiment最佳实践ETL Job开发实例配置文件内容：数据库用户数据库密码数据库驱动数据库 jdbc url最佳实践ETL Job开发实例配置文件实例：db.dw.properties#!/bin/bashuser=password=driver=com.microsoft.sqlserver.jdbc.SQLServerDriverdbUrl=jdbc:sqlserver:/192.168.99.37:28747;databaseName=最佳实践-建库 建库语句 指定location create database if not exists DW_AdServerDB location$location/DW_AdServerDB.db;建表时，按照字符类型的日期分区PARTITIONED BY(d string);格式为 YYYY-MM-DD例如：2013-07-23