1、2016数据部分享交流数据部分享交流Dont put off until tomorrow what you can do todayCONTENTS1ONE数据部数据部2TWO工作对接工作对接3THREE康赛数据服务康赛数据服务4FOURQ&A0 1数据部数据部Education Intelligence 01普教数据工作普教数据工作高校数据工作高校数据工作1.1010203数据部数据部工作介绍工作介绍康赛数据服务与应用康赛数据服务与应用高校高校支持支持1.20 2工作对接工作对接数据接口（原则上项目经理按标准接口文档去拿，特殊情况支持）数据接口（原则上项目经理按标准接口文档去拿，特殊情况支
2、持）常用接口形式：数据库视图、表、常用接口形式：数据库视图、表、WebService、RSS、HTTP、Excel数据文件数据文件整个项目的整个项目的ETL工作工作(数据整合工作数据整合工作)数据中心数据中心的的创建创建及及后期某些后期某些视图初始化、优化视图初始化、优化共享数据中心的建设共享数据中心的建设项目交付时有必要的数据培训工作项目交付时有必要的数据培训工作2.12.2项目上有条件最好升级到最新的项目上有条件最好升级到最新的DCI 3.4，稳定且有作业功能！，稳定且有作业功能！设置设置2-3个引擎，避免跑死个引擎，避免跑死;替换一个替换一个64位的位的JRE文件到文件到DCI的安装目录
3、，的安装目录，修改修改DCI（Start-DCI.bat）的配置内存；）的配置内存；比较更新数据的时候利用时间戳增量抽取，减少后期比较的数据量；比较更新数据的时候利用时间戳增量抽取，减少后期比较的数据量；选择最小最优的主键，千万不要全表做主键选择最小最优的主键，千万不要全表做主键在筛选（在筛选（SwitchCase）步骤前比较数据后，添加一个过滤记录，把没有变的数据过）步骤前比较数据后，添加一个过滤记录，把没有变的数据过滤掉；滤掉；减少非必要的排序记录主键；减少非必要的排序记录主键；sql减少函数使用；在过滤条件中，可以过滤掉最大数减少函数使用；在过滤条件中，可以过滤掉最大数量记录的条件必须放在量记录的条件必须放在where子句的末尾子句的末尾;尽量不要把函数放在过滤条件中；用尽量不要把函数放在过滤条件中；用EXISTS替代替代IN、用、用NOT EXISTS替代替代NOT IN;避免在索引列上使用避免在索引列上使用IS NULL和和IS NOT NULL;2.30 3康赛数据服务康赛数据服务Micro Cube030 4Q&ATHANK YOU
