1、第0页第第6 6章章 数据存储数据存储第1页目录目录1.1.分布式文件系统分布式文件系统2.2.云数据存储服务配置云数据存储服务配置3.3.数据库数据库4.4.数据库可视化工具数据库可视化工具第2页数据库可视化工具使用数据库可视化工具使用l在使用数据库时，通常需要各种工具的支持来提高效率。数据库软件本身的使用，包括查询和基本操作，都需要使用相关命令，在命令行中使用命令进行操作对于开发者而言并不是一件方便的事情。l图形用户界面（Graphical User Interface，GUI）是指采用图形方式显示操作界面，让用户进行可视化操作。常用的数据库可视化工具常用的数据库可视化工具 MySQL W
2、orkbench Studio 3T Kettle第3页MySQL WorkbenchSQL开发开发lMySQL Workbench是MySQL官方推出的一款为用户提供用于创建、修改、执行和优化SQL的可视化工具，集成了数据建模、MySQL工具箱、数据迁移工具、Workbench论坛等新功能，使用起来更加方便快捷。SQL开发（SQL Development）主要提供了与SQL相关的各种图形化开发和管理功能，开发人员和DBA在日常工作中会经常使用。在工作模式下可以创建一个新的数据库连接，编辑并运行SQL语句，和其他数据库管理软件一样，用户可以在图形化界面管理数据库表的基本信息。MySQL Wor
3、kbench常用的功能SQL开发第4页MySQL WorkbenchSQL开发开发lSQL开发主界面有4个功能。p新建连接（New Connection）p编辑表数据（Edit Table Data）p编辑SQL脚本（Edit SQL Script）p管理连接（Manage Connections）第5页MySQL WorkbenchSQL开发开发l新建连接（New Connection）p对数据库进行任何操作之前，需要先创建一个连接。在新建连接界面由上而下分别填入自定义连接名、连接协议、主机名、端口、用户名、默认数据库名，即可完成连接的创建。p需要注意的是并没有显示密码输入框，而是在“Pas
4、sword”提示符后显示了“Store in Vault”和“Clear”两个按钮。单击“Storein Vault”按钮：会弹出一个对话框提示输入密码，确认后密码将进行保存，之后通过此连接即可不需要再次输入密码。单击“Clear”按钮：会将保存的密码进行清除，下次登录需要手工输入密码。对于一些特殊的连接选项，如采用SSL连接、非默认的SQL_MODE等，可以在“Advanced”选项卡中进行选择。第6页MySQL WorkbenchSQL开发开发l编辑表数据（Edit Table Data）p通过“Edit Table Data”按钮或连接列表中的连接名，可以打开SQL编辑器（SQL Edi
5、tor）。在打开SQL编辑器前需要选择数据库和表，打开编辑器后直接进行数据的编辑。若通过连接列表中的连接名打开SQL编辑器，则只是进入编辑器，不做任何操作。第7页MySQL WorkbenchSQL开发开发lSQL编辑器中可以编辑和执行任何有权限的SQL语句，编辑器界面的各区域功能说明如下。区域区域功能说明功能说明SQL编辑区可以编写以分号结尾的多个SQL语句，通过上面的一排面板可以完成与SQL相关的一些功能，如执行语句、显示执行计划、美化SQL格式等，鼠标放在不同的按钮上会显示相应的功能。SQL记录显示区SQL编辑区的SQL执行结果在此区域显示，若有多个SQL，则本区域会有多个标签页来进行显
6、示。此区域上面的功能面板用来完成对记录的一些功能，如记录编辑、记录导出等。对象树显示区列出当前用户拥有读取权限的所有对象，并以树的形式进行显示。树的最外层为数据库名；第二层为数据库下的各种对象列表，如表、视图等；第三层为具体的对象名，即具体的表名、视图名。在树的各个节点上单击右键，就会显示相关功能的选项，可以根据实际需求进行相关的功能操作。第8页MySQL WorkbenchSQL开发开发l编辑器界面的各区域功能说明区域区域功能说明功能说明SQL附件区此区域可以用来保存正在编辑的SQL文本，以便以后使用；还有一个功能就是保存了MySQL中的一些常用语法，并按照DB MGMT、SQLDDL、SQ
7、L DML进行分类，当进行SQL编辑时可以很方便地进行语法查找。日志输出区用于显示SQL执行结果日志，若执行成功，则显示SQL语句、返回的记录数、执行花费的时间；若执行失败，则显示失败原因。对于以前执行过的SQL，还可以在下拉列表框中选择“history output”后按日期进行显示。Session和当前操作对象显示区Session显示当前连接的数据库、用户名、端口、版本等信息；对象信息则显示当前正在操作的对象上节点的信息。若节点是表，则还会列出表的字段信息。第9页MySQL WorkbenchSQL开发开发l编辑SQL脚本（Edit SQL Script）在编辑SQL脚本界面中，“Stro
8、red Connection”下拉列表框选择要编辑的连接，相关的连接参数会自动显示在“Parameters”选项卡中的相应文本框中。在“SQL script file”文本框中，可以输入要编辑的SQL脚本文件路径或通过“Browser”按钮找到要编辑的文件。第10页MySQL WorkbenchSQL开发开发l管理连接（Manage Connections）p当管理的MySQL较多时，可以通过管理连接功能进行方便的管理。p管理界面第11页MySQL Workbench SQL开发开发l管理连接的管理界面左边显示连接名列表右边显示选定连接的详细连接信息。对连接名或详细连接信息可以按需进行修改，并
9、通过“Test Connection”按钮测试连接是否正确。左下方的几个按钮是对连接名进行操作的，可以新建连接（New）、删除连接（Delete）、复制连接（Duplicate）、上移或者下移指定的连接（Move Up和Move Down）。第12页MySQL Workbench数据建模数据建模l数据建模（Data Modeling）工具可以很方便地创建物理模型，然后通过正向工程将物理模型转换为实际的数据库对象。l通过这种方式，可以大大提高数据库设计的效率。常见的建模工具PowerDesignerERWin第13页MySQL Workbench数据建模数据建模l数据建模主界面主要包含3个功能。
10、p创建新的EER模型（Create New EER Model）p使用已有数据库创建EER模型（Create EER Model From Existing Database）p使用SQL脚本创建EER模型（Create EER Model From SQL Script）第14页MySQL Workbench数据建模数据建模使用已有数据库创建EER模型（Create EER Model From Existing Database）需要使用菜单中“Database EReverse Engineer（逆向工程）”命令来直接将数据库对象生成模型。使用SQL脚本创建EER模型（Create EE
11、R Model From SQL Script）则直接用生成的脚本来创建模型。第15页MySQL Workbench服务器管理服务器管理l服务器管理（Server Administration）可以方便地管理多个MySQL实例。l在许多生产环境中，为了应付越来越大的访问量，很多系统都使用了分布式数据库，成百上千的MySQL集群越来越普遍。对这么多实例的集中管理显得非常有必要，先前MySQL采用MySQL Administrator作为图形化管理工具，现在这些功能已经集成在MySQL Workbench环境中。第16页MySQL Workbench服务器管理服务器管理l服务器管理界面有4个主要功
12、能。p新建服务器实例（New Server Instance）p导入/导出管理（Manage Import/Export）p安全管理（Manage Security）p服务器实例管理（Manage Server Instances）第17页MySQL Workbench服务器管理服务器管理l新建服务器实例（New Server Instance）功能界面参数说明参数参数说明说明创建MySQL实例（Specify Host Machine）可以根据服务器在本地或远程来选择“localhost”或者“Remote Host”创建MySQL实例。若SQL开发（SQL Development）中已经创
13、建了连接，则可以选择“Take Parameters from Existing Database Connection”按钮，并在下拉列表框中选择一个连接名，创建MySQL实例连接测试（Test DB Connecticut）创建实例后，需要对选择的连接进行测试，全部通过后即可进行下一环节远程管理方式选择（Management and OS）远程管理需要选择远程管理的方式和目标主机，若选择“Do not use remote management”，则不能远程启动和关闭MySQL，并且不能远程修改参数文件；若需要这些功能，则使用另外两种管理方式自主Windows远程管理（Native Win
14、dows remote management）和基于SSH的远程管理（SSH login based management），前者只能在Windows环境下，后者则可以应用于多种操作系统SSH配置（SSH Configuration）SSH配置时需要填入SSH连接的相关参数，包括IP、端口、连接用户名，如果采用公钥登录，那么还需要选中“Authenticate Using SSH Key”复选框，并在文本框中填入私钥路径SSH配置报告（Review Settings）SSH配置报告显示了MySQL实例的连接信息、SSH配置信息、启动关闭MySQL的命令信息等，如果这些参数需要修改，可以通过“C
15、hange Parameters”复选框进行修改填写实例名（Complete Setup）在“Complete Setup”中需要输入实例名，这个实例名不是真正的MySQL实例名，而只是显示在主界面中，作为实例入口使用第18页MySQL Workbench服务器管理服务器管理l新建服务器实例（New Server Instance）管理界面p实例的管理界面分为功能栏和功能的显示区域两个部分。功能栏功能栏 实例管理；参数配置；安全管理；数据导入导出。实例管理下面的二级功能实例管理下面的二级功能 服务器状态；启动/关闭；状态变量；系统变量。第19页MySQL Workbench服务器管理服务器管理
16、l导入/导出管理（Manage Import/Export）p导入导出的主要用途是为了进行数据的恢复和备份，在数据迁移中也经常使用。p数据导出：实际上调用了MySQL的逻辑导出工具mysqldump，可以选择每个表一个文件或整体导出为一个文件。p数据导入：调用的是MySQL命令，可以单独选择一个或多个表进行导入操作。第20页MySQL Workbench服务器管理服务器管理l安全管理（Manage Security）p安全管理的主要功能包括服务器权限管理和数据库权限管理。服务器权限管理 主要包括登录的权限和全局权限的管理，如File、process等。安全管理界面功能区标签页是“Server
17、Access Management”即为服务器权限管理。数据库权限管理 包括每个数据库具体的权限，常见的DDL和DML都属于数据库权限。安全管理界面功能区标签页是“Schema Privileges”即为数据库权限管理。第21页MySQL Workbench服务器管理服务器管理l安全管理界面第22页MySQL Workbench服务器管理服务器管理l安全管理界面左边的“User Accounts”显示的是当前实例中的所有用户，在右边可以对每个用户进行权限设置。l权限操作有3个功能LoginAdminstrative RolesAccount Limits密码修改密码修改管理角色设置管理角色设置
18、用户并发设置用户并发设置第23页MySQL Workbench服务器管理服务器管理l服务器实例管理（Manage Server Instances）p对于多实例的管理维护，MySQL Workbench提供了相应的管理功能实例管理。实例管理的界面和连接管理界面十分类似，界面中会显示实例名列表和选定实例的详细配置信息，同样可以按照需要对实例名和实例的配置信息进行修改。第24页MySQL Workbench MySQL UtilitieslMySQL Utilities是MySQL Workbench提供的一组附带Python库的工具集，这些工具可以帮助完成一些常见任务。工具集的用途工具集的用途
19、审计日志管理 数据检查比较 数据导入导出 数据库克隆 数据库复制 数据库过滤 数据空间查询 第25页MySQL Workbench MySQL Utilitiesl常用的工具集及其用途用途用途工具集名称工具集名称审计日志管理mysqlauditadminmysqlauditgrep数据库检查比较mysqldbcomparemysqldiffmysqlindexcheck数据库导入导出msyqldbexportmysqldbimport数据库克隆mysqlserverclonemysqluserclonemysqlcp用途用途工具集名称工具集名称数据库复制mysqlfailovermysqlre
20、plicatemysqlrpladminmysqlrplcheckmysqlrplshow数据库过滤mysqlmetagrepmysqlprocgrep数据空间查询mysqldiskusageMySQL Workbench客户端mysqluc第26页Studio 3TlStudio 3T是一个GUI和集成开发环境，用于在MongoDB上开发和管理数据。lStudio 3T是由3T Software Labs（2016年被Redgate Software收购）开发的，作为免费的教育平台并获得商业许可。Visual Query Builder（可视化查询生成器）IntelliShell Aggre
21、gation Editor（汇总编辑器）Map-Reduce SQL查询 展开数据库并显示文档及呈现数据 数据导入及导出 创建用户及角色 Schema Compare Server Status ChartStudio 3T的常用功能的常用功能第27页Studio 3TlVisual Query Builder（可视化查询生成器）主界面第28页Studio 3TlStudio 3T为查询操作设计了一个简单便利的拖放式功能。Studio 3T的拖拽式MongoDB查询构建器是Collection选项卡的一部分。在该选项卡中，用户可以查看、查询和编辑集合中的文档。Collection选项卡还包含可
22、视化查询生成器和主查询栏，其中主查询栏会显示正在构建的mongo shell的语法。用户可以通过单击“Visual Query Builder”按钮打开可视化查询生成器，或者右键单击结果选项卡中的任意位置后，选择查询生成器。Collection选项卡第29页Studio 3TlStudio 3T中内置的mongo shell，可以自动填充JavaScript标准库函数、shell的特定于类型和方法、操作符、集合名、字段名、shell助手命令等。lIntelliShell有两个主要部分在标准命令行界面中编写查询的编辑器。在编辑器中执行查询时，可以选择完全执行或在光标处执行。可以查看和编辑结果的R
23、esult选项卡。第30页Studio 3Tl用户可单击全局工具栏中的“IntelliShell”按钮来打开IntelliShell功能，或右键单击目标集合并选择“Open IntelliShell”。第31页Studio 3TlStudio 3T中的MongoDB聚合管道编辑器，通过定义阶段操作符和检查每个阶段的输入、输出和其他便捷的功能，构建准确的聚合查询并简化调试。l打开Aggregation Editor：用户可通过单击工具栏中的“Aggregate”按钮打开汇总编辑器，或者右键单击目标集合并选择“Open Aggregation Editor”。第32页Studio 3TlAggre
24、gation Editor（汇总编辑器）主要选项卡p管道（Pipeline）、阶段（Stage）、查询代码（Query Code）、说明（Explain）和选项（Options）。Pipeline选项卡（默认选项卡）包含两个主要部分：管道流（Pipeline flow）和管道输出（Pipeline output）。管道流：可以看到所有阶段，并可以根据需要添加、编辑、复制和移动各个阶段。管道输出：可以查看整个管道的输出。第33页Studio 3TStage选项卡选项卡 包含两个主要部分：阶段编辑器（Stage Editor）和阶段数据（Stage Data）。阶段编辑器：编写查询的地方。阶段数据
25、：是Stage选项卡中显示阶段输入（Stage Input）和阶段输出（Stage Output）的地方。第34页Studio 3TQuery Code 将聚合查询（最后一次在Pipeline或Stage选项卡中运行的查询）转换为JavaScript（Node.js）、Java、Python、C#、PHP、Ruby和mongo shell语言。转换成mongo shell语言的聚合查询可以在一个单独的IntelliShell选项卡中直接打开。Explain选项卡 以图表格式显示Explain()提供的信息MongoDB执行聚合查询的步骤。Options选项卡 设置磁盘使用和自定义排序规则设置。
26、第35页Studio 3TMap-ReducelMap-Reduce是MongoDB特有的功能之一。Map-Reduce通过将数据分为映射阶段和reduce阶段来工作。Map-Reduce映射阶段：处理每个文档并为每个输入发出一个或多个对象。reduce阶段：结合了map操作输出中的发射对象。l与Aggregation Pipeline相比，Map-Reduce的主要优点是可以在每个阶段使用任意JavaScript，代价是性能较低。第36页Studio 3TSQL查询查询lStudio 3T与其他工具不同的功能是SQL功能，这个功能可以让用户使用一般关系型数据库的SQL语法对MongoDB数据
27、进行操作。lSQL查询分为编辑器和result选项卡两个主要区域。第37页Studio 3TSQL查询查询l用户可以通过单击全局工具栏上的“SQL”按钮打开SQL查询功能，或右键单击一个集合后选择“Open SQL”。第38页Studio 3TSQL查询查询l通过单击光标按钮标记的Execute SQL语句执行SQL语句，或将光标放在所需的查询上右键单击后选择“Execute SQL statement at cursor（F5）”第39页Studio 3T展开数据库并显示文档及呈现数展开数据库并显示文档及呈现数据据l展开数据库p展开自建的数据库，可以看见集合、视图、GridFS和System
28、。l显示文档及呈现数据p在集合中也会显示之前已经创建好的集合，选择集合，界面右边便会出现集合中的文档内容。第40页Studio 3T展开数据库并显示文档及呈现数展开数据库并显示文档及呈现数据据l用户可以通过“Table View”按钮选择文档呈现的方式，文档呈现的方式分别为Tree、Table和JSON模式。第41页Studio 3T数据导入及导出数据导入及导出（5种）数据导出的方式JSONCSVSQLmongodump创建新的视图或集合（6种）数据导入的方式JSONCSVSQL文件夹导入档案导入数据库聚合第42页Studio 3T数据导入及导出数据导入及导出l用户可以通过单击全局工具栏中的“
29、Export”或“Import”按钮打开导出或导入功能。第43页Studio 3T创建用户及角色创建用户及角色l在Studio 3T中，用户可以轻松地使用工具进行创建用户及角色。通过全局工具栏的“Users”按钮可以创建用户，创建用户时可以给创建的用户账号指定角色。通过全局工具栏的“Roles”按钮可以创建角色，在创建角色时可以将两个角色合为一个角色。第44页Studio 3TSchemalStudio 3T的Schema功能可以分析文档中的分布状态。p在Analyze处可以选择想要分析的文档数量，执行分析后可以选择想要查看的字段数据分布状态。第45页Studio 3TComparelStud
30、io 3T中Compare是其他工具没有的功能，这个功能可以比较两个集合数据是否一致。在Compare功能窗口的左边界面，选择来源数据库和集合。右边界面选择目标数据库和集合后，将要比较的集合拖拉连接，执行后在Differences窗口可以查看集合的差异。第46页Studio 3TComparelCompare功能窗口第47页Studio 3TServer Status ChartlStudio 3T的Server Status Chart与MongoDB Compass有着相同的监控功能。p使用Server Status Chart监控功能，单击指定的集合，并右键单击选择Server Info
31、即可看到Server Status Chart。p监控功能的服务器状态图表会显示MongoDB实例上发生的事情的实时更新，使得在生产、开发、测试或本地实例上监视特定的事物变得更加方便。第48页KettlelKettle可以对多种类型的数据文件、数据库等数据源的数据进行抽取、过滤、清洗等处理lKettle支持绝大多数的数据库系统l经过处理后的数据，Kettle提供相应的组件，将处理好的数据存储在数据库中。Kettle支持的数据库系统支持的数据库系统 Oracle MS SQLserver IBM DB2 InformiX MySQL PostgresSQL Sybase MongoDB 第49页
32、Kettle数据库连接数据库连接l抽取数据库数据，首先需要与指定计算机的数据库建立连接。Kettle的数据库连接的数据库连接 根据数据库类型、连接方式等情况，设置有关参数，连接并访问的数据库。数据库连接是Kettle在数据库方面最基础的功能，其他涉及数据库的功能必须依赖于数据库连接。第50页Kettle数据库连接数据库连接参数名称参数名称说明说明连接名称表示数据库连接的名称，不能为空连接类型表示连接的数据库系统类型。类型包括Oracle、MS SQLserver、IBM DB2、InformiX、MySQL、PostgresSQL、Sybase等，默认值为Oracle连接方式表示数据库连接方式
33、。常用的有JDBC、ODBC、JNDI等选项连接方式，默认值为Native(JDBC)设置表示数据库设置的参数项。连接类型、连接方式的不同，参数项就不同，以连接类型为MySQL为例，介绍常用参数设置使用“Native(JDBC)”连接方式的参数如下1.主机名称：数据库所在的计算机名称。既可以是本机，也可以是局域网和外网能够远程访问到的计算机，一般用IP地址表示，可以用localhost，或者127.0.0.1表示本机2.数据库名称：要连接的数据库名称3.端口号：读取数据库的端口号，默认值为3306（不同的数据库使用的默认端口号不同）4.用户名：访问数据库的用户名称5.密码：访问数据库的用户密码
34、lKettle的数据库连接参数说明第51页Kettle数据库查询数据库查询lKettle数据库查询p用于查找数据库表中的值，将值作为新字段添加到输出流中。lKettle的数据库查询参数说明参数名称参数名称说明说明步骤名称表示数据库查询组件名称，在单个转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在最前的一个数据库连接名称模式名称表示数据库的模式表名表示要查询的数据库表名称使用缓存表示是否启用数据库查找的缓存缓存大小
35、启用数据库查找的缓存的大小，缺省值为0从表中加载所有数据表示是否将查找表中的所有数据预加载缓存，选择此项可以避免频繁读取数据库来提高性能第52页Kettle数据库查询数据库查询参数名称参数名称说明说明查询所需的关键字表字段表示数据库表关键字段名称比较操作符表示用于比较的操作符字段1表示用于比较的第一个字段名称字段2表示用于比较的第二个字段名称查询表返回的值字段表示添加到输出流的数据库表字段名称新的名称表示如果原来字段成不合适时使用新的名称默认表示查找失败时返回的值类型表示输出字段的类型查询失败则忽略表示是否在查询失败时忽略传递行记录。在SQL语法中，启用此项将是内部连接，否则将是外部连接多行结
36、果时失败表示查找返回多个结果时，是否强制启用失败排序表示如果查询返回多个结果，使用ORDER BY子句将帮助用户选择要获取的记录。例如，ORDER BY允许用户选择在指定状态下销售额最高的客户获取查询关键字单击“获取查询关键字”按钮，从组件的输入流返回可用字段列表获取返回字段单击“获取返回字段”按钮，从查找的数据库表中返回可添加到输出流的可用字段列表第53页Kettle检查表是否存在检查表是否存在lKettle检查表是否存在p在获取数据库表的数据时，使用检查表是否存在的功能是检查该表是否存在，防止发生错误。l检查表是否存在的参数说明参数名称参数名称说明说明步骤名称表示数据库查询组件名称，在单个
37、转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称模式名称表示数据库的模式，单击“浏览”按钮获取模式名称表名字段表示要查询的数据库表的名称结果字段名表示查询输出结果标志字段的名称，字段的类型为布尔型第54页Kettle表输入表输入l表输入的参数说明Kettle的的表输入表输入 Kettle的表输入功能用于抽取数据库中表的数据。Kettle根据创建好的数据库连接，设置相应的参数，访问数据库，并通过
38、SQL语句来读取数据库中表的数据，以便对读取的数据进行清洗、转换和合并等处理。参数名称参数名称说明说明步骤名称表示表输入组件名称，在单个转换工程中，名称必须唯一。默认值为“表输入”的组件名称数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称第55页Kettle表输入表输入l表输入的参数说明参数名称参数名称说明说明SQL表示获取数据库表的SQL语句，可以直接键盘输入，也可以单击“获取SQL查询语句”按钮选择数据库表，还可
39、以单击“获取SQL查询语句”按钮来浏览表并自动生成Select语句。默认值为SELECT FROM WHERE 允许简易转换表示是否启用简易转换。如果选择了简易转换，则可以尽可能避免不必要的数据类型转换，从而显著提高性能。默认值为空替换SQL语句里的变量表示是否替换SQL脚本中的变量。选择此选项替换脚本中的变量。默认值为空从步骤插入数据表示从其他组件（步骤）插入数据，在下拉框列表中选择一个现有组件（步骤）名称。默认值为空执行每一行表示是否对每一行都执行查询。默认值为空第56页Kettle表输出和插入表输出和插入/更新更新lKettle提供表输出、插入/更新等功能，将经过清洗、转换和合并等处理的
40、数据装载至数据库。lKettle的表输出p与表输入类似，Kettle根据创建好的数据库连接，设置相应的参数，访问数据库，并采用SQL语句将经过清洗、转换等处理过的数据装载至数据库。l表输出的主要参数说明参数名称参数名称说明说明步骤名称表示表输出组件名称，在单个转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称目标模式表示数据库模式的名称，默认值为空第57页Kettle表输出和插入表输出和插入/更
41、新更新l表输出的主要参数说明参数名称参数名称说明说明目标表表示将数据写入到数据库中的表的名称，默认值为空提交记录数量表示向数据库提交批量记录数量的大小，默认值为1000剪裁表表示是否在将第一行数据插入到表之前截断表。如果是在集群上运行转换，或者使用此步骤的多个副本，那么必须在开始转换之前截断表。默认值为空忽略插入错误表示忽略所有插入错误，如过违反主键规则，那么最多记录20个警告，此选项不适用于是使用批量插入。默认值为空指定数据库字段表示是否选择数据库的字段，如果选择，那么在“数据库字段”选项卡参数中指定字段，否则默认插入所有字段。选择此参数，才能使用“数据库字段”选项卡中的“获取字段”和“输入
42、字段映射”按钮。默认值为空主选项表分区数据表示数据是否是要采用表分区方式。采用此方式，字段名称要有指定日期字段的值，在多个数据表上拆分数据。为了在这些表中插入数据，必须在运行转换之前手动创建数据表。默认值为空分区字段表示用于确定跨多个数据表分割数据的日期字段的值，此值用于生成日期数据表名称，并将数据插入到该数据表中。默认值为空第58页Kettle表输出和插入表输出和插入/更新更新l表输出的主要参数说明参数名称参数名称说明说明主选项每个月分区数据表示数据是否采用每月分区方式，使用此方式，数据表中使用的日期格式为yyyyMM每天分区数据表示数据是否采用每天分区方式，使用此方式，数据表中使用的日期格
43、式为yyyyMMdd使用批量插入表示是否使用批量的方式插入数据，默认值为表名定义在一个字段里表示数据表名称是否在字段里定义，默认值为包含表名的字段表示包含数据表名称的字段，默认值为空存储表名字段表示数据表的名称存储在输出流中，默认值为空返回一个自动产生的关键字表示当向数据表插入一行数据时，是否返回一个关键字段。默认值为空自动产生的关键字的字段名称 表示返回关键字段的名称，默认值为空数据库字段表字段表示将数据插入数据库中的字段名称，单击“获取字段”按钮，将输入流字段导入到数据库中的字段表。默认值为空流字段表示从输入流中读取并插入到数据库中的流字段名称，单击“字段映射”按钮，弹出“映射匹配”对话框
44、，获取映射的字段。默认值为空第59页Kettle表输出和插入表输出和插入/更新更新lKettle的插入/更新与表输出的功能区分p通过装载数据字段与目标数据库中表的主键字段比较。如果数据库中该主键字段数据不存在 表输出和插入/更新都会将新的数据记录装载至数据库。如果数据库中该主键字段数据已经存在，且所有的字段数据完全相同 表输出和插入/更新不会装载数据到数据库中。如果数据库中该主键字段数据已经存在，但如果某个字段数据不相同 表输出不会装载该数据记录。插入/更新会更新该数据记录。第60页Kettle表输出和插入表输出和插入/更新更新l插入/更新的主要参数说明参数名称参数名称说明说明步骤名称表示插入
45、/更新组件名称，在单个转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称目标模式表示数据库模式的名称，默认值为空目标表表示将数据写入到数据库中的表的名称，默认值为lookup table提交记录数量表示向数据库提交批量记录的大小，默认值为1000不执行任何更新表示数据库中的值是否只执行插入而不做更新操作，默认值为空第61页Kettle表输出和插入表输出和插入/更新更新l插入/更新的主要参数说明参
46、数名称参数名称说明说明用来查询的关键字表字段表示数据库表中的关键字段名称比较符表示在SQL语句中，用来比较的符号，选项有=、=NULL、=、BETWEEN、IS NULLIS NOT NULL。默认值为空流里的字段1表示输入流中用于比较的第1个字段名称流里的字段2表示输入流中用于比较的第2个字段名称存储表名字段表示数据表的名称存储在输出流中，默认值为空更新字段表字段表示数据库表中的字段名称，单击“获取字段”按钮，将输入流字段导入到数据库中的字段表。默认值为空流字段表示从输入流中读取并插入数据的字段名称，单击“字段映射”按钮，弹开输入“映射匹配”对话框，获取映射的字段。默认值为空更新表示是否更新
47、数据，选项有Y，N，默认值为空第62页Kettle更新更新lKettle的更新p更新和插入/更新类似，除只执行更新外，不执行插入。l更新的参数说明参数名称参数名称说明说明步骤名称表示数据同步组件名称，在单个转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称目标模式表示数据库模式的名称，默认值为空目标表表示将数据写入到数据库中的表的名称，默认值为lookup table提交记录数量表示向数据库提交
48、批量记录的大小，默认值为100批量更新表示是否进行批量更新跳过查询表示是否跳过查询第63页Kettle更新更新l更新的参数说明参数名称参数名称说明说明忽略查询失败表示是否忽略查询失败标志字段表示忽略查询失败的字段名称，选择忽略查询失败才有效用来查询的关键字表字段表示数据库表关键字段名称，单击“获取字段”按钮，添加表字段名称比较操作符表示用于比较的操作符，比较操作符取值为=、=、LIKE、BETWEEN、IS NULL、IS NOT NULL流里的字段1 表示输入流中用于比较的第一个字段名称流里的字段2 表示输入流中用于比较的第二个字段名称更新字段表字段表示将数据插入数据库中的字段名称，单击“获
49、取字段”按钮，将输入流字段导入到数据库中的字段表。默认值为空流字段表示从输入流中读取并插入到数据库中的流字段名称第64页Kettle数据同步数据同步lKettle的数据同步p数据同步可与合并记录转换组件结合使用。p合并记录转换组件向每一行记录附加一个标记列字段，其值为“same”“changed”“new”或“deleted”，在合并之后，数据同步组件将使用此标志列字段，对连接表执行更新/插入/删除操作。第65页Kettle数据同步数据同步l数据同步参数数据同步的一般选项参数 一般选项参数是必须设置的基本参数。数据同步的高级选项参数 高级选项参数则根据实际情况，确定具体哪一项参数是否需要设置。
50、第66页Kettle数据同步数据同步l数据同步的一般选项参数说明参数名称参数名称说明说明步骤名称表示数据同步组件名称，在单个转换工程中，名称必须唯一数据库连接表示数据库连接名称，在下拉框列表中选择一个现有的连接。如果修改现在的连接，单击“编辑”按钮修改，如果没有连接，那么可以单击“新建”或“Wizard”按钮创建。默认值为当前工程中现有的、按名称排列在前的一个数据库连接名称目标模式表示数据库模式的名称，默认值为空目标表表示将数据写入到数据库中的表的名称，默认值为lookup table提交记录数量表示向数据库提交批量记录的大小，默认值为100批量更新表示是否批量更新表名在字段里定义表示表名是否
