1、Oracle 数据库 10g 中的数据泵：超高速数据转移实用工具的基础甲骨文公司数据泵数据泵：概述概述 什么是数据泵？主要特性 体系结构 性能 要记住的事情 对原来的 exp/imp 的一些看法数据泵数据泵：什么是数据泵？什么是数据泵？基于服务器的工具，用于在加载和卸载数据和元数据时获得高性能 可调用：DBMS_DATAPUMP。在内部使用 DBMS_METADATA 以直接路径(Direct Path)流的格式写入数据。以 XML 的格式写入元数据 新的客户端程序 expdp 和 impdp：原来的 exp/imp 的扩展集 流、逻辑备用、网格、可移动表空间和数据挖掘初始实例化的基础。特性：
2、高性能！特性：高性能！自动、双层并行化用于分区间 并行化的直接路径用于分区内 并行化的外部表示例：parallel=动态：在企业版中可以从一个正在运行的作业中添加或删除工作线程自动构建索引，使并行度达到作业数 同时进行数据和元数据卸载 单线程数据卸载：1.5-2X exp 单线程数据加载：15X-40X imp 使用索引构建：4-10X imp特性：检查点特性：检查点/重新启动重新启动 作业进度记录在一个“主表”中 可以显式地停止并在以后重新启动：在当前项目完成后停止或立即停止 异常终止的作业也可以重新启动 如果有问题可以在重启时跳过当前的对象特性：网络模式特性：网络模式 网络导入：直接从一个
3、数据库加载 另一个数据库 网络导出：将一个远程数据库卸载至一个本地的转储文件集中允许导出只读数据库 数据泵在本地运行，元数据 API 远程运行。使用数据库链接，而不是管道。以 insert into select from 的方式转移数据 直接路径引擎在两端均使用 很容易阻塞网络带宽：小心！特性：细粒度的对象选择特性：细粒度的对象选择两种 操作（导出和 导入）都支持 所有的 对象类型 Exclude（排除）：从操作中 排除指定的对象类型 Include（包含）：只 包含指定的对象类型。例如，只包含检索程序包、函数和过程 虽然可以指定两者中的一个或两个，但新的客户端程序禁止同时使用两者 两者都使
4、用一个可选的名称过滤器，以获得甚至更高的细粒度：INCLUDE PACKAGE:“LIKE PAYROLL%“EXCLUDE TABLE:“IN(FOO,BAR,)“特性：监控特性：监控 灵活的 GET_STATUS 调用 每个工作线程的状态，显示当前的对象和完成的百分比 初始的作业空间估计和总体完成百分比 作业状态和描述 工作进度和错误特性：转储文件集管理特性：转储文件集管理 基于目录：例如，DMPDIR:export01.dmp 其中 DMPDIR 创建为：SQL create directory dmpdir as/data/dumps 支持指定多个带通配符的文件：dumpfile=dm
5、p1dir:full1%u.dmp,dmp2dir:full2%u.dmp根据需要从提供的文件指定中循环创建文件 可以限制文件大小以便管理 自动维护转储文件集的一致性新的客户端程序新的客户端程序 expdp/impdp 类似（但不完全相同）于 exp/imp 的外观 支持所有的模式：完整、模式、表、表空间、可传输。exp/imp 的扩展集 支持闪回 expdp 和 impdp 都支持查询，并且在每一个表的基础上进行！与正在运行的作业连接或分离 允许每个作业与多个客户端程序连接；但一个客户端程序一次只能与一个作业连接 如果拥有权限，可以连接并控制其他用户的作业新的客户端程序新的客户端程序 exp
6、dp/impdp 通过 Ctl-C 进入交互式模式：ADD_FILE：为作业添加转储文件和通配符文件指定PARALLEL：动态添加或删除工作线程STATUS：获取每个工作线程的详细状态并修改报表时间间隔STOP_JOB=IMMEDIATE：停止作业，使其为可重新启动。IMMEDIATE 不等待工作线程完成当前的工作项目它们将在重新启动时重新执行START_JOB：重新启动一个先前停止的作业KILL_JOB：停止作业并删除其所有的资源（主表、转储文件），使其为不可重新启动CONTINUE：退出交互模式，继续记录日志EXIT：退出客户端程序，使作业保持运行特性：其他的出色特性特性：其他的出色特性
7、使用 XML 可以容易地进行 DDL 转换：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隐藏段和存储属性 可以只提取和加载数据、或元数据，或提取和加载两者 SQLFILE 操作生成可执行的 DDL 脚本 如果一个表在加载时已存在，那么您可以：跳过它（默认）、替换它、截取然后加载或者附加到其末尾 根据分配的块（默认）或统计信息（如果提供）进行空间估计 企业管理器界面集成了 9i 和和 10g 可调用！体系结构：结构图体系结构：结构图直接路径API外部表 APIOracle_Loader元数据 API：DBMS_METADATAOracle_DataPu
8、mpexpdpimpdp企业管理器企业管理器 数据泵DBMS_DATAPUMP数据/元数据转移引擎其他客户端程序：其他客户端程序：数据挖掘等数据挖掘等 体系结构：流程图体系结构：流程图主控制主控制进程进程用户用户 A 的的 影子进程影子进程转储文件集：转储文件集：数据、元数据和主表数据、元数据和主表用户用户 A：expdp用户用户 B 的的 影子进程影子进程动态命令（停止、启动、并行化等）主表主表命令和控制队列状态队列：工作进程和错误 工作线程工作线程 B：直接路径直接路径 工作线程工作线程 C：外部表外部表 工作线程工作线程 A：元数据元数据用户用户 B：OEM并行进程并行进程 1并行进程并
9、行进程 2日志文件日志文件 无需客户端！无需客户端！主控制主控制进程进程转储文件集：转储文件集：数据、元数据和主表数据、元数据和主表主表主表工作线程工作线程 B：直接路径直接路径工作线程工作线程 C：外部表外部表工作线程工作线程 A：元数据元数据并行进程并行进程 1并行进程并行进程 2日志文件日志文件数据泵数据泵：性能调整性能调整 默认的初始化参数就非常好！确保 disk_asynch_io 保持为 TRUE 扩展 I/O！Parallel=不超过两倍的 CPU 数量：不要超过磁盘最高容量。必然的结果：扩展 I/O！为 AQ 消息发送和元数据 API 查询提供足够的 SGA 为长时间运行的查询
10、提供足够的回滚这就是性能调整！大型的互联网公司大型的互联网公司2 个事实表：个事实表：16.2M 行，行，2 GbOracle 应用程序种子数据库：应用程序种子数据库：密集的元数据：392K 个对象，200 个模式，10K 个表，总共 2.1 Gb 的数据 原来的 exp/imp 总共花费：32 小时 50 分钟exp：2 小时 13 分钟 imp：30 小时 37 分钟 数据泵 expdp/impdp 总共花费：15 小时 40 分钟Expdp：1 小时 55 分钟 impdp：13 小时 45 分钟对于 expdp 和 impdp，Parallel=2请记住：请记住：设计用于处理大量数据的
11、*大型*作业元数据性能几乎一样更复杂的基础架构，更长的启动时间 XML 比 DDL 更大，但更灵活 转储文件中的数据格式与 exp 相比压缩了大约 15%通过修剪主表实现了子集导入原来的原来的 exp 和和 imp 将永远支持原来的 imp，以允许加载 V5 V9i 的转储文件 原来的 exp 至少在 10g 中提供，但可能不支持所有新的功能。9i exp 可以用于从 10g 降级 不兼容原来的转储文件格式和数据泵转储文件格式10g Beta 反馈反馈 英国电信：Ian Crocker，性能与存储顾问“我们已经测试了新的 Oracle10g 导出和导入实用工具：Oracle 数据泵。数据泵导出的执行速度是原来的两倍，数据泵导入的执行速度比原来快十倍。新的可管理性特性在监视作业状态时为我们提供更高的灵活性。”Airbus Deutschland：Werner Kawollek，操作应用程序管理“我们已经测试了 Oracle 数据泵导出和导入实用工具，丰富的功能给我们留下了深刻的印象。首次测试结果表明与原来的导出和导入实用工具相比性能得到了巨大的提高。”Q&
