1、Copyright 2014 Oracle and/or its affiliates.All rights reserved.|Oracle非结构化数据管理解决方案 Copyright 2014 Oracle and/or its affiliates.All rights reserved.|石油与天然气行业未来发展的五个特点全方位创新：从技术创新、产品创新，商业模式创新到组织架构创新无所不包从规模化生产向大规模定制、个性化生产的转型，从生产型制造向服务型制造的转型，从要素驱动向创新驱动的转型。互联互联将勘探开发、油气生产、设备、生产线、工厂、供应商、产品、客户紧密地连接，所有的装备、软件
2、、硬件、网络都是围绕如何提升人的效率、为人服务集成集成开发、设计、生产、运营、管理、服务的纵向集成;以及供应商和销售商信息的横向对接。数据数据海量数据：勘探数据、运营数据、管理数据、空间数据、研发数据，及时、准确、完整，更精确、高效、科学的管理决策Copyright 2014 Oracle and/or its affiliates.All rights reserved.|智慧油田是促油田企业转型的重要基础 海量数据：勘探数据、运营数据、管理数据、空间数据、研发数据，外部数据 众多系统：运用互联网思维，借助互联网、物联网、云计算、移动互联网、大数据等信息技术手段，实现油田经营模式转变，提升油
3、田智能管理水平，形成一个自动化、智能化的油田。基于创新技术的数字化平台则是支撑重要数据、系统、流程的支撑环境。数字化平台需具备高效、稳定、可靠、安全、易于扩展等特性和能力。稳定可靠高效性云能力业务洞察力可扩展性易于管理Copyright 2014 Oracle and/or its affiliates.All rights reserved.|Oracle Confidential Internal4业务与信息化发展给企业业务与信息化发展给企业应用带来新的考验应用带来新的考验企业应对新考验的同时，之前的问题并未消失，而且变得更加凸显和激化！企业应对新考验的同时，之前的问题并未消失，而且变得更
4、加凸显和激化！集团化管控大集中部署大集中部署架构下的决策支持、绩效管理、财务管理、人力管理、集采管理等给应用系给应用系统以越来越大的压统以越来越大的压力力技术创新不断增加的成本压力不断增长的劳动力、原材料和研发成本,企业需简化管理运简化管理运营，降低成本。部营，降低成本。部分企业应用转向订分企业应用转向订阅模式阅模式“云计算”、”大数据”、”物联网”、”移动化”等 为企业提供更多的创新理念和技术手段企业并购与海外扩张通过合并与国际化实现转型与升级。并购扩张后的跨部门和地域的资源共享与供应资源共享与供应链协同、链协同、海外业务具备本地化服务能力本地化服务能力等传统企业向互联网转型以客户为中心，实
5、时获取客户需求，掌控渠道状况和订单信息，整合勘探、生产、空间，前台与后台的全前台与后台的全流程加速流程加速Copyright 2014 Oracle and/or its affiliates.All rights reserved.|企业应用建设需双管齐下 关注应用的特异性业务逻辑与技术紧耦合每个应用建设均需考虑所有环节需解决信息孤岛问题需考虑标准化求同成本 关注平台的整体性业务逻辑与技术松耦合初期规划任务重，后续部署简单消除信息孤岛需注重差异化存异成本满满足足应应用用&平台需求平台需求Copyright 2014 Oracle and/or its affiliates.All right
6、s reserved.|Oracle Confidential Internal6Oracle带来石油与天然气行业完整IT解决方案为业务增长和拓展提供更多选择 端到端的石油与天然气行业全套解决方案，提供从硬件设备到领先的应用软件 为上中下游业务提供更快的创新能力支撑 更好的信息化性能、可靠性和安全 更低的总拥有成本 以下领域或产品在石油与天然气行业排名第一：数据库应用服务器（中间件）Primavera(P3 or P6)Hyperion(预算、合并)Siebel(客户关系管理)Copyright 2014 Oracle and/or its affiliates.All rights rese
7、rved.|Oracle解决方案帮助企业管理石油与天然气生命周期智能油田绩效，风险与贸易管理实时智能运营客户关系管理上游卓越服务卓越供应链战略规划健康安全环保企业基础设施资产全生命周期建设维护供应商务智能中游财务管理与控制项目组合管理下游智能管道Copyright 2014 Oracle and/or its affiliates.All rights reserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/
8、Highly Restricted84Copyright 2014 Oracle and/or its affiliates.All rights reserved.|企业的数据类型Yearly Data GrowthDataGrowthStructured15-20%Semi&Unstructured 50-100%*Gartner&IDC Estimates 在一个典型的企业中，结构化数据是大约占20 半结构化、非结构化数据占有80 数据增长、膨胀迅速Audio,VideoVector,SpatialSQL DataDocumentsImage DataXML DataEmails,IMU
9、nstructured 65%Structured20%Semi-Structured15%Copyright 2014 Oracle and/or its affiliates.All rights reserved.|当前油气行业非结构数据现状中游中游炼炼化工程化工程下游下游销销售板块售板块 上游上游勘勘探开发探开发数据管理数据管理 加油站管理监控信息，来自于加管系统软件录入。CRM客户关系系统客户关系系统客户图片客户图片信息，来自于零管系统软件录入。信息，来自于零管系统软件录入。炼化工程设计文本文档，来自于工程设计软件炼化工程设计文本文档，来自于工程设计软件 实时采集实时采集数数据，来自
10、于传感器软件据，来自于传感器软件 地震地质数据，来自于上游应用软件 油藏模拟数据，来自于上游应用软件 勘探工程设计文本文档，来自于工程设计软件勘探工程设计文本文档，来自于工程设计软件 办公公文流转数据，来自于OA软件导入 内容管理平台数据，来自于平台采集录入内容管理平台数据，来自于平台采集录入Copyright 2014 Oracle and/or its affiliates.All rights reserved.|当前油气行业非结构数据梳理非结构化数据非结构化数据海量海量数据数据存储存储+价值信息价值信息数据管理数据管理面向海量数据存储，建议采用大数据方案 水平扩展，低成本存储 收集任何
11、数据 大数据语言 分析应用 单体文件数据量很大面向价值数据管理，建议采用数据库文本管理方案 水平扩展和垂直扩展 数据文件本身具有价值 安全性和高可用 需要全文检索能力 传统关系型SQL语言 单个文件数据量小Copyright 2014 Oracle and/or its affiliates.All rights reserved.|当前企业非结构数据管理现状 企业需要高效、安全的管理这些类型的数据：结构化半结构化非结构化XML PDF 文件系统的简便性及其性能使得企业偏向于采用文件系统来存储半结构化或非结构化数据，而将关系型数据则存储在数据库中 主流数据库支持将文件数据存储在数据库性能是很多
12、用户关心的问题Copyright 2014 Oracle and/or its affiliates.All rights reserved.|文件与关系型数据共存Oracle Confidential Internal13 很多应用中，文件和关系型数据相伴而生 例如：文件管理系统，地震信息系统，测井数据，图像系统 两种数据类型的分开管理损害了安全性，健壮性以及可管理性 互相孤立的安全/审计模型 数据的更改无法保持原子性 备份和恢复也需要分别进行 很难实现涉及到关系型数据和文件数据的查询 空间管理很复杂 需要不同的接口和协议一套应用需要两套数据管理方式，对应用来说就太复杂了!Copyright
13、 2014 Oracle and/or its affiliates.All rights reserved.|Oracle数据库非结构化数据管理新功能Oracle Confidential Internal/Restricted/Highly Restricted14ImagesNew in Oracle DatabaseSecureFilesRFIDDICOM3DBinary XMLCopyright 2014 Oracle and/or its affiliates.All rights reserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Or
14、acle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/Highly Restricted154Copyright 2014 Oracle and/or its affiliates.All rights reserved.|16 SecureFiles 是数据库的新特性，用于解决文件数据存储在数据库之外所带来的性能瓶颈 SecureFiles功能实现在DB 11g版本，在DB 12C版本以及Exadata中得到增强 和LOB类似，但是更快并且有更多的功能 透明的加密、压缩、去重等 保持数据库的安全性、可靠
15、性和可伸缩性 提供了一个LOB接口的超集，从LOB迁移工作更简便 可以将文件数据和相关的关系型数据整合起来 统一的安全模型 统一的数据视图 统一的数据管理Oracle SecureFiles对数据进行整合安全管理Copyright 2014 Oracle and/or its affiliates.All rights reserved.|非结构化数据与结构化数据的关系Oracle Confidential Internal/Restricted/Highly Restricted17 非关系型与关系型业务数据按其相关性存储在数据库中 非关系型数据以SecureFile LOBs方式存储 Se
16、cureFile LOBs 使得访问数据库内的文件与本地文件系统中的文件一样快，同时还保持了与数据库中数据的交易一致性 支持高级文件管理特性ID#NameAddressContractPhoto23Lucas.Relational ColumnsSecureFile LOBsCustomers TableCopyright 2014 Oracle and/or its affiliates.All rights reserved.|小文件:高吞吐量 写可以达到每小时2亿个文件,读可以达到每小时7.8亿个文件 多媒体文件:高带宽写能达到4 GB/s，读能达到8 GB/s1801000200030
17、004000500060005-10k100-500k1-5m10-20m50-100mMB/sSecureFiles Write Performance02000400060008000100005-10k100-500k1-5m10-20m50-100mMB/sSecureFiles Read PerformanceOracle Secure Files打破了性能瓶颈Copyright 2014 Oracle and/or its affiliates.All rights reserved.|对比SecureFiles Vs.NFS性能 查询效率提升23倍左右，插入效率提升6倍左右 当单
18、个文件大小超过2GB，性能趋近相等19SecureFilesNFSFile Read PerformanceFile Write PerformanceCopyright 2014 Oracle and/or its affiliates.All rights reserved.|性能对比 写的性能提升2倍左右 利用压缩功能，节省空间22倍左右 读的性能提升3倍左右20SecureFiles Vs.BasicFilesWrites PerformanceFile Size(MB)Writes:Reused SpaceFile Size(MB)Read PerformanceFile Size(
19、MB)SecureFilesBasicFilesCopyright 2014 Oracle and/or its affiliates.All rights reserved.|优化的文件存储空间管理21 去重 多份相同的SecureFiles拷贝只存储一次 尤适用于文件管理、测试、产品托管 复制操作性能提升尤为明显 压缩 智能自动决定数据是否可以压缩 对于一般文件能实现2到3倍的压缩率 通过减少IO、Buffer Cache的需求，redo日志生成及加密带来的开销来改善性能 对应用透明Copyright 2014 Oracle and/or its affiliates.All rights
20、 reserved.|统一的安全模型22 为关系型和文件型数据提供了统一的安全和身份模型 极大地减少攻击次数 并且提供了更好的安全特性 透明数据加密(TDE)保证数据安全性 不需要修改已有应用 也对备份，日志文件等加密 网络安全 使用SSL加密 通过DMZ/防火墙访问文件，不需要开新端口 为基于内容的访问审查提供细粒度的审计 标签安全有不同的访问限制策略：级别(例如：机密)部门(例如：财务)统一的数据存储Copyright 2014 Oracle and/or its affiliates.All rights reserved.|Oracle Database 12c:In-Memory L
21、OB 性能优化通过临时LOB内存工作区加速查询和更新LOB操作 用内存选件优化PGA处理能力 用内存工作区存放临时LOB自动透明的填充临时LOB内存工作区，当超过内存阀值闪存可以继续作为临时LOB工作区 加速LOB string 所有操作concatenate,append,substr,length,instr,compare,trim,like,replace,pad,nvl using SQL functions or DBMS_LOB package23Copyright 2014 Oracle and/or its affiliates.All rights reserved.|Or
22、acle Database 12c:并行Load&Move LOBs517倍的性能提升 强制为SecureFiles进行DML,CTAS&MOVE 操作分区表内并行为非分区表并行 并行效果呈线性指数 易于多核与IO并行操作24Copyright 2014 Oracle and/or its affiliates.All rights reserved.|数据库和文件系统接口25 SecureFiles可以通过数据库客户端或文件系统客户端来访问 数据库客户端可以使用扩展后的LOB接口 JDBC,ODBC,OCI,.NET,PL/SQL 12C为SecureFiles提供了高度优化的流协议 文件系
23、统客户端使用由Content DB实现的文件系统协议 FTP WebDav HttpCopyright 2014 Oracle and/or its affiliates.All rights reserved.|其他优势26 现有的LOB应用可以得益于：更好的性能和可伸缩性 安全性 优化了的存储 XDB,Spatial,Intermedia,OLAP,Content DB等可以直接从中受益 可以使用Oracle实现的业界标准协议将基于文件系统的应用移植到SecureFiles上 使用Online Table Redefinition可以轻松将LOB转换为SecureFilesCopyrigh
24、t 2014 Oracle and/or its affiliates.All rights reserved.|文件和数据库的最佳选择27 SecureFiles具备所有最先进的文件系统功能 去重，加密，压缩，日志等 SecureFiles具备文件系统所不具有的高级数据库功能 事务、读一致性，闪回 Readable Standby,Consistent Backup,Point in Time Recovery 细粒度审计（Fine Grained Auditing）,标签安全（Label Security）XML索引,XML查询,XPath Real Application Cluster
25、s Automatic Storage Management 分区和数据生命周期管理（ILM）查询元数据和文件内容 超过任何其它数据库或文件系统的功能 兼具两者的优点，而无须折中Copyright 2014 Oracle and/or its affiliates.All rights reserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/Highly Restricted284Copyright 2014
26、 Oracle and/or its affiliates.All rights reserved.|SecureFiles最佳实践-Exadata DBFS DBFS：Database File System基于数据库的文件系统 Exadata一体机支持DBFS共享文件系统 共享系统可以用于ETL Stagging,Scripts,report and application files 文件在Exadata数据库中可以以Securefiles LOBs方式存储 与其他数据库数据一样得到保护mirror,DataGuard,Flashback,etc 57GB/sec文件系统的I/O吞吐量2
27、9DBFilesOracle DatabaseCopyright 2014 Oracle and/or its affiliates.All rights reserved.|DBFS SecureFiles存储 DBFS:标准的数据库文件系统 字典信息存储在数据表中 非结构化数据存储在SecureFiles LOBs 提供标准的Oracle数据库服务 提供统一的数据文件备份，ETL,容灾管理30/ETL/Monday.dat/.DBFS Server in DBETL ToolInode#OwnerFilePath3768Lucas/ETL/Monday.datDBFS ClientNetw
28、orkDBFS SecureFiles StoreCopyright 2014 Oracle and/or its affiliates.All rights reserved.|DBFS HSM Store分层存储管理 DBFS HSM允许将归档文件导入磁带库，降低存储成本 通过应用迁移老旧文件到HSM Store 一个DBFS Link替代一个LOB字段，LOB读取链接是完全透明的 一个LOB可以轻松的实现更新表与原表的迁移 HSM store:磁盘分层存储，用于访问最近的存储文件 访问量少的存储文件可以迁移到磁带库31Order#CustomerYearInvoice1234Lucas2
29、003Sales Table/HSM/Old_Invoices/./Invoice_1234“/HSM/Old_Invoices/Invoice_1234”DBFS LinkLRUTapeCopyright 2014 Oracle and/or its affiliates.All rights reserved.|继承Oracle数据库丰富的功能32DBFS CapabilityProvided ByCompression,Deduplication,EncryptionSecureFilesCrash ToleranceAtomic transactions,LoggingMirrorin
30、g,Striping,Online Add StorageASMDisaster Recovery,Readable Remote MirrorData GuardConsistent BackupRMAN,Hot backupMulti-Node Scalability,Transparent FailoverRACImpromptu SnapshotsConsistent ReadRestore to Point in TimeFlashback,Media RecoveryRetention/ComplianceTotal RecallNetwork SecuritySSLCopyrig
31、ht 2014 Oracle and/or its affiliates.All rights reserved.|使用Exadata DBFS的优势33 将元数据和影像统一存放在Exadata 数据库中，不仅可以提高性能，还可以带来额外的优势，方便IT 部门的管理和运维。包括：备份方便，只需备份Exadata数据库，不需备份文件系统，保证影像和元数据的一致性；备份Exadata数据库时间比备份海量小文件要快很多；易于分级存储，可以采用Exadata数据库的Partition 等工具，进行海量内容的分级存储；压缩和加密，Exadata数据库提供了内容加密，压缩/去重等工具，提高信息安全性，节省
32、存储空间；海量存储，不会发生文件系统inode 节点用光的情况。Copyright 2014 Oracle and/or its affiliates.All rights reserved.|主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/Highly Restricted344Copyright 2014 Oracle and/or its affiliates.All rights reserved.|总结：云计算
33、架构下Oracle全数据管理解决方案35甲骨文计算块存储甲骨文存储云Oracle VM Oracle LinuxOracle REST Data ServicesRDBMSCloud Tooling(EM Express+HTML5 APP)Big Data ConnectorETLCDCEM计算基础架构/u03/u02/u01归档 大数据平台全数据管理平台JaaS计算服务DBaaS本地部署Local DB Dev ToolsDBFS数据平台Big Data SQLPL/SQLCopyright 2014 Oracle and/or its affiliates.All rights reserved.|36
