1、科学数据中心存储服务董科军中国科学院计算机网络信息中心2004.8.26 北京科学数据库技术培训11/11/20221内容 科学数据中心存储服务概况 存储工具集介绍11/11/20222第一部分科学数据中心存储服务概况11/11/20223大纲 科学数据中心存储软硬件环境 6800 Node SAN存储设备 Oracle10G 磁带库 科学数据中心存储服务 文件存储服务 数据库服务 上网服务 文件存储服务 存储原则 存储策略11/11/20224科学数据中心存储软硬件环境 硬件 超级数据服务器（已安装）海量存储系统（已安装）磁带库系统（正在采购）外联交换机（正在采购）软件 数据库管理系统（正在
2、采购）并行数据库管理系统（正在采购）数据备份软件（正在采购）11/11/20225超级数据服务器深腾68001 PC机群系统 IA64结点总数59个 每CPU内存2GB以上 每结点局部存储73GB以上 每结点具备千兆以太网端口 总计算能力达1TFLOPS 对外网络连接不低于2Gbps 支持主流并行数据库 支持 Linux 和 Windows 11/11/20226超级数据服务器深腾68002 2个数据库服务结点 并行Oracle10G数据库 2个文件/存储服务结点 基于GSI的FTP服务器 文件I/O结点 22个外部结点（应用服务结点）SQL Server、Mysql数据库等 Apache、T
3、omcat、IIS等 GT3运行环境等 预计10月运行（外联交换机正在购买）11/11/20227海量存储系统1 数据中心的在线存储系统采取基于存储网络（SAN）的磁盘阵列系统。其他节点采取直接连接服务器的磁盘阵列。存储科学数据，为科学数据库提供数据存储空间。11/11/20228海量存储系统2 Brocade 3900 Fibre Switch SAN结构全光纤磁盘阵列 裸存储容量15TB 持续数据传输率（读/写）不小于2GB/s 支持RAID5 全双工冗余11/11/20229磁带库系统 正在采购 提供数据备份服务（备份在线存储系统数据）完全备份 增量备份 性能 最大存储容量 15TB以上
4、 持续数据传输率 150MB/s以上 驱动器数目不小于 10个 磁带容量不小于 100GB 11/11/202210软件系统 数据库管理系统 SQL Server Enterprise 2000(64 bit)正在采购 并行数据库管理系统 Oracle 10g RAC for IA64(8CPU)正在采购 数据备份软件 Veritas等 正在选型11/11/202211科学数据中心存储服务 目的 建设数据中心的存储软硬件环境，提供一套具有数据传输、存储管理以及配额分配功能的存储共享工具集，同时利用高速的网络环境提供网络服务，更好地有效利用数据中心的海量存储资源，从而解决各建库单位数据存储、备份
5、和开展网络服务的困难。三大部分 文件存储服务 数据库服务 上网服务11/11/202212GSI安全框架科学数据中心存储服务架构图存储系统（Storage System）操作系统（OS）其它服务数据库服务上网服务文件服务用户11/11/202213文件存储服务1 为给各建库单位提供安全而有效的数据存储服务，并且提供数据存储管理功能以及配额管理功能。用途 存储科学数据 存储资源缺乏的建库单位 数据备份 需要大数据量备份 工具 Javaftp、Ftp11/11/202214文件存储服务2 数据提供/服务方式 远程数据传输 基于GSI的FTP上传机制 本地数据传输 光盘 硬盘 其它远程方式 协作方式
6、 Email FTP 共享目录 10月初提供正式服务 所有上述各种方式11/11/202215数据库服务1 为科学数据库（各建库单位）提供安全而有效的数据库服务。用途 提供数据存储服务 提供数据库服务接口 日常备份（磁带库）数据库种类（不断增长）Oracle SQL Server MySQL 11/11/202216数据库服务2数据提供方式远程数据传输本地数据库导入光盘硬盘协作方式文件存储服务（上载数据）数据中心管理人员导入数据服务方式提供数据库接口Oracle 1521端口MySQL3306端口提供数据库备份接口10月份提供正式服务Oracle10GSQL Server11/11/20221
7、7上网服务为科学数据库（各建库单位）提供安全的数据上网服务，解决部分建库单位数据库难于上网的困难。用途提供Web服务上网平台种类IISApacheTomcat数据提供方式远程数据传输本地数据传输协作方式文件存储服务（上载数据）数据中心管理人员导入2004年年底提供服务11/11/202218科学数据中心文件存储服务1 存储策略 按证书DN认证原则（一一映射）DN Vs User/Passwd 磁盘配额管理体系 使用流程 证书申请配额申请存储服务11/11/202219科学数据中心文件存储服务2数据中心基于GSI的FTP服务器SAN1122331-远程数据传输2-协同工作3-本地数据传输用户数据
8、中心管理人员11/11/202220科学数据中心文件存储服务3 上传用户以用户证书（DN）为单位，一个用户单位对应一个存储空间。每个建库单位可以有多个用户证书。每个存储空间在许可的条件下可以增加空间大小（配额申请）。各用户上传的文件互相不共享。11/11/202221科学数据中心文件存储服务4 安全性 安全传输 专人管理 大容量 按需分配 根据数据库大小区分 可扩展性 陆续提供其它服务（数据库、上网等）灵活性11/11/202222第二部分存储工具集概况11/11/202223大纲 存储工具集概况 各功能模块介绍 体系结构 试用版本功能 认证功能 配额申请 ftp传输功能 基于GSI的ftp传
9、输功能 具体操作 认证 配额申请 基于GSI的ftp传输11/11/202224存储工具集概况 科学数据库存储工具集是数据中心存储服务体系的具体实现，为各建库单位提供可靠的文件传输功能，同时还可以对存储在数据中心的远程文件资源进行管理。包括客户端软件和服务器端软件两个部分。11/11/202225体系结构服务器端服务器端认证模块数据传输模块数据库接口模块配额申请模块维护模块客户端工具客户端工具WWW用户数据中心管理人员11/11/202226试用版本功能认证功能 基于GSI认证体系 基于PKI公私钥机制 pem文件（用户公钥私钥）和CA根证书配额申请 以证书为单位（一个DN进行一次申请）多次累
10、积（以后还会增加已占用空间申请）FTP传输 数据传输功能基于GSI的FTP传输 支持压缩传输功能（对于小而多的文件，先压缩后传输功能）可靠数据传输11/11/202227菜单栏快捷键本地文件浏览远程文件浏览任务队列信息日志信息下载队列信息11/11/202228菜单栏主要包括FTP连接、GSIFTP连接、断开连接。一些参数选项，例如代理。一些信息框参数实用工具包证书的配置、代理证书的生成、销毁以及证书信息查询磁盘配额申请以及配额查询书签的维护和实用帮助信息11/11/202229快捷键FTP连接GSIFTP连接关闭远程连接11/11/202230本地文件浏览刷新本地拷贝重命名新建文件夹改变路径
11、删除文件或文件夹压缩文件或文件夹上传11/11/202231远程文件浏览下载加入队列刷新新建文件夹改变路径删除文件或文件夹11/11/202232任务队列信息开始指定队列下载停止指定队列下载刷新删除队列改变队列次序改变队列次序11/11/202233日志信息11/11/202234下载信息删除任务列表删除任务继续任务终止任务11/11/202235认证功能 Java CoG Kit配置 导入pem以及CA文件 生成代理证书 销毁代理证书11/11/202236Java CoG Kit配置111/11/202237Java CoG Kit配置211/11/202238Java CoG Kit配置
12、311/11/202239生成代理证书11/11/202240销毁代理证书11/11/202241配额申请 磁盘配额申请 以证书（DN）为单位 磁盘配额信息查询11/11/202242磁盘配额申请111/11/202243磁盘配额申请211/11/202244磁盘配额信息查询11/11/202245基于GSI的FTP传输 认证 文件传输 目录传输 远程资源处理（建立、修改、删除）本地资源处理（建立、修改、删除）文件压缩 加入传输队列11/11/202246建立连接111/11/202247建立连接211/11/202248文件传输&目录传输下载上传11/11/202249远程&本地资源处理远程
13、资源处理本地资源处理11/11/202250软件准备 绿色工具，无需安装 将SDB-Training-2004software存储服务工具 拷贝至本地目录 准备证书 用户证书usercert.pem 用户私钥userkey.pem CA公钥11/11/202251具体操作 导入证书 生成代理证书 配额申请 配额信息查询 建立基于GSI的FTP传输 建立连接 新建远程文件夹 上传文件 上传目录 打包、上传文件 重命名远程文件 删除远程文件11/11/202252部署计划及对建库单位要求1 部署计划（拟）建库单位需求提交（9月15日之前）1.0beta版本（9月15日）选取一批试点单位（9月30日
14、之前）试点单位提交配额申请（10月15日之前）数据中心存储服务试运行（文件服务）（10月15日）数据中心存储服务正式运行（12月1日）11/11/202253部署计划及对建库单位要求2 存储服务试运行（文件服务）项目 认证服务 配额申请 基于GSI的FTP上传和下载 试点单位的选择 根据需求提交 自愿原则11/11/202254部署计划及对建库单位要求3 对建库单位要求 需求提交（9月15日前）提出对数据中心的软硬件环境具体需求 硬件环境、运行环境 存储空间需求 文件大小 服务种类需求 文件存储 数据库服务 上网服务 试点单位提交配额申请（10月15日前）试点单位总结并提出进一步需求（11月30日前）其他建库单位提交配额申请（11月30日前）11/11/202255需求调查表纲要 概览 软硬件环境需求 硬件环境（CPU、内存）软件环境 数据库环境（SQL Server、Mysql、Oracle等）Web服务器环境（Tomcat、Apache等）计算环境 网络环境（网络速度）其它软件（Ant、Globus等）存储空间需求 文件 数据库文件 上网数据11/11/202256谢 谢！欢迎提问！11/11/202257
