1、第5章 分布式文件管理分布式文件管理 中国科技大学软件学院丁箐主要内容主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的趋势主要内容主要内容5.1分布式文件分布式文件设计设计5.2分布式文件系统的实现5.3分布式文件系统的趋势分布式文件系统设计分布式文件系统设计 l文件服务单个文件上的操作，例如读，写和追加 l目录服务 创建和管理目录，在目录中增加和删除文件等 5.1 文件模型文件模型l文件：信息在磁盘或其它持久介质上的存储单位l文件名：文件的标识，由字串组成（8-255）l文件属性：描述信息,如大小、创建时间、授权l目录：保存文件系统的结构l路径：目录树上的一段路经
2、文件结构文件结构1、二进制序列；2、记录序列；3、树文件类型举例文件类型举例1、可执行文件2、归档文件不可变的（immutable）典型的文件扩展名典型的文件扩展名文件的属性文件的属性文件基本操作文件基本操作 Create Delete Open Close Read Write Append Seek Get attributes Set Attributes Rename文件操作举例文件操作举例文件操作举例文件操作举例文件服务接口文件服务接口 l文件服务：文件系统为客户提供的功能，如读、写l文件服务器：实现文件服务的进程l文件的保护：权能：用户对文件的访问权限存取控制表：每个文件上可访问它
3、的用户列表 如：UNIX的mode,Windows的属性 远程文件服务远程文件服务l上载/下载模式c c2.2.在客户端在客户端进行访问进行访问客户机客户机服务器服务器老文件老文件新文件新文件1.1.文件移动文件移动到客户端到客户端3.3.当客户端工作完毕当客户端工作完毕后，文件又移回服务器后，文件又移回服务器远程文件服务远程文件服务l远程访问模式服务器服务器客户机客户机客户请求访问远程客户请求访问远程服务器上的文件服务器上的文件文件保存在文件保存在服务器上服务器上目录服务器接口目录服务器接口 l目录服务创建、删除命名，重命名文件移动文件l分层文件系统子目录，目录树分层文件系统分层文件系统(a
4、)包含在一台机器中的目录树 (b)在两台机器中的目录图 目录图目录图目录的维护：引用计数：指向该目录的连接数仅当目录为空时或引用计数1时，才能删除指向该目录的连接。文件服务器方式文件服务器方式l相同系统l不同系统(a)两文件服务器。方框是目录，圆圈是文件；(b)一个所有用户有同样文件系统图的系统；(c)一个不同的客户有不同的文件系统的系统命名透明性命名透明性l位置透明性：文件路径名与存储位置无关例：/server/dir1/dir2/xl位置独立性：文件可移动到其它场地，而无需改变名字/server1/dir1/dir2/x变为/server2/dir1/dir2/x l分布式系统中文件和目录
5、的命名方法：机器名+路径名，如/machine/path将远地文件安装到本地目录中全局统一的命名空间两级命名法两级命名法l符号名字：外部名字，供用户使用l二进制名字：内部名字，供系统使用l名字映射：由目录完成l符号链接：一个路径名，映射到（服务器，文件名）字串上的目录项文件共享的语义文件共享的语义lUNIX语义l会话语义在单处理机中，当READ操作紧跟WRITE操作执行时，READ操作返回刚刚写入的值；在分布式系统中，可能返回已过时的值 共享文件的处理方式共享文件的处理方式方法方法说明说明UNIX语义文件上的每个操作对所有进程来说，立即可见会话语义在文件关闭之前，对文件的修改对其它进程是不可见
6、的 不可更改文件不能修改。简化了共享和复制控制事务所有的更改要么都完成，要么都不能完成 主要内容主要内容5.1分布式文件设计5.2分布式文件系统的实现分布式文件系统的实现5.3分布式文件系统的趋势文件的使用文件的使用大多数文件比较小（小于10k）对文件的读操作多于对文件的写操作对文件的读写是顺序进行的，随机访问非常少大多数文件寿命比较短文件共享非常少一般进程只是使用某几个文件用不同的属性区分文件类型系统结构系统结构l客户和服务器不同吗？l文件和目录服务怎样构造？两者合并 保持独立 UNIX文件系统结构举例文件系统结构举例查找查找la/b/c迭代查找l自动查找文件文件客户客户abcabc服务器1
7、上的目录服务器2上的目录服务器3上的目录查找a/b/c查找b/c查找c带着c响应查找a/b/c查找b/c查找c带着c响应（a)（b）是否应该保留客户的状态信息？是否应该保留客户的状态信息？l无状态无状态服务器当客户发送一个请求给服务器，服务器完成请求，发送一个应答，然后从内部表中移出关于该请求的所有信息。在请求之间，服务器不保存具体客户的信息。请求必须是独立的，为了使服务器能够工作，它必须包含全文件名和文件中的偏移量。不需要OPEN和CLOSE调用。l有状态有状态服务器服务器保存两个请求之间的客户的状态信息。可以预读。无状态服务器与有状态服务器无状态服务器与有状态服务器无状态服务器优点无状态服
8、务器优点有状态服务器优点有状态服务器优点容错短小的请求消息无需open/close调用好的性能不浪费服务器空间可以预读无打开文件个数限制容易有等幂性客户崩溃不会导致问题可对文件加锁高速缓存（高速缓存（caching）l存储文件的四个位置3241网络客户内存客户磁盘（可选）服务器内存服务器磁盘Cache位置位置 Disk vs.Main Memoryl磁盘缓存的优点更可靠恢复时不需要再取l主内存缓存的优点可以采用无盘工作站数据存取更快在客户存储器中进行超高速高速缓存的不同方法在客户存储器中进行超高速高速缓存的不同方法l没有超高速缓存l每个进程都有超高速缓存l内核中有速高速缓存l超高速缓存管理作为
9、一个用户进程 缓存的一致性缓存的一致性直接写（write_through）延迟写关闭时写（write_on_close）方 法描 述直接写有效，但不影响写流量延迟写效率较高，但可能语义关闭时写与会话语义相配集中控制UNIX语义，但不健壮，不能规模化文件复制管理文件复制管理l复制透明性l复制方式显性复制惰性复制组复制文件prog.c1.141.212.162.433.193.41符号名S1，S2，S3地址(a)S1S2S3C123S1S2S3C组(c)S1S2S3C客户服务器现在以后以后(b)文件更新协议文件更新协议l主拷贝复制法：主服务器：指定的一个服务器从服务器：除主服务器之外的其它服务器所
10、有更新操作首先在主服务器上进行主服务器更新后，再更新各从服务器文件更新协议文件更新协议l版本号：记录文件更新的版本l表决法（voting）：读/写一个复制文件时需一定数量服务器的同意读法定数Nr：读一个已有N个复制存在时，客户需要获得一个读法定数（read quorum）,它是任何Nr个或更多服务器的任意集合。写法定数Nw：修改一个文件需要一个至少Nw个服务器的写法定数（write quorum）.满足约束条件：Nr+NwN表决算法举例表决算法举例读锁半数，写锁半数加1读锁一个，写锁全体SUN NFS系统系统l虚拟文件系统（VFS）V-节点（虚拟i节点）远程安装程序 系统调用层虚拟文件系统层本
11、地操作系统NFS客户发往服务器的消息本地磁盘虚拟文件系统层本地操作系统NFS服务器客户端发来的消息本地磁盘网络客户服务器SUN NFS系统系统lNFS 协议客户协议处理安装（客户协议处理安装（mounting）关于目录和文件访问 lNFS 实现分布式文件系统设计原则分布式文件系统设计原则尽可能利用工作站处理能力使用缓存技术利用文件使用特性 减少全局知识和变化，使用分层控制信任最少的实体，提高安全性 尽可能运用批处理方式 主要内容主要内容5.1分布式文件设计5.2分布式文件系统的实现5.3分布式文件系统的分布式文件系统的趋势趋势分布式文件系统的趋势分布式文件系统的趋势新的硬件新的硬件 更新共享文件的硬件方案 分布式文件系统的趋势分布式文件系统的趋势l规模规模 l广域网广域网 l移动用户移动用户 l容错容错l多媒体多媒体
