存储层次汇总课件.ppt

1、计算机体系结构 chapter5.1第五章第五章 存储层次存储层次计算机体系结构 Chapter5.25.7 主存主存 存储器的访问源存储器的访问源 取指令、取操作数、写操作数和取指令、取操作数、写操作数和I/O 存储器性能指标存储器性能指标 容量、速度和每位价格容量、速度和每位价格 访问时间（访问时间（Access Time)存储周期（存储周期（Cycle Time)种类：种类：DRAM和和SRAM Amdahl经验规则经验规则 容量随容量随CPU速度的提高而线性增加，实际情况速度的提高而线性增加，实际情况 容量容量60%per year，而性能而性能7%per year，差距是显然的差距是

2、显然的 根据根据A-定律，如果忽略计算的一个部分，而去努力提高其余部分的速度，其收效甚定律，如果忽略计算的一个部分，而去努力提高其余部分的速度，其收效甚微。微。解决存储器频带问题的三种途径：多个存储器并行工作，设置各种缓解决存储器频带问题的三种途径：多个存储器并行工作，设置各种缓冲器，冲器，Cache存储系统存储系统TimeAccess TimeCycle Time计算机体系结构 Chapter5.3 Simple:CPU,Cache,Bus,Memory same width(32 bits)Interleaved:CPU,Cache,Bus 1 word:Memory N Modules(

3、4 Modules);example is word interleaved Wide:CPU/Mux 1 word;Mux/Cache,Bus,Memory N words(Alpha:64 bits&256 bits)三种存储器组织方式三种存储器组织方式计算机体系结构 Chapter5.4提高主存性能的方法提高主存性能的方法 增大存储器的宽度（并行访问存储器）增大存储器的宽度（并行访问存储器）最简单直接的方法最简单直接的方法 优点：简单、直接，可有效增加带宽优点：简单、直接，可有效增加带宽 缺点缺点-增加了增加了CPU与存储器之间的连接通路的宽度，实现代价提高与存储器之间的连接通路的宽度，

4、实现代价提高-主存容量扩充时，增量应该是存储器的宽度主存容量扩充时，增量应该是存储器的宽度-写操作问题（部分写操作）写操作问题（部分写操作）冲突问题冲突问题-取指令冲突，遇到程序转移时，一个存储周期中读出的取指令冲突，遇到程序转移时，一个存储周期中读出的n条指令中，条指令中，后面的指令将无用后面的指令将无用-读操作数冲突。一次同时读出的几个操作数，不一定都有用读操作数冲突。一次同时读出的几个操作数，不一定都有用-写操作冲突。这种并行访问，必须凑齐写操作冲突。这种并行访问，必须凑齐n个字之后一起写入。如果只个字之后一起写入。如果只写一个字，必须先把属于同一个存储字的数据读到数据寄存器中，写一个字

5、，必须先把属于同一个存储字的数据读到数据寄存器中，然后在地址码的控制下修改其中一个字，最后一起写。然后在地址码的控制下修改其中一个字，最后一起写。-读写冲突。当要读写的字在同一个存储字内时，无法并行操作。读写冲突。当要读写的字在同一个存储字内时，无法并行操作。冲突的原因冲突的原因计算机体系结构 Chapter5.5冲突的原因冲突的原因 从存储器本身看，主要是地址寄存器和控制逻辑只有一套从存储器本身看，主要是地址寄存器和控制逻辑只有一套。如果有。如果有n个独立的地址寄存器和个独立的地址寄存器和n套读写控制逻辑，那么套读写控制逻辑，那么第第3，4种冲突自然解决，第种冲突自然解决，第1、2种冲突也会

6、有所缓解。种冲突也会有所缓解。计算机体系结构 Chapter5.6Access Pattern without Interleaving:Start Access for D1CPUMemoryStart Access for D2D1 availableAccess Pattern with 4-way Interleaving:Access Bank 0Access Bank 1Access Bank 2Access Bank 3We can Access Bank 0 againCPUMemoryBank 1MemoryBank 0MemoryBank 3MemoryBank 2Incr

7、easing Bandwidth-Interleaving计算机体系结构 Chapter5.7采用简单的多体交叉存储器采用简单的多体交叉存储器 一套地址寄存器和控制逻辑一套地址寄存器和控制逻辑 存储器芯片组织为多个体（存储器芯片组织为多个体（Bank）存储体的宽度，通常为一个字，不需要改变总线的宽度存储体的宽度，通常为一个字，不需要改变总线的宽度 目的：在总线宽度不变的情况下，完成多个字的并行读写目的：在总线宽度不变的情况下，完成多个字的并行读写 P234 例例5.14 存储器中所包含的体数，为避免访问冲突，基本原则为存储器中所包含的体数，为避免访问冲突，基本原则为：体的数目体的数目=访问体中

8、一个字所需的时钟周期数访问体中一个字所需的时钟周期数例如：某一向量机的存储系统，例如：某一向量机的存储系统，CPU发出访存请求发出访存请求10个时钟周期后，个时钟周期后，CPU将从存储体将从存储体0得到一个字，随后体得到一个字，随后体0开始读该存储体的下一个字，而开始读该存储体的下一个字，而CPU依次从其余依次从其余7个存储体中得到后继的个存储体中得到后继的7个字。在第个字。在第18个周期，个周期，CPU 将需要将需要存储体存储体0提供下一个字，但该字要到第提供下一个字，但该字要到第20个时钟周期才被读出，个时钟周期才被读出，CPU只好只好等待。等待。缺陷：不能对单个体单独访问，对解决冲突没有

9、帮助，逻缺陷：不能对单个体单独访问，对解决冲突没有帮助，逻辑上是一种宽存储器，对各个存储体的访问被安排在不同辑上是一种宽存储器，对各个存储体的访问被安排在不同的时间段的时间段计算机体系结构 Chapter5.8独立存储体独立存储体 目的：可对单个存储体独立操作目的：可对单个存储体独立操作 多处理机系统多处理机系统 I/O CPU（hit under n misses,非阻塞非阻塞Cache)思路：有多个存储控制器，每个体有独立的地址线，可能有独立的数思路：有多个存储控制器，每个体有独立的地址线，可能有独立的数据线据线 多体交叉方式中访存操作和数据传送重叠；独立存储体完全重叠多体交叉方式中访存操

10、作和数据传送重叠；独立存储体完全重叠 独立存储体方式与多体交叉方式的结合独立存储体方式与多体交叉方式的结合 主存系统由若干独立存储体构成主存系统由若干独立存储体构成 独立存储体内，按多体交叉方式组织独立存储体内，按多体交叉方式组织计算机体系结构 Chapter5.9避免存储体冲突避免存储体冲突 存储体冲突：两个访问请求访问同一个体存储体冲突：两个访问请求访问同一个体 关键问题：地址映射方法关键问题：地址映射方法（1）体号体号 地址地址 MOD 体数体数 体内地址体内地址 地址地址/体数体数（2）体号）体号 地址地址 MOD 体数体数 当存储体数为素数且为当存储体数为素数且为2*n 1时，时，体

11、内地址体内地址 地址地址 MOD 存储体中的字数存储体中的字数 P238 表表5.11 要求：体号和体内地址计算尽量简单。要求：体号和体内地址计算尽量简单。计算机体系结构 Chapter5.10典型的典型的DRAM组织组织rowdecoderrowaddressColumn Selector&I/O CircuitsColumnAddressdataRAM Cell Arrayword(row)selectbit(data)lines Row and Column Address together:Select 1 bit a timeEach intersection representsa

12、 1-T DRAM Cell计算机体系结构 Chapter5.11DRAM专用交叉结构专用交叉结构 Nibble RAS,then CAS,next CAS,next CAS Page RAS then any CAS Static Column 不需要不需要CAS信号信号 RAMBUS和和Synchronous DRAM计算机体系结构 Chapter5.12Fast Page Mode Operation Regular DRAM Organization:N rows x N column x M-bit Read&Write M-bit at a time Each M-bit acce

13、ss requiresa RAS/CAS cycle Fast Page Mode DRAM N x M“SRAM”to save a row After a row is read into the register Only CAS is needed to access other M-bit blocks on that row RAS_L remains asserted while CAS_L is toggledN rowsN colsDRAMColumnAddressM-bit OutputM bitsN x M“SRAM”RowAddressARow AddressCAS_L

14、RAS_LCol AddressCol Address1st M-bit AccessCol AddressCol Address2nd M-bit3rd M-bit4th M-bit计算机体系结构 Chapter5.135.8 虚拟存储器基本原理虚拟存储器基本原理 允许应用程序的大小，超过主存容量。目的是提高存储系允许应用程序的大小，超过主存容量。目的是提高存储系统的容量统的容量 帮助帮助OS进行多进程管理进行多进程管理 每个进程可以有自己的地址空间每个进程可以有自己的地址空间 提供多个进程空间的保护提供多个进程空间的保护 可以将多个逻辑块映射到共享的物理存储器上可以将多个逻辑块映射到共享的

15、物理存储器上 静态重定位和动态重定位静态重定位和动态重定位-应用程序运行在虚地址空间应用程序运行在虚地址空间-虚实地址转换对用户是透明的虚实地址转换对用户是透明的 虚拟存储管理的是主存辅助存储器这个层面上虚拟存储管理的是主存辅助存储器这个层面上 失效：页失效或地址失效失效：页失效或地址失效 块：页或段块：页或段计算机体系结构 Chapter5.14计算机体系结构 Chapter5.15Cache与与VM的区别的区别 目的不同目的不同 Cache是为了提高访存速度是为了提高访存速度 VM是为了提高存储容量是为了提高存储容量 替换的控制者不同替换的控制者不同 Cache失效由硬件处理失效由硬件处理

16、 VM的页失效通常由的页失效通常由OS处理处理-一般页失效开销很大，因此替换算法非常重要一般页失效开销很大，因此替换算法非常重要 地址空间地址空间 VM空间由空间由CPU的地址尺寸确定的地址尺寸确定 Cache的大小与的大小与CPU地址尺寸无关地址尺寸无关 下一级存储器下一级存储器 Cache下一级是主存下一级是主存 VM下一级是磁盘，大多数磁盘含有文件系统，文件系统寻址与主存不同下一级是磁盘，大多数磁盘含有文件系统，文件系统寻址与主存不同，它通常在，它通常在I/O空间中，空间中，VM的下一级通常称为的下一级通常称为SWAP空间空间 计算机体系结构 Chapter5.16虚拟存储器页式管理的典

17、型参数与虚拟存储器页式管理的典型参数与Cache的比较的比较 从表中看从表中看（与（与Cache参数相比）参数相比）除了失效率较低，其他参数都比除了失效率较低，其他参数都比Cache大大计算机体系结构 Chapter5.17页式管理和段式管理页式管理和段式管理 VM可分为两类：页式和段式可分为两类：页式和段式 页式：每页大小固定页式：每页大小固定 段式：每段大小不等段式：每段大小不等 两者区别：两者区别：P241 表表5.31 GCGarbage Collector计算机体系结构 Chapter5.18计算机体系结构 Chapter5.19VM的四个问题的四个问题(1/2)映象规则映象规则 选

18、择策略：低失效率和复杂的映象算法，还是简单的映射方法，高失效率选择策略：低失效率和复杂的映象算法，还是简单的映射方法，高失效率-由于失效开销很大，一般选择低失效率方法，即全相联映射由于失效开销很大，一般选择低失效率方法，即全相联映射 查找算法用附加数据结构查找算法用附加数据结构 固定页大小用页表固定页大小用页表-VPN PPN-Tag标识该页是否在主存标识该页是否在主存 可变长段可变长段 段表段表-段表中存放所有可能的段信息段表中存放所有可能的段信息-段号段号 段基址段基址 再加段内偏移量再加段内偏移量-可能由许多小尺寸段可能由许多小尺寸段 页表页表-页表中所含项数：一般为虚页的数量页表中所含

19、项数：一般为虚页的数量-功能功能:VPNPPN，方便页重新分配，有一位标识该页是否在内存方便页重新分配，有一位标识该页是否在内存计算机体系结构 Chapter5.20页表项问题页表项问题 按虚页的数量设置页表大小，可能页表非常大按虚页的数量设置页表大小，可能页表非常大 例如例如32位虚地址，位虚地址，4KB/页，页表项需要页，页表项需要 4GB/4KB项项 需要页大小与页表项数目的平衡问题需要页大小与页表项数目的平衡问题 另一方案：反向页表另一方案：反向页表 基本思路：页表反映物理页的数目，而不是虚拟页的数目基本思路：页表反映物理页的数目，而不是虚拟页的数目 用用Hash表表 完成虚拟页号到物

20、理页号的转换完成虚拟页号到物理页号的转换 通过比较通过比较Tag确定是否是所需的确定是否是所需的PN-如果是，再检测其是否在内存如果是，再检测其是否在内存-如果不是：则从硬盘上查找全部页表如果不是：则从硬盘上查找全部页表-隐含问题：可能需要两次访问硬盘隐含问题：可能需要两次访问硬盘计算机体系结构 Chapter5.21VM的四个问题（的四个问题（2/2)替换规则替换规则 LRU是最好的是最好的 但真正的但真正的LRU方法，硬件代价较大方法，硬件代价较大 用硬件简化，通过用硬件简化，通过OS来完成来完成-为了帮助为了帮助OS寻找寻找LRU页，每个页面设置一个页，每个页面设置一个 use bit-

21、当访问主存中一个页面时，其当访问主存中一个页面时，其use bit置位置位-OS定期复位所有使用位，这样每次复位之前，使用位的值就反映了定期复位所有使用位，这样每次复位之前，使用位的值就反映了从上次复位到现在的这段时间中，哪些页曾被访问过。从上次复位到现在的这段时间中，哪些页曾被访问过。-当有失效冲突时，由当有失效冲突时，由OS来决定哪些页将被换出去。来决定哪些页将被换出去。写策略写策略 总是用写回法，因为访问硬盘速度很慢。总是用写回法，因为访问硬盘速度很慢。计算机体系结构 Chapter5.22计算机体系结构 Chapter5.23页面大小的选择页面大小的选择 页面选择较大的优点页面选择较大

22、的优点 减少了页表的大小减少了页表的大小 如果局部性较好，可以提高命中率如果局部性较好，可以提高命中率 页面选择较大的缺点页面选择较大的缺点 内存中的碎片较多，内存利用率低内存中的碎片较多，内存利用率低 进程启动时间长进程启动时间长 失效开销加大失效开销加大计算机体系结构 Chapter5.24Alpha VPNPPN计算机体系结构 Chapter5.25TLB（Translation look-aside Buffer)页表一般很大，存放在主存中。页表一般很大，存放在主存中。导致每次访存可能要两次访问主存，一次读取页表项，一次读写数据导致每次访存可能要两次访问主存，一次读取页表项，一次读写数

23、据 解决办法：采用解决办法：采用 TLB TLB 存放近期经常使用的页表项，是整个页表的部分内容的副本。存放近期经常使用的页表项，是整个页表的部分内容的副本。基本信息：基本信息：VPN#PPN#Protection Field#use bit#dirty bit OS修改页表项时，需要刷新修改页表项时，需要刷新TLB，或保证或保证TLB中没有该页表项的副本中没有该页表项的副本 P244 图图5.25 ALPHA 21064 的地址转换过程的地址转换过程 TLB必须在片内必须在片内-速度至关重要速度至关重要-TLB过小，意义不大过小，意义不大-TLB过大，代价较高过大，代价较高-相联度较高（容量小）相联度较高（容量小）计算机体系结构 Chapter5.26TLB的典型参数的典型参数 block size-same as a page table entry-1 or 2 words hit time-1 cycle miss penalty-10 to 30 cycles miss rate-.1%to 2%TLB size-32 B to 8 KB计算机体系结构 Chapter5.27举例：举例：Alpha 21064的的TLB计算机体系结构 Chapter5.28Summary of Virtual Memory and Caches