高速缓冲存储器

高速缓冲存储器编辑高速缓存一般指高速缓冲存储器

 

本词条缺少信息栏，补充相关内容使词条更完整，还能快速升级，赶紧来编辑吧！

高速缓冲存储器（Cache）其原始意义是指存取速度比一般随机存取记忆体（RAM）来得快的一种RAM，一般而言它不像系统主记忆体那样使用DRAM技术，而使用昂贵但较快速的SRAM技术，也有快取记忆体的名称。

 

目录

1基本概念

2组成结构

3作用介绍

4工作原理

5读取命中率

 

1基本概念编辑

在计算机存储系统的层次结构中，介于中央处理器和主存储器之间的高速小容量存储器。它和主存储器一起构成一级的存储器。高速缓冲存储器和主存储器之间信息的调度和传送是由硬件自动进行的。

某些机器甚至有二级三级缓存，每级缓存比前一级缓存速度慢且容量大。而这时，一开始的高速小容量存储器就被人称为一级缓存。

高速缓冲存储器最重要的技术指标是它的命中率。

2组成结构编辑

高速缓冲存储器是存在于主存与CPU之间的一级存储器， 由静态存储芯片(SRAM)组成，容量比较小但速度比主存高得多， 接近于CPU的速度。

主要由三大部分组成：

Cache存储体：存放由主存调入的指令与数据块。

地址转换部件：建立目录表以实现主存地址到缓存地址的转换。

替换部件：在缓存已满时按一定策略进行数据块替换，并修改地址转换部件。^[1] 

3作用介绍编辑

在计算机技术发展过程中,主存储器存取速度一直比中央处理器操作速度慢得多，使中央处理器的高速处理能力不能充分发挥，整个计算机系统的工作效率受到影响。有很多方法可用来缓和中央处理器和主存储器之间速度不匹配的矛盾，如采用多个通用寄存器、多存储体交叉存取等，在存储层次上采用高速缓冲存储器也是常用的方法之一。很多大、中型计算机以及新近的一些小型机、微型机也都采用高速缓冲存储器。

高速缓冲存储器的容量一般只有主存储器的几百分之一，但它的存取速度能与中央处理器相匹配。根据程序局部性原理，正在使用的主存储器某一单元邻近的那些单元将被用到的可能性很大。因而，当中央处理器存取主存储器某一单元时，计算机硬件就自动地将包括该单元在内的那一组单元内容调入高速缓冲存储器，中央处理器即将存取的主存储器单元很可能就在刚刚调入到高速缓冲存储器的那一组单元内。于是，中央处理器就可以直接对高速缓冲存储器进行存取。在整个处理过程中，如果中央处理器绝大多数存取主存储器的操作能为存取高速缓冲存储器所代替，计算机系统处理速度就能显著提高。^[2] 

4工作原理编辑

高速缓冲存储器通常由高速存储器、联想存储器、替换逻辑电路和相应的控制线路组成。在有高速缓冲存储器的计算机系统中，中央处理器存取主存储器的地址划分为行号、列号和组内地址三个字段。于是，主存储器就在逻辑上划分为若干行；每行划分为若干的存储单元组；每组包含几个或几十个字。高速存储器也相应地划分为行和列的存储单元组。二者的列数相同，组的大小也相同，但高速存储器的行数却比主存储器的行数少得多。

联想存储器用于地址联想，有与高速存储器相同行数和列数的存储单元。当主存储器某一列某一行存储单元组调入高速存储器同一列某一空着的存储单元组时，与联想存储器对应位置的存储单元就记录调入的存储单元组在主存储器中的行号。

当中央处理器存取主存储器时，硬件首先自动对存取地址的列号字段进行译码，以便将联想存储器该列的全部行号与存取主存储器地址的行号字段进行比较：若有相同的，表明要存取的主存储器单元已在高速存储器中，称为命中，硬件就将存取主存储器的地址映射为高速存储器的地址并执行存取操作；若都不相同，表明该单元不在高速存储器中，称为脱靶，硬件将执行存取主存储器操作并自动将该单元所在的那一主存储器单元组调入高速存储器相同列中空着的存储单元组中，同时将该组在主存储器中的行号存入联想存储器对应位置的单元内。

当出现脱靶而高速存储器对应列中没有空的位置时，便淘汰该列中的某一组以腾出位置存放新调入的组，这称为替换。确定替换的规则叫替换算法，常用的替换算法有:最近最少使用法（LRU）、先进先出法（FIFO）和随机法（RAND）等。替换逻辑电路就是执行这个功能的。另外，当执行写主存储器操作时，为保持主存储器和高速存储器内容的一致性，对命中和脱靶须分别处理：

①写操作命中时，可采用写直达法（即同时写入主存储器和高速存储器）或写回法（即只写入高速存储器并标记该组修改过。淘汰该组时须将内容写回主存储器）；

②写操作脱靶时，可采用写分配法（即写入主存储器并将该组调入高速存储器）或写不分配法（即只写入主存储器但不将该组调入高速存储器）。高速缓冲存储器的性能常用命中率来衡量。影响命中率的因素是高速存储器的容量、存储单元组的大小、组数多少、地址联想比较方法、替换算法、写操作处理方法和程序特性等。

采用高速缓冲存储器技术的计算机已相当普遍。有的计算机还采用多个高速缓冲存储器，如系统高速缓冲存储器、指令高速缓冲存储器和地址变换高速缓冲存储器等,以提高系统性能。随着主存储器容量不断增大,高速缓冲存储器的容量也越来越大。

5读取命中率编辑

^[3] CPU在Cache中找到有用的数据被称为命中，当Cache中没有CPU所需的数据时（这时称为未命中），CPU才访问内存。从理论上讲，在一颗拥有2级Cache的CPU中，读取L1Cache的命中率为80%。也就是说CPU从L1Cache中找到的有用数据占数据总量的80%，剩下的20%从L2Cache读取。由于不能准确预测将要执行的数据，读取L2的命中率也在80%左右（从L2读到有用的数据占总数据的16%）。那么还有的数据就不得不从内存调用，但这已经是一个相当小的比例了。在一些高端领域的CPU（像Intel的Itanium）中，我们常听到L3Cache，它是为读取L2Cache后未命中的数据设计的—种Cache，在拥有L3Cache的CPU中，只有约5%的数据需要从内存中调用，这进一步提高了CPU的效率。

为了保证CPU访问时有较高的命中率，Cache中的内容应该按一定的算法替换。一种较常用的算法是“最近最少使用算法”（LRU算法），它是将最近一段时间内最少被访问过的行淘汰出局。因此需要为每行设置一个计数器，LRU算法是把命中行的计数器清零，其他各行计数器加1。当需要替换时淘汰行计数器计数值最大的数据行出局。这是一种高效、科学的算法，其计数器清零过程可以把一些频繁调用后再不需要的数据淘汰出Cache，提高Cache的利用率。

=========================================

 

Cache 的write back和write through  

2011-08-09 11:42:22|  分类：cpu |  标签：|举报|字号大中小 订阅

为了保证cache和memory的数据一致性，通常有三种方法：

1〉write through：CPU向cache写入数据时，同时向memory也写一份，使cache和memory的数据保持一致。优点是简单，缺点是每次都要访问memory，速度比较慢。

2〉post write：CPU更新cache数据时，把更新的数据写入到一个更新缓冲器，在合适的时候才对memory进行更新。这样可以提高cache访问速度，但是，在数据连续被更新两次以上的时候，缓冲区将不够使用，被迫同时更新memory。

3〉write back：ＣＰＵ更新cache时，只是把更新的cache区标记一下，并不同步更新memory。只是在cache区要被新进入的数据取代时，才更新 memory。这样做的原因是考虑到很多时候cache存入的是中间结果，没有必要同步更新memory。优点是CPU执行的效率提高，缺点是实现起来技 术比较复杂。

  回写与透写

 
 
   对于cache的算法。大方面有两种，Write-Through(通写)和Write-Back(回写).    Write-Through，也就是说OS发送的处理data的请求，一直要等到全部memory里面的data正确写到稳定存储media(如硬盘) 中，然后返回给OS报告处理完毕，然后OS才会去update其状态;这种情况下，通常不会有dirty cache.      而Write-Back,就是在OS发送处理data的请求后，该算法会将它用buffer存起来，并在没有正确写到稳定存储media(如硬盘)中前， 就告诉OS处理完毕，然后OS就会去update；但是要是此时掉电或其他故障，buffer的数据没有被写入稳定存储media(如硬盘)，那么os update的信息就和media中的信息不一致.为了避免这样，所以才用NVRAM，它在调电后数据仍然不丢失，但是在被重新上电后，其数据会是 dirty的，也就是楼主所提到的dirty cache(如何将dirty cache更新到media，这是Write-Back应该做的事)。    这和买卖东西相似，Write-Through就相当于你亲自去买东西，你买到什么就可以亲手拿到；而Write-Back就和中介差不多，你给了中介 钱，然后它告诉你说你的东西买到了，然后就相信拿到这个东西了，但是要是出现特殊情况中介跑了(掉链子了)，你再去检查，东西原来没有真正到手。



1.Cache的两个类型
    --Write Through
    当写数据进Cache时，也同时更新了相应的Memory里的内容
    --Write back
    只是写到Cache里，Memory的内容要等到cache保存的要被别的数据替换或者系统做cache flush时，才会被更新。

2.Cache的两个函数
    --Flush
    把Cache内容写回Memory,当Cache为Write through,不需要Flush
    --Invalidate
    把Cache内容直接丢掉不要。

3.Cache的使用场合
    当有DMA在使用memory的时候，一般要用到cache的处理。因为DMA在访问memory时是不经过cache的。比较典型的比如在 Ethernet，wireless,USB等driver里，DMA会操作descriptors和packet buffers,Driver要做这些处理
    --如果driver使用descripter和packet buffer的地址都是cache的地址，那么
    a).Driver在读descripter里一些状态比如Owned by CPU/DMA,有没有收到包时，要对descripter当前结构里的内容做cache invalidate,收到packet后，也要对packet buffer做cache invalidate
    b).Driver在写descripter里一些状态比如Owned by DMA,要发送包时，要对descripter当前结构里的内容做cache flush,发送packet时，也要对packet buffer做cache flush
    --有些driver会对descripter使用uncache 地址，那么上面两种情况里invalidate/flush就不用做了。一般很少会对packet buffer也用uncache地址的，因为对packet内容的处理将会很频繁，使用uncache会很慢。而descripter一般由于结构比较 小，如果也使用cache地址的话，做invalidate/flush的时间消耗可能会比uncache的还要多。