CPU的cache基础知识
2014-04-29 18:05
197 查看
CPU通常包含以下3种cache(这里只讨论数据cache)
1. L1 指令cache
2. L1 数据cache,通常每个核独享一个,典型大小为32K
3. L2数据cache,通常每2个核共享一个,典型大小为4M
CPU从来都不直接访问主存, 都是通过cache间接访问主存。访问cache的最小单位是cache line,也就是内存chunks,典型大小为64或128Byte。
CPU每次访问,先遍历 查找主存的地址是否在某个cache line中. 如果cache中没有找到, 把主存对应的一个chunk拷到对应的一个cache line中, 再从cache line中读取.
注意最小单位是cache line,相当于16个int(64Byte)。
以下两个代码:
for(int i=0;i<10000000;i++) a[i]*=3
for(int i=0;i<10000000;i+=16 ) a[i]*=3
虽然前者执行指令数是后者的16倍,但是实际执行的耗时差不多。原因就是程序的主要耗时是在内存进入cache中(改写cache耗时很少),后者虽然步长为16,但同样要遍历所有的chunk。
缓存设计的一个关键决定是确保chunk能够存储在某个cache line里。按照内存地址映射到cacheline的方式不同,可以分为三类:
1. Direct mapped cache :一个chunk对应于唯一一个cache line slot
2. N-way set associative cache:一个chunk对应于一组N个cache line slot
3. full associative cache:每个chunk能对应于任意一个cache line slot
1的缺点是命中率低,3的缺点是实现复杂;2是较好的折中,最常见的是16-way set associative cache。
假设缓存大小为8M=2^22,每个chunk大小为64,划分为16-way,表示每个chunk可以映射到一组(set)16个cache line slot中,共有2^22/64/16=2^12=4096个不同的组
用每个chunk地址的末12位来定位。也就是说,每隔2^12*64byte的两个chunk,将会放在同一个set中,而每set里最多能放16个不同的cache line。
多个CPU公用cache和false cache line sharing问题
通常,L1是单个core独享,L2会有CPU的多个core共享,这里就有一致性的问题。当一个处理器改变了属于它自己缓存中的一个值,其它处理器就再也无法使用它自己原来的值,因为其对应的内存位置将被刷新(invalidate)到所有缓存。而且由于缓存操作是以cache line而不byte为粒度,所有缓存中整个cache line将被刷新。也就是说,其他cpu在操作同cache line中的其他数据时,也不得不去重新同步cache。这将使cache的missing 比例升高,整个程序的耗时翻倍。
解决该问题的方法是
1) 不同线程之间尽量少的访问全局变量, 尽量使用线程局部变量.
2) 如果一定要访问, 尽量让各个线程自己访问的区域cacheline对齐.不要让更新频率非常高(例如,计数器)和经常访问的变量分布在同一个cache line中
3) 频繁更新的存储和不频繁更新的存储分开.
参考文献:http://coolshell.cn/articles/10249.html
http://igoro.com/archive/gallery-of-processor-cache-effects/
1. L1 指令cache
2. L1 数据cache,通常每个核独享一个,典型大小为32K
3. L2数据cache,通常每2个核共享一个,典型大小为4M
CPU从来都不直接访问主存, 都是通过cache间接访问主存。访问cache的最小单位是cache line,也就是内存chunks,典型大小为64或128Byte。
CPU每次访问,先遍历 查找主存的地址是否在某个cache line中. 如果cache中没有找到, 把主存对应的一个chunk拷到对应的一个cache line中, 再从cache line中读取.
注意最小单位是cache line,相当于16个int(64Byte)。
以下两个代码:
for(int i=0;i<10000000;i++) a[i]*=3
for(int i=0;i<10000000;i+=16 ) a[i]*=3
虽然前者执行指令数是后者的16倍,但是实际执行的耗时差不多。原因就是程序的主要耗时是在内存进入cache中(改写cache耗时很少),后者虽然步长为16,但同样要遍历所有的chunk。
缓存设计的一个关键决定是确保chunk能够存储在某个cache line里。按照内存地址映射到cacheline的方式不同,可以分为三类:
1. Direct mapped cache :一个chunk对应于唯一一个cache line slot
2. N-way set associative cache:一个chunk对应于一组N个cache line slot
3. full associative cache:每个chunk能对应于任意一个cache line slot
1的缺点是命中率低,3的缺点是实现复杂;2是较好的折中,最常见的是16-way set associative cache。
假设缓存大小为8M=2^22,每个chunk大小为64,划分为16-way,表示每个chunk可以映射到一组(set)16个cache line slot中,共有2^22/64/16=2^12=4096个不同的组
用每个chunk地址的末12位来定位。也就是说,每隔2^12*64byte的两个chunk,将会放在同一个set中,而每set里最多能放16个不同的cache line。
多个CPU公用cache和false cache line sharing问题
通常,L1是单个core独享,L2会有CPU的多个core共享,这里就有一致性的问题。当一个处理器改变了属于它自己缓存中的一个值,其它处理器就再也无法使用它自己原来的值,因为其对应的内存位置将被刷新(invalidate)到所有缓存。而且由于缓存操作是以cache line而不byte为粒度,所有缓存中整个cache line将被刷新。也就是说,其他cpu在操作同cache line中的其他数据时,也不得不去重新同步cache。这将使cache的missing 比例升高,整个程序的耗时翻倍。
解决该问题的方法是
1) 不同线程之间尽量少的访问全局变量, 尽量使用线程局部变量.
2) 如果一定要访问, 尽量让各个线程自己访问的区域cacheline对齐.不要让更新频率非常高(例如,计数器)和经常访问的变量分布在同一个cache line中
3) 频繁更新的存储和不频繁更新的存储分开.
参考文献:http://coolshell.cn/articles/10249.html
http://igoro.com/archive/gallery-of-processor-cache-effects/
相关文章推荐
- CPU的cache知识
- 最基础的知识:CPU、内存、虚拟内存、硬盘之间的关系
- [汇编] 002基础知识-CPU和寄存器
- Cache基础知识
- cache基础知识
- CPU小常识,cpu基础知识
- 程序开发基础知识总结-CPU工作原理
- CPU基础知识详解
- CPU芯片基础知识 CPU芯片工作原理 CPU芯片参数介绍
- CPU 基础知识
- CPU的基础知识
- (第一、二章)基础知识+CPU工作原理
- 菜鸟进阶学堂(四):CPU基础知识入门
- CPU的基础知识
- CPU基础知识1------Intel CPU 地址空间
- 基础知识(2):关于CPU C-States 省电模式
- 【Memcached】基础知识-Cache
- 自己动手写CPU之计算机体系基础知识
- cpu地址基础知识3——cpu地址空间