CUDA入门学习（三）:共享内存与线程同步

        共享内存实际上是可受用户控制的一级缓存。每个SM中的一级缓存与共享内存共享一个64KB的内存段在开普勒架构的设备中，根据应用程序的需要，每个线程块可以配置为16KB的一级缓存或共享内存。而在费米架构的设备中，可以根据喜好选择16KB或者48KB的一级缓存或者共享内存。早期费米架构中只有固定的16KB共享内存而没有一级缓存。共享内存的延迟极低，大约有1.5TB/s的带宽，远远高于全局内存的190GB/s，但是它的速度只有寄存器的十分之一。只有当数据重复利用，全局内存合并，或线程之间由数据共享时使用共享内存才更合适，否则，数据直接从全局内存加载到寄存器性能会更好。申请共享内存后，其内容在每一个用到的block被复制一遍，使得在每个block内，每一个thread都可以访问和操作这块内存，而无法访问其他block内的共享内存。这种机制就使得一个block之内的所有线程可以互相交流和合作。

  共享内存是基于存储体切换的架构（bank-switched architecture）。无论有多少个线程发起操作，每个存储体每个周期只执行一次操作。因此，如果线程束中的每个线程访问一个存储体，那么所有的线程操作都可以在一个周期内同时执行。此时无须顺序地访问，因为每个线程访问的存储体在共享内存中都是独立的，互不影响。此外，如果线程束中的所有线程同时访问相同地址的存储体时，就会想常量内存一样触发一个广播机制到线程束中的每一个线程。然而如果有其他的访问方式，存储体冲突将不同程度地得到解决。这意味着，线程访问共享内存需要排队等候，当一个线程访问时，其它线程都将阻塞。因此储存体应尽可能避免冲突。

                         

                             

          这里有必要对第四张图说明下。所有线程访问同一存储体，如果是读的话会触发广播机制，但是如果是写的话会冲突，这将导致对同一存储体顺序进行32次访问操作，这里注意箭头朝向，该图是参考博文https://segmentfault.com/a/1190000007533157，但是可能博主没考虑到读写的区别吧，如有问题，欢迎指正修改。

我们来看个向量点乘的例子吧。

#include "../common/book.h"#define imin(a,b) (a<b?a:b)const int N = 33 * 1024;const int threadsPerBlock = 256;const int blocksPerGrid =            imin( 32, (N+threadsPerBlock-1) / threadsPerBlock );__global__ void dot( float *a, float *b, float *c ) {    __shared__ float cache[threadsPerBlock];    int tid = threadIdx.x + blockIdx.x * blockDim.x;    int cacheIndex = threadIdx.x;    float   temp = 0;    while (tid < N) {        temp += a[tid] * b[tid];        tid += blockDim.x * gridDim.x;    }        // set the cache values    cache[cacheIndex] = temp;        // synchronize threads in this block    __syncthreads();    // for reductions, threadsPerBlock must be a power of 2    // because of the following code    int i = blockDim.x/2;    while (i != 0) {        if (cacheIndex < i)            cache[cacheIndex] += cache[cacheIndex + i];        __syncthreads();        i /= 2;    }    if (cacheIndex == 0)        c[blockIdx.x] = cache[0];}int main( void ) {    float   *a, *b, c, *partial_c;    float   *dev_a, *dev_b, *dev_partial_c;    // allocate memory on the cpu side    a = (float*)malloc( N*sizeof(float) );    b = (float*)malloc( N*sizeof(float) );    partial_c = (float*)malloc( blocksPerGrid*sizeof(float) );    // allocate the memory on the GPU    HANDLE_ERROR( cudaMalloc( (void**)&dev_a,                              N*sizeof(float) ) );    HANDLE_ERROR( cudaMalloc( (void**)&dev_b,                              N*sizeof(float) ) );    HANDLE_ERROR( cudaMalloc( (void**)&dev_partial_c,                              blocksPerGrid*sizeof(float) ) );    // fill in the host memory with data    for (int i=0; i<N; i++) {        a[i] = i;        b[i] = i*2;    }    // copy the arrays 'a' and 'b' to the GPU    HANDLE_ERROR( cudaMemcpy( dev_a, a, N*sizeof(float),                              cudaMemcpyHostToDevice ) );    HANDLE_ERROR( cudaMemcpy( dev_b, b, N*sizeof(float),                              cudaMemcpyHostToDevice ) );     dot<<<blocksPerGrid,threadsPerBlock>>>( dev_a, dev_b,                                            dev_partial_c );    // copy the array 'c' back from the GPU to the CPU    HANDLE_ERROR( cudaMemcpy( partial_c, dev_partial_c,                              blocksPerGrid*sizeof(float),                              cudaMemcpyDeviceToHost ) );    // finish up on the CPU side    c = 0;    for (int i=0; i<blocksPerGrid; i++) {        c += partial_c[i];    }    #define sum_squares(x)  (x*(x+1)*(2*x+1)/6)    printf( "Does GPU value %.6g = %.6g?\n", c,             2 * sum_squares( (float)(N - 1) ) );    // free memory on the gpu side    HANDLE_ERROR( cudaFree( dev_a ) );    HANDLE_ERROR( cudaFree( dev_b ) );    HANDLE_ERROR( cudaFree( dev_partial_c ) );    // free memory on the cpu side    free( a );    free( b );    free( partial_c );}

  主函数中的CUDA 内存申请，拷贝，释放我们就不具体介绍了，我们看核函数中的__shared__ float cache[threadsPerBlock] 这里的__shared__同样是CUDA中的关键字，和__global__一样，意思是申请一个共享内存，这里申请的大小为每个线程块的线程数目，这样每个线程都可以访问一个存储体，不会造成存储体冲突。并且会为每一个线程块分配相同大小的共享内存。这样我们就可以计算每个线程块的向量点乘之和，但是这里有个潜在的危险，如下图所示，如果一部分线程已经计算好了，另一部分还没，那么相加的结果肯定是错的。所以我们需要一个同步机制来保证每个线程块都计算好了，这里就用到了__syncthreads();

                                                                                         

                                             

总结：本次主要介绍了块内线程如何通过共享内存进行协作，除了线程级通信之外，我们之后还将学校线程块之间的通信。

参考：  [1]CUDA并行程序设计 —— GPU编程指南

      [2] Addison.Wesley.CUDA.By.Example.Jul.2010.ISBN.0131387685

      [3]https://segmentfault.com/a/1190000007533157