CUDA优化之Reducing

摘要

本文主要目的是通俗地一针见血地告诉读者CUDA Reducing的概念。

1. 概念

Reducing是一种CUDA内存优化策略，目的是使得CUDA的内存访问连续无间隔。Reducing这一个方法里面体现出了整个CUDA内存优化的思路——通俗地讲：几乎都一个套路，说多就错，维特根斯坦式沉默。

2. 用例子说明问题

一个包含有N个元素的数组求和

int sum = 0;for (int i = 0; i < N; i++)    sum += array[i];

求解模型1

求解模型2

分析总结

模型二就比模型一来的好，因为内存访问无间隔且连续。宏观地将，这就是CUDA所有内存优化问题的基本思路。更细地将，这就是所谓的CUDA reducing。