【CUDA编程】CUDA一些基本概念

CUDA（Compute Unified Device Architecture）：计算统一设备架构。

简单理解：CUDA就是一个基于GPU（单指Nvidia公司）的通用并行计算平台。

三个关键：GPU，通用计算和并行！

GPU（Graphics Processing Unit）：图形处理器。

通用计算：主要是与以前的GPU只做渲染流水线相对应。

并行：同一时刻多个指令同时运行，在GPU上处理器的称谓换成了个多处理器，每个多处理器上有8个名叫CUDA core的处理单元。

并发：指复用，同一个时刻只有一个指令在处理器上执行。

Why并行程序？

摩尔定律：集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍，当价格不变时。

核心思想：硬件会越来越越快，可是随着单核CPU的时钟频率不断增加，也落入了收益递减规律里面了，其中一个主要的性能瓶颈是存储器延迟。

故有新的摩尔定律：No longer get faster, just wider（未来的计算机不会更快，而是更“宽”）。

并行处理：并行体系结构、并行软件和并行算法！

详解：CUDA基本概念