读书笔记_科学计算与企业级应用的并行优化

【科学计算与企业级应用的并行优化】
1、并行:指令并行、数据并行和线程并行；
2、一级缓存单核心独享，二级缓存多核心共享；
3、一个内核访问数据时，另一个内核进行计算，提高了设备的利用率；
4、CUDA编程中warp对齐；
5、全局存储器合并访问；
6、减少全局存储器的操作，使用局部存储器代替；
7、常量存储器/纹理存储器：const __restrist__指针；
8、减少非合并访问的影响，存储方式的优化：__constant__、const __restrist__关键字；
9、AVX向量指令集：__m256、__m128前缀；
10、线程同步：__syncthreads()
11、NEON指令集；
12、合理安排指令顺序，更好地使用预取技术；
13、CUDA：__shared__、__global__、__constant__、...
14、动态负载均衡，OpenMP;
15、存储器合并访问；
16、<<<、>>>是什么操作?：cuda核函数运行参数；
17、反汇编看优化代码；
18、Caffe卷积软件；