OpenMP、MPI 和 MapReduce 对比

OpenMP和MPI是并行编程的两个手段，对比如下：

• OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
• MPI：进程级；分布式存储；显式；可扩展性好。

OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。

MPI虽适合于各种机器，但它的编程模型复杂：

• 需要分析及划分应用程序问题，并将问题映射到分布式进程集合；
• 需要解决通信延迟大和负载不平衡两个主要问题；（重要）
• 调试MPI程序麻烦；
• MPI程序可靠性差，一个进程出问题，整个程序将错误；

与OpenMP，MPI相比，MapReduce的优势

• 自动并行；
• 容错；
• MapReduce学习门槛低。

（转自http://blog.csdn.net/zdy0_2004/article/details/41493897）

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。在多核和多处理器、Cell processor以及异构机群上同样有良好的性能。

与MPI相比，MapReduce的优点如下：

1.MapReduce job可以起很多instance，各个instance在计算的过程中互不干扰。比如，用户起了10000个instance，如果集群资源不足，Job不需要等待，可以先执行1000个instance，剩余的等到集群有资源的时候再计算。

2. MapReduce job没有instance间通信开销。

3.如果MapReduce Job的某个instance计算failed，调度系统会自动重试，再次计算，并不影响其他结果，也不需要所有instance重新计算。

与MPI相比，MapReduce的缺点是：MapReduce job的计算的中间结果是以文件形式存储，效率较低。

与MapReduce相比，MPI的优点如下：

1.MPI job在计算的数据都在内存中，不需要存储中间文件，因此效率高。

2.如果集群资源充足，MPI job启动所有instance进行计算，速度快。

但与MapReduce相较，MPI的缺点也比较明显：

1.如果集群资源不够起所有instance，则MPI的job一直等待。

2.如果MPI Job的某个instance计算failed，则所有instance都需要重新计算。

3.MPI的Job instance不能起太多，因为会增加进程间通信的开销。