MPI和MapReduce对比
来源:互联网 发布:java软件开发简历范文 编辑:程序博客网 时间:2024/05/15 08:59
Hadoop认证教程:MPI和MapReduce对比,在当前最流行的高性能并行体系结构中比较常用的并行编程环境分为两类:消息传递和共享存储。
MPI是基于消息传递的经典代表,是消息传递并行程序设计的标准,用于构建高可靠的、可伸缩的、灵活的分布式应用程。消息传递并行处理开销比较大,适合于大粒度的进程级并行计算,相对其他并行编程环境,它具有很好的可移植性,几乎能被所有的并行环境支持;还具有很好的可扩展性,具有完备的异步通信功能,能按照用户的要求很好地分解问题,组织不同进程之间进行数据交换,适合大规模可扩展性的并行算法。
MPI模式在学术研究领域应用较多,而在商业领域,云计算系统大多采用的是Google云计算系统中的MapReduce并行编程模型。云计算强调的就是简单的编程模型,而MapReduce就是一种高效的、简单的并行编程模式,也是一种高效的任务调度器。
MapReduce这种编程模型不仅适用于云计算,在多核和多处理器、Cell processor以及异构机群上同样有良好的性能。利用MapReduce,程序员能够轻松地编写紧耦合的程序,在运行时能高效地调度和执行任务,在实现时,在Map函数中指定对各分块数据的处理过程,在Reduce函数中指定如何对分块数据处理的中间结果进行归约。用户只需要指定Map和Reduce函数来编写分布式的并行程序,不需要关心如何将输入的数据分块、分配和调度,同时系统还将处理集群内节点失败及节点间通信的管理等。而MPI仅仅是一个并行计算标准,没有相应的分布式文件系统的支撑,在大数据场景下大文件的存储及访问都会成为一个问题,同时用户还需要考虑集群节点之间的通信协调、容错等问题,这些使得MPI的编程难度比较大,集群本身的规模也很难做到像MapReduce那样的超大规模。
- MPI和MapReduce对比
- OpenMP、MPI 和 MapReduce 对比
- OpenMP、MPI 和 MapReduce 对比
- 对比 Spark 和 MapReduce
- 不同的瑞士军刀:对比 Spark 和 MapReduce
- MPI, MapReduce 应用比较分析
- MapReduce与MPI的优缺点
- MPI, MapReduce 应用比较分析
- MapReduce和HPC集群并行计算优劣对比
- MapReduce计算过程中的压缩和效率的对比问题
- hadoop&spark mapreduce对比 & 框架设计和理解
- hadoop&spark mapreduce对比 & 框架设计和理解
- 对比 Hadoop MapReduce 和 Spark 的 Shuffle 过程
- 有了OpenMP,MPI,为什么还要MapReduce?
- 并行编程方式:OpenMP + MPI +Mapreduce
- 有了OpenMP,MPI,为什么还要MapReduce?
- 有了OpenMP,MPI,为什么还要MapReduce?
- OpenMP和MPI比较
- 【数字信号处理】十大经典软件滤波算法
- Collection与Collections的区别
- Android编译系统详解(一)——build/envsetup.sh
- 十年一覺程設夢[完整版]
- const 指针与指向const的指针
- MPI和MapReduce对比
- 【codeforces】Uncowed Forces
- MongoDB从不懂到装懂其四(数据备份、恢复、导入、导出)
- <<More Effective C++>>读书笔记2: 运算符
- day2 HDU 2141 Can you find it?
- [李景山php]每天laravel-20160921|Redis Database.php
- 基于FPGA的Alpha半透明图像叠加算法实现
- 为什么析构函数常声明为虚函数?
- python 模拟登录csdn并获取博客列表等操作