Hadoop和Spark是两个不同的分布式软件框架
来源:互联网 发布:java 中文字符 编辑:程序博客网 时间:2024/06/06 02:43
Hadoop和Spark是两个不同的分布式软件框架。hadoop是一个MapReduce框架,在这个框架上可以运行支持map(),combine(),reduce()函数的作业。mapreduce的范式很适合单趟计算【先map,再reduce】,不过对于多趟算法的效率还是很低。
spark不是一个mapreduce的框架,不过很容易用来支持mapreduce的框架的功能,他提供了一个适当的API可以处理map和reduce的功能。spark并不限于先完成映射阶段在完成归约阶段。spark作业可以是由映射和/或归约/洗牌阶段构成的一个任意DAG(有向无环图)。spark程序可以使用hadoop运行,也可以不适用hadoop,另外spark可以使用hadoop分布式文件系统HDFS,或者其他持久存储来实现输入和输出。基在本上,对于一个给定的spark程序或者作业,spark引擎会创建将在集群上完成的任务阶段所构成的有向无环图。hadoop和mapreduce则不同,他会创建由两个预定义阶段构成的有向无环图。注意,spark创建的DAG可以包含任意多个阶段。相比hadoop和mapreduce,spark的API提供了更高层的抽象。这使得spark的代码更加简洁。
阅读全文
1 0
- Hadoop和Spark是两个不同的分布式软件框架
- Hadoop是Apache提出的一个软件框架(即:开放源码并行运算编程工具和分布式文件系统,与MapReduce和Google档案系统的概念类似)
- 基于CentOS的Hadoop和Spark分布式集群搭建过程
- 大数据框架Hadoop和Spark的异同
- 大数据框架 Hadoop 和 Spark 的异同
- 大数据框架 Hadoop 和 Spark 的异同
- [大数据]大数据框架Hadoop和Spark的异同
- 大数据框架 Hadoop 和 Spark 的异同
- 大数据框架 Hadoop 和 Spark 的异同
- 堆和栈是两个不同的概念
- VLAN和SVI是两个不同的概念
- 基于Hadoop的Spark完全分布式安装
- “自由软件”和“开源软件”是不同的!!!
- Hadoop和Spark 基础框架图
- Spark:一个高效的分布式计算框架
- 分布式处理框架 hadoop 和 storm
- Hadoop、Storm、Spark这三个大数据平台的区别和不同的应用场景
- 主流的三大分布式计算系统:Hadoop,Spark和Storm
- 自定义一个标签式图标
- caffe 的matlab接口配置
- java实现九九乘法表
- equals(转载)
- 实验A—1 顺序表基本操作
- Hadoop和Spark是两个不同的分布式软件框架
- 详解Unity中的委托与事件
- PHP设计模式之-----注册树模式
- eclipse maven整合SSH项目(实现简单的连接数据库实现登录小例子)
- JSP对属性的操作
- ASP.NET MVC 使用 FluentScheduler 定时器计划任务
- Android4.0通话过程
- 『 Spark 』8. 实战案例 | Spark 在金融领域的应用 | 日内走势预测
- mysql 5.7多实例安装