Spark Core and Cluster Managers(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
来源:互联网 发布:淘宝宝贝优化教程 编辑:程序博客网 时间:2024/05/16 16:06
Spark Core
Spark Core 包含了Spark提供的基本功能,包括任务调度,内存管理,容错,与存储系统交互等。Spark Core也是定义RDD的API的地方,RDD(resilient distributed dataset)是Spark的主要编程抽象。RDD是一个元素的集合,而集合中的元素分布在许多计算节点中,这些元素可以被并行的操作。Spark Core提供了很多API来创建和操作这些集合。
Cluster Managers
在底层,Spark被设计成能运行在一个节点上,或者数千个节点组成的集群上。在最大化弹性的情况下实现这个目的,Spark能够运行在不同的集群管理器上,包括Hadoop YARN,Apache Mesos和Spark自带的集群管理器——Standalone Scheduler。如果你的Spark安装在一组没有其它集群管理器的机器上,Standalone Scheduler就能提供简单的集群管理功能;如果你已经有了Hadoop YARN或者Mesos集群,Spark允许你的应用运行在这些集群上。第七章深入学习不同的选项和怎样去选择正确的集群管理器。
1 1
- Spark Core and Cluster Managers(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- Spark是什么?(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- Spark核心概念介绍(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- 单独的应用程序(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- Spark的Python和Scala shell介绍(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- Learning Spark: Lightning-Fast Big Data Analysis 中文翻译
- Learning Spark: lightning-fast big data analysis (1)
- Learning Spark: lightning-fast big data analysis (2)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (1)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (2)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (3)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第三章 - (4)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (1)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (2)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (3)
- Learning Spark - LIGHTNING-FAST DATA ANALYSIS 第四章 - (4)
- 友情序言 to 《Learning Spark: Lightning-fast big data analytics》
- 友情序言 to 《Learning Spark: Lightning-fast big data analytics》
- 解决oc中中文乱码问题
- Linux内核工程导论——Linux的启动
- BZOJ1059
- 通过包名判断手机上是否安装了QQ,微信,或者其他应用
- 再来谈谈HashMap中的entrySet
- Spark Core and Cluster Managers(翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis)
- Android如何自定义Toast?and 四种AleterDialog的用法
- jquery 自定义插件开发整理
- JavaScript 闭包
- android学习——MeasureSpec介绍及使用
- 使用CSS实现DIV成半透明效果,CSS实现层与背景半透明效果。
- ACdream 1216 Beautiful People(二路最长上升子序列 O(nlogn) )
- MongoDB学习九--MongoDB的主从复制
- Android中AlertDialog的使用