Running Spark on YARN
来源:互联网 发布:河图 知乎 编辑:程序博客网 时间:2024/05/19 04:29
在YARN上启动Spark
确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的(客户端)配置文件的目录。这些配置被用来写入HDFS并连接到YARN ResourceManager。此目录中包含的配置将分发到YARN集群,以便应用程序实用的所有容器都使用相同的配置。如果配置引用了不受YARN管理的Java系统属性或者环境变量,那么也应该在Spark应用程序的配置(driver,executors,and the AM when running in client mode)中设置。
有两种可用于在YARN上启动Spark应用程序的部署模式。在cluster模式下,Spark驱动程序运行在由集群上的YARN管理的应用程序主进程中,客户端可以在启动应用程序后离开。在client模式下,驱动程序在客户端进程中运行,application master仅用于从YARN请求资源。
与Spark standalone和Mesos模式不同,在这两种模式下the master’s address 在–master 参数中指定,在YARN模式下,ResourceManager的地址从Hadoop配置中提取。因此,–master参数是 yarn。
在cluster模式下启动一个Spark应用
$./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options]
<app jar> [app options]
例如:
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 1 \ --queue thequeue \ lib/spark-examples*.jar \ 10
以上启动了一个YARN客户端程序,这个客户端程序启动了一个defalut application Master。SparkPi将作为Application Master的子线程运行。客户端将定期轮询Application Master的状态更新并将其显示在控制台中。一旦你的应用程序运行完毕,客户端将退出。请参阅下面的“Debugger your application“,了解如何查看驱动程序和执行程序日志。
在client模式下启动一个Spark应用程序只需将cluster替换为client,其他操作同cluster。以下显示如何在client模式下运行spark-shell:
$./bin/spark-shell --master yarn --deploy-mode client
- Running Spark on YARN
- Running Spark on YARN
- spark官方文档之——Running Spark on YARN YARN上运行SPARK
- spark on yarn:Container is running beyond physical memory limits
- Spark on Yarn部署
- Spark on Yarn
- spark on yarn
- spark on yarn
- Spark on Yarn简介
- spark on yarn
- Spark on YARN 部署
- spark on yarn 配置
- spark on yarn
- spark on yarn 安装
- Spark on Yarn 图
- Spark on yarn
- 源码-Spark on Yarn
- Launching Spark on YARN
- 属于自己的刷新控件
- 链表去重
- Machine Learning第六讲[应用机器学习的建议] --(一)评估学习算法
- 利用kmeans聚类进行颜色量化压缩图像
- 如何让 Xcode 在读写上提速100倍?
- Running Spark on YARN
- IEEE 802.15.4协议 部分解析
- React-Native 通知的使用方法
- 软件包管理
- sqlite中,多重“...>”的退出
- 【javaScript】获取某年某月的的最后一天(即当月天数) 妙用
- phoenix4.10和phoenix4.9版本冲突问题
- 卷积神经网络(CNN)的参数优化方法
- RC消火花电路