Spark作业如何在无管理权限的集群部署Python或JDK
来源:互联网 发布:中国网络的发展 编辑:程序博客网 时间:2024/06/15 05:12
如果下面文章格式或图片不清晰,请参见原文:https://www.iteblog.com/archives/2296.html 或直接点击下面 阅读原文 即可进入。
在 《如何在Spark、MapReduce和Flink程序里面指定JAVA_HOME》文章中我简单地介绍了如何自己指定 JAVA_HOME
。有些人可能注意到了,上面设置的方法有个前提就是要求集群的所有节点的同一路径下都安装部署好了 JDK,这样才没问题。但是在现实情况下,我们需要的 JDK 版本可能并没有在集群上安装,这个时候咋办?是不是就没办法呢?答案肯定不是,本文就是介绍如何解决这种问题的。下面我以 Python 和 JDK 为例进行说明。
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop
如何在没有管理权限的集群上部署 Python
由于某些原因,我们的程序可能会使用到 anaconda。Anaconda 是一个 Python 发行版,用于科学计算和信号处理等领域,支持 Linux, Mac, Windows, 包含了众多流行科学计算、数据分析等Python 包。其中包含大量第三方工具包,简单来说,就是安装了Anaconda,就安装了python、conda和一般可能用到的numpy、scipy、pandas等等常见的科学计算包,而无需再单独下载配置。
但是我们的集群上面可能并没有安装我们需要的 Anaconda,而且悲剧的是,我们也没有集群节点的管理权限!所以我们无法在集群上安装我们需要的 Anaconda,这时候你提交 Spark 作业会出现了以下的异常:
很显然,上面爆出的 node1.iteblog.com 节点的 /home/iteblog/anaconda2/bin/python 路径下找不到我们需要的 Python!因为我们只在客户机的 /home/iteblog/anaconda2/bin/python 下面安装配置好 Python,所以肯定会出现上面的异常。
下面我来介绍如何解决这个问题。我们只需要将客户机上面部署好的 anaconda 打包:
就这么简单,现在我们在所有运行这个作业的 Work 节点上安装了 anaconda!现在我们就可以在 Work 节点上使用我们需要的 anaconda 版本。是不是很酷啊。另外,在 yarn-client 模式,我们通过指定 spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python 也是没问题的。
上面例子中,我们通过指定 spark.yarn.dist.archives 配置,将 Anaconda 的安装包分发到所有 Executor 的工作目录下;当 tar.gz 格式的压缩包到达 Executor 节点上,Executor会自动解压这个压缩包,假设 anaconda2.tar.gz 解压后的目录为 anaconda2,这时候我们的 Python 路径就是: ./anaconda2.tar.gz/anaconda2/bin/python,所以我们的程序就没问题了。
如何在没有管理权限的集群上部署 Java
在没有管理权限的集群上部署 Java,原理和上面的一致。 这里假设我们需要使用 jdk1.8.0_77, 而我们的集群节点上并没有安装这个版本的 JDK,这时候我们可以先压缩好 jdk1.8.0_77:
这样这个提交的作业使用的 Java 版本就是 jdk1.8.0_77!
欢迎关注本公众号:iteblog_hadoop:
0、回复 电子书 获取 本站所有可下载的电子书
1、SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
2、流计算框架 Flink 与 Storm 的性能对比
3、Apache Spark 2.2.0新特性详细介绍
4、干货 | Spark SQL:过去,现在以及未来
5、Apache Spark 黑名单(Blacklist)机制介绍
6、美团点评数据平台融合实践
7、干货 | Apache Spark最佳实践
8、NodeManager节点自身健康状态检测机制
9、[干货]大规模数据处理的演变(2003-2017)
10、Apache Flink 1.3.0正式发布及其新功能介绍
- Spark作业如何在无管理权限的集群部署Python或JDK
- Spark提交作业的流程以及作业是如何被触发在集群中运行的
- spark 集群运行python作业
- <SPARK-轉載> spark 集群运行python作业
- 在Docker中从头部署自己的Spark集群
- 在Docker中从头部署自己的Spark集群
- 一步一步完成如何在现有的CDH集群中部署一个与CDH版本不同的spark
- 如何在ipython或python中使用Spark
- 在Ubuntu环境部署Apache Spark集群
- spark的独立模式集群部署
- Spark standalone 模式下的集群部署
- 基于Kubernetes的Spark集群部署实践
- 在本地将spark作业运行到远程集群
- Spark集群部署
- Spark集群部署
- Spark集群部署
- spark部署standalone集群
- spark部署yarn集群
- 软件调试笔记37
- Windows API入门系列之六 -自己实现MessageBox
- 关闭tomcat时 log4j2 报错: sun.misc.Unsafe.park(Native Method)
- 排序问题(后台数据)
- 小朋友学C++(1):Hello World!
- Spark作业如何在无管理权限的集群部署Python或JDK
- 做暗夜里的光
- java调用WEBSERVICE接口简单实现
- 使用SourceTree 关联远程仓库
- ubuntu16.04默认使用root用户登录
- 小朋友学C++(2):面向过程与面向对象
- 一致性hash(适合py3)
- AndroidIntent传递类,数组的两种方法
- 高数 07.01 多元函数的基本概念