Spark 1.3.0源码编译及部署
来源:互联网 发布:找淘宝达人推广的技巧 编辑:程序博客网 时间:2024/06/05 22:48
Spark源码编译
1. Spark1.3.0安装版本要求:
Spark 1.3.0Java 6+
Python 2.6+
Scala 2.10.x
2. 安装Maven至 /usr/local/maven-3.1.1
修改/etc/profile,添加:
M2_HOME=/usr/local/maven-3.1.1
export M2_HOME
export PATH="$PATH:$M2_HOME/bin"
最后 source /etc/profile
3. 添加用户 spark
$ useradd spark
$ passwd spark
4. 由于HDFS的版本兼容性并不好,在编译Spark时必须指定我们想访问的HDFS版本
$ ./build/mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package
如果想生成tgz包,spark-1.3.0里的make-distributions.sh用法和以往版本稍有区别(sh后面直接跟maven编译参数项):
$ ./make-distributions.sh -Pyarn -Phive -Phive-thriftserver -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests
编译成功后我们可以在Spark源码根目录下看到新生成的spark-1.3.0-bin-2.3.0.tgz。
部署:
1. root权限安装 scala-2.10.4:
$ cd /usr/local/
$ tar -xzvf scala-2.10.5.tgz (提前下载scala tar包至此)
$ vim /etc/profile, 添加 如下两行:
export SCALA_HOME=/usr/local/scala-2.10.4
export PATH=".:$PATH:$SCALA_HOME/bin"
$ source /etc/profile
$ scala -version (检查是否安装成功)
2. spark权限在/home/spark/下解压缩 spark tgz包,并进入解压后的spar安装目录。然后配置如下:
[spark@myPC1]# cat conf/slaves
myPC2
[spark@myPC1]# vi conf/spark-env.sh
[spark@myPC1]# cat conf/spark-env.sh
export SPARK_MASTER_IP=myPC1export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1export SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=1gexport MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
3. 将该spark安装目录 scp 到另一台机器 myPC2的 /home/spark/目录下
4. 在 /etc/hosts下添加myPC1和myPC2的ip与计算机名的映射
5. 在spark master的spark安装目录下执行 ./sbin/start-all.sh
6. 访问http://192.168.112.113:8080 查看Spark是否启动成功 (这里假设 myPC1的ip为 192.168.112.113)
IT人的微信自媒体--- 杰天空, 走在寻找创意的路上
发掘创意,点缀生活,品味人生。
请搜索微信订阅号: jksy_studio ,或者微信扫描头像二维码添加关注
- Spark 1.3.0源码编译及部署
- eclipse spark源码编译部署
- spark源码下载及编译
- 修改spark源码并编译部署
- 使用IDEA搭建Spark源码环境及编译Spark源码
- maven编译spark源码(spark-2.3.0)
- 部署、编译、运行spark
- Spark编译与部署
- 使用IntelliJ IDEA编译spark-1.3.0源码
- Spark部署及应用
- Spark安装及部署
- CDH5.4.7 环境下spark 1.3 源码包编译步骤及错误解决办法
- intellij idea直接编译spark源码及问题解决
- Spark系列(一)Spark1.0.0源码编译及安装
- spark-1.6.0源码编译安装
- Spark-2.2.0源码编译报错
- spark源码编译
- Spark源码编译
- 存储文本行
- poj 3187 Backward Digit Sums (全排列)
- 删除字符串中出现最少的字符
- POJ 2096 — Collecting Bugs
- 汇编中的常量
- Spark 1.3.0源码编译及部署
- iOS8新功能
- 第四周阅读程序1
- Students
- JTI + JNI,为Java程序提供获取JVM内部信息的通道
- 汇编中的变量
- 博客诞生记
- 【SICP练习】124 练习3.55
- 抽象方法(abstract class)与接口(interface)比较