基于docker安装spark

来源：互联网发布：弱电箱网络模块怎么用编辑：程序博客网时间：2024/05/21 19:48

1.首先下载镜像并启动：

docker pull sequenceiq/spark:1.5.1sudo docker run -it sequenceiq/spark:1.5.1 bash

2.修改配置
首先用ifconfig得到ip地址，我的ip是172.17.0.109，然后：

bash-4.1# cd /usr/local/spark bash-4.1# cp conf/spark-env.sh.template conf/spark-env.sh bash-4.1# vi conf/spark-env.sh

添加两行代码：

export SPARK_LOCAL_IP=172.17.0.109export SPARK_MASTER_IP=172.17.0.109

3然后启动master 跟slave：

bash-4.1# ./sbin/start-master.sh bash-4.1# ./sbin/start-slave.sh 172.17.0.109:7077

这里遇到过报内存不够的，通过配置swap区域来解决
配置swap参考的文章（修改主机的swap就可以了）：
http://blog.csdn.net/lucky_liuxiang/article/details/47166957
浏览器打开（你的ip：8080）可以看到如下spark各节点的状态。

4.用spark-sumit提交一个应用运行一下：

/usr/local/spark/bin/spark-submit --master spark://172.17.0.3:7077 --class org.apache.spark.examples.SparkPi /usr/local/spark/lib/spark-examples-1.5.1-hadoop2.6.0.jar 2

0 0