【Docker】Docker运行单机版Spark

机器环境

• centos7
• 内存4G

---

拉取镜像

• 镜像有2G多，下载时间比较长 = =！

docker pull sequenceiq/spark:1.6.0

---

启动镜像

• 启动前，在/etc/hosts文件中，添加上：本机IP sandbox
• 正式启动

docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.6.0 bash

• 出现 bash-4.1#> 证明启动成功

---

测试Spark例子

• 执行

spark-shell \--master yarn-client \--driver-memory 1g \--executor-memory 1g \--executor-cores 1

• 出现 scala> 说明启动成功
• 再执行

sc.parallelize(1 to 1000).count()

• 结果：