Hadoop运维(3) Spark集群部署

1. 安装Scala

• 从scala官网，下载最新的以.tgz结尾的文件
• 通过tar zxf解压
• 将文件夹放到/usr/local/scala中
• 设置环境变量SCALA_HOME与PATH
• 通过scala -version进行验证。

---

2. 部署Spark

官网下载spark

---

• 修改spark-env.sh

# 添加以下内容export JAVA_HOME=/usr/lib/jvm/jdk8export SCALA_HOME=/usr/local/scalaexport SPARK_WORKER_MEMORY=100mexport HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

---

• 修改slaves

# 添加以下内容slave1

---

• 将spark部署到所有主机的相同位置，并执行sbin/start-all.sh。查看http://master:8080验证spark是否启动成功。