Spark集群完全分布式安装部署
来源:互联网 发布:计算定积分软件 编辑:程序博客网 时间:2024/06/06 04:28
- Spark集群完全分布式安装部署
- 下载安装
- 配置Spark
- 1spark-envsh配置
- 2slaves配置
- 3profile配置
- 复制到其他节点
- 测试
- 总结
Spark集群完全分布式安装部署
本文中所提到的Spark集群所用的系统环境是Centos6.5,共4个节点,前提是Hadoop、JDK都已经安装配置好了,操作都是在hadoop用户下进行(要保证spark安装目录的所属是hadoop用户,权限也要开放,在Hadoop配置的文章中提到过用chown和chmod命令进行设置,请回看 Hadoop全分布集群搭建(3)——Hadoop安装与配置)。
节点情况在Hadoop全分布集群搭建(1)——设置主机名与域名解析中有介绍,如下:
1.下载安装
从官网http://spark.apache.org/downloads.html下载压缩包,由于我的Hadoop版本是2.6.0,所以我们对应下载Pre-built for Hadoop 2.6 and later版本的spark-1.6.1的tgz包,下载后解压,重命名为spark-1.6.1,并复制到/usr/soft目录下。
2.配置Spark
2.1spark-env.sh配置
进入/usr/soft/spark-1.6.1/conf目录下,复制一个spark-env.sh.template的副本,命名为spark-env.sh,编辑该文件,再文件最后加上下面的语句:
#JAVA_HOMEexport JAVA_HOME=/usr/soft/jdk#Hadoop_HOMEexport HADOOP_HOME=/usr/soft/hadoop-2.6.0#Scala_HOMEexport SCALA_HOME=/usr/soft/scala-2.12.0#Spark_HOMEexport SPARK_HOME=/usr/soft/spark-1.6.1export HADOOP_CONF_DIR=/usr/soft/hadoop-2.6.0export SPARK_MASTER_IP=Master #Master的IP,Master代表了192.168.101.142,只是用了它的hostnameexport SPARK_WORKER_MEMORY=1g #内存export SPARK_WORKER_CORES=2 #cpus核心数export SPARK_JAR=/usr/soft/spark-1.6.1/lib/spark-assembly-1.6.1-hadoop2.6.0.jarexport SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-2.6.0/bin/hadoop classpath)
2.2slaves配置
conf同目录下,赋值slaves.template文件的副本,命名为slaves,编辑,在最后添加如下内容:
Master #表示Master既是Master,也是WorkerSlave1Slave2Slave3
2.3profile配置
执行命令
vim /etc/profile #编辑/etc/profile文件
添加环境变量如下:
#Spark环境变量export SPARK_HOME=/usr/BigData/spark-1.6.0#在Path中加入Spark的路径export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
3.复制到其他节点
我们在Master节点上安装配置完成Spark后,将整个spark-1.6.1目录拷贝到其他节点,并在各个节点上更改/etc/profile文件中的环境变量即可。(可能需要root用户)
4.测试
在Master节点启动集群
/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
完成之后,Master节点上用jps命令可以看到,多了Master与Worker,Slave节点上多了Worker。也可以打开浏览器输入Master:8080,看到如下活动的Workers,证明安装配置并启动成功
5.总结
如果没有启动成功,记得去看spark安装目录下logs目录中的日志文件,看是哪里出了错,网络问题、端口占用或者未开放、配置文件配置出错,防火墙拦截等等可能的情况,需要再去琢磨一下了。
- Spark集群完全分布式安装部署
- Spark完全分布式集群安装
- 2.0-Spark完全分布式集群安装
- Hadoop完全分布式集群安装Spark
- HBase集群安装部署(完全分布式)
- spark完全分布式集群搭建
- spark完全分布式安装
- Spark集群安装部署
- Spark集群安装部署
- Spark集群安装部署
- 高效搭建Spark完全分布式集群
- Spark 完全分布式集群搭建过程
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- Hadoop完全分布式集群安装
- hadoop完全分布式集群安装
- final
- 利用ScrollView实现图片缩放
- 编译dll时debug和release版命名不同遇到的问题
- mongo脚本文件
- Sqlite 安装&基本操作
- Spark集群完全分布式安装部署
- bash小代码
- SAPI SDK的介绍
- AES 原理
- ICMP Flood 攻击、UDP Flood 攻击、SYN Flood 攻击
- glide加载图片的时候不能正常显示,时大时小.
- [leetcode: Python]15.3Sum
- Java密码加密
- [YTU]_2444( C++习题 对象转换)