spark ha集群配置
来源:互联网 发布:金针软件 编辑:程序博客网 时间:2024/05/22 13:49
spark集群 hadoop配置参见
hadoop 高可用集群搭建
su - rdato
cd /u01tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz
mv spark-2.1.1-bin-hadoop2.7 spark
#复制模版
cp /u01/spark/conf/spark-env.sh.template /u01/spark/conf/spark-env.sh
cp /u01/spark/conf/slaves.template /u01/spark/conf/slaves
#配置spark env
cat >> /u01/spark/conf/spark-env.sh << EOF
export JAVA_HOME=/usr/java/jdk1.8.0_131
export SCALA_HOME=/usr/share/scala
export SPARK_HOME=/u01/spark
export HADOOP_CONF_DIR=/u01/hadoop/etc/hadoop
EOF
#配置slaves vi /u01/spark/conf/slaves
sparkgc1
sparkgc2
sparkgc3
#启动Spark集群
/u01/spark/sbin/start-all.sh
#web spark
http://192.168.168.141:8080/
阅读全文
0 0
- spark ha集群配置
- Spark集群master节点实现HA配置
- Hadoop+Hbase+Spark集群配置-Spark HA安装
- spark HA集群安装
- Hadoop+Hbase+Spark集群配置—Hadoop HA安装
- Hadoop+Hbase+Spark集群配置-Hbase HA安装
- Spark集群搭建(HA)
- Spark之配置HA
- spark配置:spark集群
- spark ha讲解与配置
- Spark配置—HA模式
- Spark集群中HA环境搭建
- 安装zeppelin安装spark ha集群
- hadoop HA集群环境配置
- hadoop2集群搭建+HA配置
- HBase集群搭建+HA配置
- Spark HA 集群搭建【1、基于文件系统的手动HA 2、基于zk的自动HA】
- Spark集群配置
- 从JsonArray中取出最后三个对象组成新的JsonArray
- Java Spring框架 + maven+Beans 搭建一个HelloWorld
- vuex 小总结
- 实验楼_Linux基础入门_挑战2_备份日志
- linux操作系统安装润乾报表5.0
- spark ha集群配置
- python 引用和对象理解
- 如何编写对拍程序?
- Android中PopupWindow 在 Android N(7.0) 的兼容性问题
- redis集群搭建以及Yii1.1连接redis集群
- ffmpeg基本
- SSH框架搭建
- go get安装第三方包的前提条件和步骤
- JS的各种注意点