spark-2.1.0集群搭建
来源:互联网 发布:如何刷mac系统 编辑:程序博客网 时间:2024/05/21 04:18
集群:
192.168.109.110 master
192.168.109.111 slave01
192.168.109.112 slave02
1 .修改主机名及域名解析
ps:每台机子都做如下操作
[root@master etc]# vi /etc/sysconfig/network
[root@master ~]# vim /etc/hosts
2.配置spark-2.1.0
2.1 下载地址
http://spark.apache.org/downloads.html
2.2 解压缩
[root@master opt]# tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
2.3 修改slaves文件
复制,修改
[root@master conf]# cp slaves.template slaves[root@master conf]# vi slaves
2.4 配置master节点信息
[root@master conf]# cp spark-defaults.conf.template spark-defaults.conf[root@master conf]# vi spark-defaults.con
2.5 spark-env.sh配置
[root@master conf]# cp spark-env.sh.template spark-env.sh[root@master conf]# vi spark-env.sh
2.6 把master的spark复制到slave01和slave02
[root@master conf]# scp -r spark-2.1.0-bin-hadoop2.7 slave01:/opt[root@master conf]# scp -r spark-2.1.0-bin-hadoop2.7 slave02:/opt
3 启动Spark
[root@master sbin]# ./start-all.sh
一下各节点启动信息
master:
slave01:
slave02:
最后在8080端口查看:
进入Spark安装目录启动shell:
搭建到此结束,往后继续努力!
阅读全文
0 0
- spark-2.1.0集群搭建
- Spark-1.4.0集群搭建
- 图文+代码讲解spark-2.1.0集群搭建
- 从0到1搭建spark集群---企业集群搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- spark-1.2.0 集群环境搭建
- 搭建spark-hadoop集群
- 搭建Spark分布式集群
- spark集群搭建
- hadoop+spark集群搭建
- 搭建Spark分布式集群
- spark测试集群搭建
- Spark集群搭建
- 搭建spark集群
- Maximum Average Subarray I
- Keil MDK中使用pc-lint的详细方法
- java中的IO整理
- iOS开发之设置兼容机型
- 获取中英文混排字符串的实际长度(字节数)
- spark-2.1.0集群搭建
- RCN-Rich feature hierarchies for accurate object detection and semantic segmentation
- 几维安全荣登最新《网络安全行业全景图》应用安全榜!
- 设计模式-模板方法模式-template-python
- feed 优化
- 傅里叶变换
- tor 洋葱网络
- log4j详细使用及配置说明
- Codeforces 466E