Spark集群的安装
来源:互联网 发布:淘宝正品鞋店 编辑:程序博客网 时间:2024/05/22 03:02
Spark集群的安装步骤
1.下载编译好的对应版本到目标文件夹中。
2.修改conf目录中的spark-env.sh文件,添加以下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_MASTER_IP =cloudera-a
export SPARK_MASTER_PORT = 7077
3.修改slaves文件,添加以下内容:
cloudera-a
cloudera-b
cloudera-c
cloudera-d
4.将配置好的Spark拷贝到其他节点上
scp -r spark-*-bin-hadoop2.6/ cloudera-a:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-b:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-c:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-d:/usr/local/
5.关闭所有节点上的防火墙
6.配置各个节点的免密登录,执行指令如下:
1.在登录方生成密钥对,执行密令:ssh-keygen -t -rsa
2.执行指令 ssh-copy-id cloudera-b,即可免密登录b主机
3.若指令2无效,则scp id_rsa.pub cloudera-b:/home,把密钥先发到目标主机b的某个文件下
4.将该文件内容复制粘贴,加入到目标主机b上的授权文件中 ~/.ssh/authorized_keys
5.cat ./id_rsa.pub >> ./authorized_keys
7.在master节点上启动start-all.sh 打开http://cloudera-a:8080/查看集群状态。
- spark的集群安装
- Spark集群的安装
- 提交任务到spark集群及spark集群的安装
- Spark集群的安装与使用
- Hadoop集群安装spark集群
- Spark学习笔记--01 Spark集群的安装
- Spark集群安装
- spark集群安装
- Spark集群安装
- spark HA集群安装
- Spark standalone集群安装
- Spark集群安装
- 安装spark集群
- Spark集群安装
- Spark集群安装部署
- Spark集群安装笔记
- Spark集群安装部署
- spark集群安装
- dpi 、dip 、px、density、screenSize关系以及换算
- Centos7与Fedora24安装mysql后无法启动,提示 Unit mysql.service failed to load:No such file or directory
- 2017.9.1 公路修建问题 思考记录
- 有关Python中文处理注意事项的小总结
- Spring MVC读取properties文件时遇到的问题
- Spark集群的安装
- Android studio各种设置
- 云计算之路-阿里云上-新车限行:新购服务器无法访问任何远程25端口
- python map函数
- @Controller和@RestController的区别
- WRF文件打开方式
- 剑指offer面试题17 合并两个排序的链表
- 切断ADG的关联,划分为两个独立的数据库
- numpy_1(arrange,reshape,unique,切片)