spark集群安装

来源:互联网 发布:范斯沃斯住宅全面数据 编辑:程序博客网 时间:2024/06/06 20:58

基础配置:JDK,关闭防火墙,免秘钥登录(略)
1,配置3个节点,ip分别设置为192.168.1.17;192.168.1.18;192.168.1.19
2,在每个节点上都解压spark安装包(spark-2.0.1-bin-hadoop2.7)
3,在每个节点conf/spark-env.sh中配置SPARK_LOCAL_IP=当前主机地址
注:以下xxxmasteripxxx统统都是192.168.1.17
3,在master节点(192.168.1.17)中通过如下命令启动master
sbin/start-master.sh -h xxmasteripxx
4,在slave节点(192.168.1.18;192.168.1.19)中通过如下命令启动slave
sbin/start-slave.sh spark://xxxmasteripxxx:7077
5,通过客户端连接
bin/spark-shell –master spark://xxxmasteripxxx:7077
这里写图片描述
6,通过UI管理界面访问,xxxmasteripxxx:8080
这里写图片描述

原创粉丝点击