spark 集群部署可用方法
来源:互联网 发布:专柜mac口红多少钱 编辑:程序博客网 时间:2024/05/22 17:10
本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。
写在前面二:
使用软件说明
约定,Spark相关软件存放目录: /usr/local/yujianxin/spark,
Hadoop相关软件存放目录: /home/yujianxin/hadoop。
Spark集群示意图
一、具体安装步骤
1、安装jdk
2、安装Hadoop集群,参考 http://blog.csdn.net/aaronhadoop/article/details/24867257
3、安装 Scala
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz
修改/etc/profile
4、安装Spark
4.1、修改/etc/profile
cd /usr/local/yujianxin/spark/
tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz
4.2、配置Spark
4.2.1、修改配置文件 spark-env.sh
cd /usr/local/yujianxin/spark/spark-0.7.2/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
4.2.2、修改配置文件
slaves
至此,master节点上的Spark已配置完毕。 把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。
二、安装测试
2.1、测试1——通过命令行
cd $SPARK_HOME/bin
start-all.sh
2.2、测试2——通过浏览器
- spark 集群部署可用方法
- spark 集群部署可用方法
- spark--2.部署高可用的Spark集群
- spark集群与spark HA高可用快速部署 spark研习第一季
- Spark集群部署
- Spark集群部署
- Spark集群部署
- spark部署standalone集群
- spark部署yarn集群
- Spark集群部署
- Spark集群安装部署
- spark集群部署
- Spark集群安装部署
- docker部署spark集群
- Spark集群部署流程
- Hadoop+Spark 集群部署
- 集群部署spark
- Spark集群安装部署
- SSh中 一对多关联外键添加,修改保存失败问题
- SQL经典查询
- Android Studio 2中通过getDeclaredFields获取到$change成员问题
- 操作系统实践之第二章(实验环境升级)
- bootstrap的模态框锁定可点击区域
- spark 集群部署可用方法
- UIWebView加载自签名Https网页
- Ping测试网络连接状态
- bzoj 1047: [HAOI2007]理想的正方形 (单调队列)
- python核心编程&条件判断与循环
- 加速iOS开发的28个第三方库
- RedisProxy 系统设计与使用说明
- VelocityTracker简介
- Android NDK开发(二) 底层实现HEX的编码和解码