高效搭建Spark完全分布式集群
来源:互联网 发布:秦皇岛人人网络 编辑:程序博客网 时间:2024/06/07 00:08
写在前面一:
本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。
写在前面二:
使用软件说明
约定,Spark相关软件存放目录:/usr/local/yujianxin/spark,
Hadoop相关软件存放目录: /home/yujianxin/hadoop。
Spark集群示意图
一、具体安装步骤
1、安装jdk
2、安装Hadoop集群,参考http://blog.csdn.net/aaronhadoop/article/details/24867257
3、安装 Scala
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz
修改/etc/profile
4、安装Spark
4.1、修改/etc/profile
cd /usr/local/yujianxin/spark/
tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz
4.2、配置Spark
4.2.1、修改配置文件spark-env.sh
cd /usr/local/yujianxin/spark/spark-0.7.2/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
4.2.2、修改配置文件slaves
至此,master节点上的Spark已配置完毕。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在目录必须一致,因为master会登陆到worker上执行命令,master认为worker的spark路径与自己一样。
二、安装测试
2.1、通过命令行
cd $SPARK_HOME/bin
start-all.sh
2.2、通过浏览器
- 高效搭建Spark完全分布式集群
- spark完全分布式集群搭建
- 高效搭建Storm完全分布式集群
- 高效搭建Storm完全分布式集群
- Spark 完全分布式集群搭建过程
- 搭建Spark分布式集群
- 搭建Spark分布式集群
- Spark完全分布式集群安装
- Spark完全分布式搭建过程
- Spark 分布式集群环境搭建
- hadoop完全分布式集群搭建
- hadoop完全分布式集群搭建
- Hadoop完全分布式集群搭建
- ZooKeeper完全分布式集群搭建
- Hadoop完全分布式集群搭建
- 搭建完全分布式redis集群
- 搭建HBase完全分布式集群
- Hadoop完全分布式集群搭建
- 经验管理【1】
- 管道的通信
- js 克隆对象clone
- @override 报错处理
- 如何知道VS开发的程序引用了那些dll
- 高效搭建Spark完全分布式集群
- 判断IE
- Java 自适应的动态优化框架
- 一些自由的数据挖掘工具
- Ansible@一个高效的配置管理工具--Ansible configure management--翻译(五)
- lua中的循环引用辨析
- 详解jQuery中 .bind() vs .live() vs .delegate() vs .on() 的区别
- PHP常量详解:define和const的区别
- 在Android手机上获取其他应用的包名及版本号