【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
来源:互联网 发布:淘宝草根vr工厂 编辑:程序博客网 时间:2024/05/22 06:53
第二步:构造分布式的Spark1.0.2集群
1,下载Scala 2.10.4,具体下载地址:
http://www.scala-lang.org/download/2.10.4.html
在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;
2,安装和配置Scala
我们需要在SparkMaster、SparkWorker1以及SparkWorker2上分别安装Scala,Scala的安装和配置具体参考 :Spark实战高手之路-第一章 第三步
http://down.51cto.com/data/1748148
在每台机器上安装完成后可以进行一下验证:
3,下载Spark 1.0.2,具体下载地址:
http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz
4,在SparkMaster上安装和配置Spark 1.0.2集群
把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下:
配置“~/.bashrc”,设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中,配置完成后使用source命令使配置生效。
进入spark的conf目录:
第一步修改slaves文件,首先打开该文件:
我们把slaves文件的内容修改为:
第二步:配置spark-env.sh
首先把spark-env.sh.template 拷贝到spark-env.sh:
打开“spark-env.sh”文件:
修改后的配置文件的内容如下所示:
5,SparkWorker1和SparkWorker2采用和SparkMaster完全一样的Spark安装配置,在此不再赘述。
6,启动Spark分布式集群并查看信息。
第一步:启动Hadoop集群,在SparkMaster使用jps命令,具体操作过程中可以看到如下进程信息:
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(8)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(11)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(1)
- COM组件接口的实质及ArcGIS Object Model Diagram的理解
- 修改系统服务的启动类型并启动服务
- iOS多线程GCD(转)
- 第12周项目3 汉诺塔
- 似懂非懂双方的非官方然而他
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
- VC6.0与Visio冲突问题解决方案
- 应该学会HTML和CSS的9大理由
- 事件冒泡的一些应用_利用事件冒泡处理多个事件[1]
- 《android编程权威指南》学习笔记之第二章 Android与MVC设计模式
- 【第k大区间和问题的树状数组实现】
- Ubuntu下apt-get命令详解
- sql
- 中国大数据六大技术变迁记