Spark集群搭建
来源:互联网 发布:淘宝怎么发微淘 编辑:程序博客网 时间:2024/06/05 16:02
搭建spark集群,目标 1(master)+2(slaves)
工具准备:
- 搭建hadoop集群, 参考
- * http://blog.csdn.net/shuaidan19920412/article/details/72587855 *
- * Scala version 2.10.4 官网下载 *
- spark-1.6.1-bin-hadoop2.6 官网下载
1. scala 安装,参考 http://blog.csdn.net/bahaidong/article/details/44220633
(1) 将 scala 安装包,复制到 /usr目录下,并解压。
(2) 更改环境变量 (/etc/profile)。
export SCALA_HOME=/usr/scala-2.10.4 export PATH=$PATH:$SCALA_HOME/bin
(3)环境变量生效(source /etc/profile )
- spark 相关数据目录建立。
$ mkdir /data //存储数据的总目录 $ mkdir /data/spark //spark数据存储主目录 $ mkdir /data/spark/local //spark存储本地数据的目录 $ mkdir /data/spark/log //spark存储日志的目录 $ mkdir /data/spark/work //spark存储worker日志等信息的目录 $ chmod -R 777 /data/ //将/data目录权限设置为最大
- spark安装
(1) 将 spark安装包spark-1.6.1-bin-hadoop2.6,复制到 /usr目录下,并解压。
(2) 更改环境变量 (/etc/profile)。
export SPARK_HOME=/usr/spark-1.6.1-bin-hadoop2.6export PATH=$PATH:$SPARK_HOME/bin
(3)配置 spark-env.sh
路径 /usr/spark-1.6.1-bin-hadoop2.6/conf
$ cp spark-env.sh.template spark-env.sh //将spark-env.sh.template复制一份为spark-env.sh
配置可参考
export SCALA_HOME=/usr/scala-2.10.4export JAVA_HOME=/usr/jdk1.7.0_79export HADOOP_HOME=/usr/hadoop-2.6.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport SPARK_MASTER_IP=Masterexport SPARK_LOCAL_IP=Slave2 #后面,复制到其它服务器一定得修改为自己的ip或者映射名export SPARK_WORKER_DIR=/data/spark/workexport SPARK_LOG_DIR=/data/spark/log
(4)配置 slaves
路径: /usr/spark-1.6.1-bin-hadoop2.6/conf
配置参考为(尤其注意,不能加入Master):
Slave1Slave1 ```(5)其它配置可参考 http://blog.csdn.net/jianghuxiaojin/article/details/51036126尤其注意,修改 SPARK_LOCAL_IP配置完成后,将以上信息全部进行相应的复制。包含:scala、spark、profile参考命令:
scp -r /usr/spark-1.6.1-bin-hadoop2.6/ root@Slave1:/usr/spark-1.6.1-bin-hadoop2.6/
在相应的主机创建对应的spark软链接,并将spark-env.sh中SPARK_LOCAL_IP改为对应的ip即可。 3. 启动spark (1) 在hadoop 的bin文件中启动集群 $ ./start-all.sh (2) 启动spark集群
$ ./sbin/start-all.sh //启动master和slaves$ ./sbin/start-history-server.sh //启动history server
(3) 查看成功与否 jps命令查看是否成功启动。 监控页面URL http:// 120.27.153.137:8080/ 运行 spark-pi。
./spark-submit –master spark://Master:7077 –class org.apache.spark.examples.SparkPi –name Spark-Pi /usr/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar
“`
参考:
http://blog.csdn.net/shuaidan19920412/article/details/72587855
http://blog.csdn.net/jianghuxiaojin/article/details/51036126
http://www.cnblogs.com/onetwo/p/5424377.html
http://www.cnblogs.com/lijingchn/p/5573898.html
- 搭建spark-hadoop集群
- 搭建Spark分布式集群
- spark集群搭建
- hadoop+spark集群搭建
- 搭建Spark分布式集群
- spark测试集群搭建
- Spark集群搭建
- 搭建spark集群
- 搭建Spark集群
- Spark集群环境搭建
- spark集群搭建
- spark集群搭建
- Spark集群搭建
- Hadoop+Spark集群搭建
- 搭建Spark集群
- Spark集群的搭建:
- Spark集群环境搭建
- Spark集群搭建
- MTK81系列 OTA更新升级路径转换
- 瓦尔登湖 读书笔记
- markdown-test
- ConcurrentHashMap的实现原理
- 找工作知识储备(3)---从头说12种排序算法:原理、图解、动画视频演示、代码以及笔试面试题目中的应用
- Spark集群搭建
- 数据结构(郝斌老师)
- 编译原理:求非终结符的FOLLOW集合
- netstat命令-查看端口被占用情况,并杀死进程
- java中的字节流
- C# 串口介绍以及简单串口通信程序设计实现
- UIWebView设置为可编辑模式
- 数据结构(郝斌老师)
- JavaScript继承