spark 1.5.1 集群部署
来源:互联网 发布:淘宝上有卖岛国片cd 编辑:程序博客网 时间:2024/04/29 08:06
实验环境
操作系统:ubuntu 14.04 64位
JDK 安装
实验安装的是jdk1.7.0_71版本,具体安装步骤及环境变量设置参考这里。
SSH 无密登录
下面是我写的一个自动化SSH 无密登录脚本,运行脚本前需要安装expect
包,ubuntu 系统下直接执行:sudo apt-get install expect
就可以了。该脚本运行在namenode上,运行时只需要将IP_1改成对应的datanode地址,PWD_1是对应datanode密码。
# NO_PWD_SSH#!/bin/sh IP_1=10.107.12.20,10.107.12.50,10.107.12.60PWD_1=111111key_generate() { expect -c "set timeout -1; spawn ssh-keygen -t dsa; expect { {Enter file in which to save the key*} {send -- \r;exp_continue} {Enter passphrase*} {send -- \r;exp_continue} {Enter same passphrase again:} {send -- \r;exp_continue} {Overwrite (y/n)*} {send -- n\r;exp_continue} eof {exit 0;} };"}auto_ssh_copy_id () { expect -c "set timeout -1; spawn ssh-copy-id -i $HOME/.ssh/id_dsa.pub root@$1; expect { {Are you sure you want to continue connecting *} {send -- yes\r;exp_continue;} {*password:} {send -- $2\r;exp_continue;} eof {exit 0;} };"}rm -rf ~/.sshkey_generateips_1=$(echo $IP_1 | tr ',' ' ')for ip in $ips_1do auto_ssh_copy_id $ip $PWD_1doneeval &(ssh-agent)ssh-add
安装 scala
1. 下载 scala 2.11.4
下载地址点这里。
2. 解压
tar zxvf scala-2.11.4.tgz
解压,解压后放在了/root/spark_sdk/
目录下。
tar zxvf scala-2.11.4.tgz
3. 设置环境变量
在~/.bashrc
文件中加入如下命令:
export SCALA_HOME=/root/spark_sdk/scala-2.11.4PATH=$PATH:$SCALA_HOME/bin
使环境变量生效:source ~/.bashrc
安装 Spark 1.5.1
1. 下载 Spark 1.5.1
下载地址点这里。
2. 解压
tar zxvf spark-1.5.1-bin-hadoop2.6.tgz
解压,解压后放在了/root/spark_sdk/
目录下。
3. 设置环境变量
在~/.bashrc
文件中加入如下命令:
export SPARK_HOME=/root/spark_sdk/spark-1.5.1-bin-hadoop2.6 PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使环境变量生效:source ~/.bashrc
4. 修改Spark 配置文件
spark-env.sh 文件
export JAVA_HOME=/root/spark_sdk/jdk1.7.0_71
yarn-env.sh 文件
export SCALA_HOME=/root/spark_sdk/scala-2.11.4export JAVA_HOME=/root/spark_sdk/jdk1.7.0_71export SPARK_MASTER_IP=10.107.12.10export SPARK_WORKER_MEMORY=2048mexport HADOOP_CONF_DIR=/root/spark_sdk/hadoop-2.7.1/etc/hadoop
这里10.107.12.10是Master节点IP
slaves 文件
10.107.12.2010.107.12.5010.107.12.60
上面3个IP分别对应的是Worker节点的IP。
5. 启动Spark
./sbin/start-all.sh
6. 集群启动验证
执行jps
命令,可以查询到有如下进程说明集群部署成功!
MasterWorker
运行SparkPi
spark-submit --master spark://10.107.12.10:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi /root/spark_sdk/spark-1.5.1-bin-hadoop2.6/lib/spark-examples-1.5.1-hadoop2.6.0.jar
使用web查看Spark运行状态
http://10.107.12.10:8080
这里的IP就是Master节点地址。
7. 关闭集群
关闭集群执行sbin/stop-all.sh
。
【完】
1 0
- spark 1.5.1 集群部署
- Spark集群部署
- Spark集群部署
- Spark集群部署
- spark部署standalone集群
- spark部署yarn集群
- Spark集群部署
- Spark集群安装部署
- spark集群部署
- Spark集群安装部署
- docker部署spark集群
- Spark集群部署流程
- Hadoop+Spark 集群部署
- 集群部署spark
- Spark集群安装部署
- Spark集群部署
- spark stand alone 集群部署
- 使用Docker部署Spark集群
- Git
- 哈理工acm练习赛 K - Tangled in Cables
- 打电话、发短信、布局、像素
- 64位win7下运行Virtualbox安装系统时出错的解决方案。
- Cocos2D v3.x中关于重叠触摸层优先级的问题
- spark 1.5.1 集群部署
- UITableView 的折叠状态
- __FUNCTION__返回函数名的宏定义
- libsvm-mat-加强工具箱介绍
- Hibernate从入门到精通(5)- 双向 一对多
- UIActionSheet弹窗按钮
- C++写矩阵求逆
- 大整数的乘法
- 系统提示移动硬盘要格式化才能使用