spark1.6.1集群部署(standalone)
来源:互联网 发布:电信4g网络制式fdd普及 编辑:程序博客网 时间:2024/05/22 03:32
1. 节点准备
192.168.137.129 spslave2192.168.137.130 spmaster192.168.137.131 spslave1
2. 修改主机名
3. 配置免密码登录
- 首先到用户主目录(cd ~),ls -a查看文件,其中一个为“.ssh”,该文件价是存放密钥的。待会我们生成的密钥都会放到这个文件夹中。
- 现在执行命令生成密钥:
ssh-keygen -t rsa -P ""
(使用rsa加密方式生成密钥)回车后,会提示三次输入信息,我们直接回车即可。 - 进入文件夹cd .ssh (进入文件夹后可以执行ls -a 查看文件)
- 将生成的公钥id_rsa.pub 内容追加到authorized_keys,执行命令:
cat id_rsa.pub >> authorized_keys - 把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后就可以免密码彼此ssh连入
4. 安装配置JDK
所有节点安装JDK1.7,安装完成后,设置环境变量:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5. 安装配置scala
所有节点安装scala2.10.6版本:http://www.scala-lang.org/download/2.10.6.html
安装完成后,配置环境变量:
export SCALA_HOME=/usr/scala-2.10.6/export PATH=$PATH:$SCALA_HOME/bin:$SCALA_HOME/bin
6. 安装配置spark
6.1. 下载spark1.6.1
Apache spark官网下载地址: http://spark.apache.org/downloads.html
6.2. 配置spark环境变量
export SPARK_HOME=/usr/spark-1.6.0-bin-hadoop2.6export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/bin
6.3. 配置$SPARK_HOME/conf/slaves
首先将slaves.template拷贝一份,重新命名为slave2,并编译slave2内容:
6.4. 配置$SPARK_HOME/conf/spark-evn.sh
同样将spark-env.sh.template拷贝一份,命名为spark-evn.sh,追加内容:
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/export SPARK_MASTER_IP=spmasterexport SPARK_WORKER_MEMORY=1Gexport SCALA_HOME=/usr/scala-2.10.6/
7. 启动spark
- 方式一
启动master./sbin/start-master.sh 启动workers./sbin/start-slave.sh <master-spark-URL> master-spark-URL: spark://spmaster:7077
- 方式一
./sbin/start-all.sh
通过浏览器访问:http://spmaster:8080/
参考:
http://spark.apache.org/docs/latest/spark-standalone.html
阅读全文
0 0
- spark1.6.1集群部署(standalone)
- Spark1.0.2-standalone部署
- Spark1.0.2 Standalone 模式部署
- Spark1.0.2 Standalone 模式部署
- Spark1.6.1集群环境搭建——Standalone模式HA
- spark部署standalone集群
- flink standalone集群部署
- Spark1.0.1集群部署
- Spark1.3.1集群部署
- Spark1.0.0 on Standalone 模式部署
- Spark1.0.0 on Standalone 模式部署
- Spark1.0.0 on Standalone 模式部署
- spark1.3.0-hadoop2.4集群环境搭建(Standalone)
- Spark1.3.1 Standalone 基于文件系统的 HA 部署
- Spark Standalone 集群部署图文分享
- Spark standalone 模式下的集群部署
- Alluxio集群部署到Spark Standalone
- Spark1.6安装-Standalone
- java连接mysql的几种方法
- Gradle基础
- 三大经典排序法
- 合并两个字符集合为一个新集合,每个字符串在新集合中仅出现一次,函数返回新集合中字符串
- css3 备忘
- spark1.6.1集群部署(standalone)
- JAVA JDBC-Mysql操作类
- yii2数据库读写分离配置
- 【2017】使用maven在eclipse中创建并运行web项目
- Remainder
- 数据结构顺序队列
- RecyclerView 复用错乱通用解法
- 为啥要var _this = this;
- hdu 6058 Kanade's sum(区间跳跃)