Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
来源:互联网 发布:linux修改ip配置文件 编辑:程序博客网 时间:2024/05/18 05:15
1、下载并解压spark-1.6.0-bin-hadoop2.6.tgz 我的在/chenjie下
2、vim /etc/profile增加环境变量
exprot SPARK_HOME=/chenjie/spark-1.6.0-bin-hadoop2.6
export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH
3、使用scp /chenjie/spark-1.6.0-bin-hadoop2.6 root@pc2:/chenjie命令将目录发送到pc2 ,pc3同理
scp /etc/profile root@pc2:/etc/profile将环境变量文件发送的pc2 pc3同理
4.使用source /etc/profile使其生效
5、进入chenjie/spark-1.6.0-bin-hadoop2.6/conf
使用cp spark-env.sh.template spark-env.sh新建一个配置
配置spark-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/chenjie/scala-2.10.4
export HADOOP_HOME=/chenjie/hadoop-2.6.5
export HADOOP_CONF_DIR=/chenjie/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=pc1
export SPARK_LOCAL_IP=pc1
保存退出
6、切换到chenjie/spark-1.6.0-bin-hadoop2.6/sbin
7../start-all.sh启动
8.输入jps查看进程
9.使用求圆周率实例测试是否成功
- Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
- Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
- Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)
- Spark 集群搭建从零开始之1 Scala的安装与配置
- spark环境搭建,伪分布式、集群
- spark-伪分布式搭建
- Spark伪分布式搭建
- spark分布式安装 spark集群搭建 hadoop集群搭建
- spark分布式安装 spark集群搭建 hadoop集群搭建
- SPARK单机模式搭建(从零开始)
- 构建Spark分布式集群第一步:搭建Hadoop伪分布式环境
- 安装spark伪分布式
- spark伪分布式安装
- spark分布式,伪分布式搭建
- 搭建Spark分布式集群
- 搭建Spark分布式集群
- spark伪分布式安装与测试
- Spark 单机安装配置
- java中继承的初始化顺序
- oracle11g 监听日志过大处理
- Sftp只允许用户访问指定的目录
- POJ 2559 Largest Rectangle in a Histogram(单调栈)
- iOS之《Effective Objective-C 2.0》读书笔记(48)
- Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
- phpcmsv9调用友情链接
- android GPS API
- [tensorflow]tensorflow ConfigProto
- 使用 jquery 获取一组或者单个 checkbox 的选中状态的值
- NAT详解
- 设计模式六大原则(3):依赖倒置原则
- 关于安卓glide图片框架加载的图片转换成圆形圆角的思路
- R语言 逐步回归分析 AIC