Spark1.6.1单节点环境搭建
来源:互联网 发布:linux一键安装lamp 编辑:程序博客网 时间:2024/06/07 05:41
本文搭建在Hadoop2.6.4单节点环境搭建的基础上进行
http://blog.csdn.net/u014662563/article/details/76888308
一、软件准备
1. scala-2.11.8.tar.gz
2. spark-1.6.1-bin-hadoop2.6.tar.gz
二、Scala安装配置
1. 下载解压scala-2.11.8.tar.gz
tar -zxvf scala-2.11.8.tar.gz -C /opt/Scala
2. 配置环境变量,编辑/etc/profile文件,在文件末尾添加以下内容:
3. 保存后运行source /etc/profile,使环境变量生效。
4. 输入scala -version可以看到JDK成功安装的版本信息。
四、Spark安装配置
1. 下载解压spark-1.6.1-bin-hadoop2.6.tar.gz
tar -zxvf spark-1.6.1-bin-hadoop2.6.tar.gz -C /opt/Spark
2. 修改/etc/profile文件,在文件末尾添加以下内容:
3. 保存后运行source /etc/profile,使环境变量生效。
4. 进入Spark安装目录下的conf目录,拷贝spark-env.sh.template到spark-env.sh
cp spark-env.sh.template spark-env.sh
5. 编辑spark-env.sh,在末尾添加配置信息:
6. 将slaves.template拷贝到slaves,编辑其内容:
五、启动Spark
1. 进入Spark安装目录的sbin,启动spark。
2. 使用jps命令查看进程信息。
3. 浏览器访问查看Spark信息
4.使用spark-shell,在sbin目录下输入spark-shell
5.Spark配置成功。
- Spark1.6.1单节点环境搭建
- Hadoop环境搭建-单节点
- Hadoop单节点环境搭建
- hadoop单节点环境搭建
- 单节点nginx环境搭建
- Ubuntu下搭建单节点hadoop环境
- ubuntu 13.04 搭建Hadoop环境 (单节点)
- hadoop 2.6.0单节点环境搭建
- linux安装zookeeper(单节点)环境搭建
- Hadoop 2.6.4单节点环境搭建
- Spark1.0.0 分布式环境搭建
- Spark1.2.0单机环境搭建
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点
- Spark1.6.1集群环境搭建——Standalone模式HA
- Centos7 下 spark1.6.1_hadoop2.6 分布式集群环境搭建
- Centos7 下 spark1.6.1_hadoop2.6 分布式集群环境搭建
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- java网络编程面试题
- php读取本地文件常用函数
- SQL查询和优化(六)
- 算法--桶排序与基数排序
- PHP 和 AJAX responseXML 实例
- Spark1.6.1单节点环境搭建
- STM32 CAN 发送和接收过滤原理
- JavaEE面试题库分类及答案之五
- 微信小程序 高度占满整个屏幕
- Flex布局中的Flex-Grow无效问题
- IDEA和Eclipse修改注释模板
- java url正则表达式
- Jsoup介绍及解析常用方法
- 【AC自动机-fail树+离线+DFS序+树状数组】BZOJ2434(Noi2011)[阿狸的打字机]题解