hadoop2.2.0上spark伪分布式安装
来源:互联网 发布:sql server 2012和2014 编辑:程序博客网 时间:2024/05/29 00:31
1. 从官网上下下载合适的版本:
http://spark.apache.org/downloads.html
笔者下载的是for hadoop2.2版本的spark0.9.2
2. 解压,配置环境:
sudo gedit /etc/profile
添加SPARK_HOME和更新PATH;
3. 安装Scala
添加Scala_HOME和更新PATH
4. 配置Spark
进入SPARK_HOME/conf目录,复制一份spark-env.sh.template并更改文件名为spark-env.sh
打开编辑:
export SCALA_HOME=/home/hadoop/ha/scala-2.10.3export JAVA_HOME=/usr/lib/jdk/jdk1.7.0_71export SPARK_MASTER=localhostexport SPARK_LOCAL_IP=localhostexport HADOOP_HOME=/home/hadoop/ha/hadoop-2.2.0export SPARK_HOME=/home/hadoop/ha/spark-0.9.2-bin-hadoop2export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/nativeexport YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
5. 让环境生效:
source /etc/profile
6. 启动spark
进入SPARK_HOME/sbin目录,运行命令:
start-all.sh
7. 输入命令jps查看是否启动成功:
可以看到有一个Master跟Worker进程 说明启动成功
可以通过http://localhost:8080/查看spark集群状况
8. 通过浏览器访问http://localhost:8080/ 查看spark集群状况
OK!
1 0
- hadoop2.2.0上spark伪分布式安装
- centos6.4+hadoop2.2.0 spark伪伪分布式安装
- hadoop2.2.0伪分布式安装
- hadoop2.2.0伪分布式安装
- Hadoop2伪分布式安装
- Hadoop2 伪分布式安装
- Hadoop2.6.4伪分布式环境及Spark、Intellij IDEA安装
- Hadoop2.2.0伪分布式安装配置
- Hadoop2.2.0单机伪分布式安装配置
- Hadoop2.2.0 + HBase0.96 伪分布式安装
- ubuntu12.20安装 hadoop2.2.0伪分布式
- 安装spark伪分布式
- spark伪分布式安装
- hadoop2的伪分布式安装
- Hadoop2.6伪分布式安装
- hadoop2.6.0伪分布式安装
- hadoop2.2伪分布式安装
- Hadoop2.6.4伪分布式安装
- 一桶金的四种掘法!
- Java 中的接口介绍与使用
- struct
- [跟我学正则表达式] 2. 匹配单个字符
- 用镜像克隆服务器
- hadoop2.2.0上spark伪分布式安装
- Android属性之build.prop生成过程分析
- GDI+ 总结一: 保存图像文件
- [跟我学正则表达式] 3. 匹配字符集合
- 前期C语言回顾 数组
- C++ 代码中调用scp自动传文件
- Docker容器
- 张小春:小本创业的思想集结
- HBase0.96 升级步骤及源代码分析