环境搭建(二)spark1.0.2 (ubuntu10.0.4)
来源:互联网 发布:淘宝好的布料店 编辑:程序博客网 时间:2024/06/08 13:34
考虑到hadoop,spark框架的稳定性,这里使用spark1.0.2
Step-by-step guide
0.安装scala
spark框架使用scala开发
- 下载scala
$ wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
$ tar zxvf scala-2.10.4.tgz
$ sudo mv scala-2.10.4 /opt - 配置环境变量
$ sudo vim /etc/profile
#添加以下信息并将其加入PATH中去
SCALA_HOME=/opt/scala-2.10.4 - 测试
$ scala -version
- 下载spark
$ wget http://archive.apache.org/dist/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz
$ tar zxvf spark-1.0.2-bin-hadoop2.tgz
$ sudo mv spark-1.0.2-bin-hadoop2 /opt/ - 配置环境变量
配置 SPARK_HOME 环境变量,并将 $SPARK_HOME/bin放到PATH环境变量中去 - 修改conf文件夹下的spark-env.sh
$ sudo vim $SPARK_HOME/conf#添加以下信息
export SCALA_HOME=/opt/scala-2.10.4
export JAVA_HOME=/opt/jdk1.7.0_17
export SPARK_MASTER_IP=127.0.0.1
export SPARK_WORKER_MEMORY=1G# 以自己机器中SCALA_HOME和JAVA_HOME为准
- conf/slaves;
配置slave节点, - 在slave节点上配置相同spark环境
- 启动spark
$ cd $SPARK_HOME
$ sbin/start-all.sh - 测试
<1> 查看http://localhost:8080/
<2> 运行example中wordconut 例子
0 0
- 环境搭建(二)spark1.0.2 (ubuntu10.0.4)
- Ubuntu10.04开发环境搭建(二)
- Spark1.0.0 分布式环境搭建
- Spark1.2.0单机环境搭建
- 环境搭建(一)hadoop2.2.0 (ubuntu10.0.4)
- 环境搭建(三)hive0.12.0(ubuntu10.0.4)
- Spark1.0.0 开发环境快速搭建
- Spark1.0.0 开发环境快速搭建
- Spark1.0.0 开发环境快速搭建
- spark1.2.0+hadoop2.4.0集群环境搭建
- spark1.2.0版本搭建伪分布式环境
- Apache Spark1.2.0 集群环境搭建
- spark1.6分布式集群环境搭建
- CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建
- centos中spark1.3.1环境搭建
- Spark1.6.1单节点环境搭建
- spark1.6 windows 开发环境搭建
- ubuntu10.04搭建web环境
- Java深度历险(五)——Java泛型
- Android项目中无法生成R文件的问题解决办法
- uiscrollview autolayout contentsize 偏移错误
- Java系列-final、static、finally、finalize的比较
- LeetCode Reverse Linked List II
- 环境搭建(二)spark1.0.2 (ubuntu10.0.4)
- 黑马程序员_面向对象05
- 将python2.7 添加进64位系统 的注册表
- BZOJ 3993 Sdoi2015 星际战争 二分答案+最大流
- Java深度历险(六)——Java注解
- HTML AJAX 简单数据JS
- Code 相关
- mac电脑中Shell快捷命令大全
- 利用prim算法得到最小生成树MST