Spark安装部署
来源:互联网 发布:数组下标长度没有限制 编辑:程序博客网 时间:2024/06/01 07:27
Spark安装:
1、下载安装Scala http://www.scala-lang.org/download/2.11.8.html页面下载scala-2.11.8.tgz
下载安装Spark http://spark.apache.org/downloads.html页面下载spark-2.0.0-bin-hadoop2.7.tgz
2、安装Scala
解压
# tar -zxvf scala-2.11.8.tgz/home/netlab
配置环境变量
[netlab@master ~]$ vi .bash_profile
export SCALA_HOME=/home/netlab/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin
[netlab@master ~]$ source .bash_profile
测试是否安装成功:输入scala,出现以下则成功:
3、安装Spark
解压tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz到/usr/local/wl/spark
配置环境变量
[netlab@master ~]$ vi .bash_profile
export SPARK_HOME=/usr/local/wl/spark/spark-2.0.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
[netlab@master ~]$ source .bash_profile
[netlab@master ~]$ cd spark-2.0.0-bin-hadoop2.7
[netlab@master spark-2.0.0-bin-hadoop2.7]$ cd conf
[netlab@master conf]$ ls
[netlab@master conf]$cp spark-env.sh.template spark-env.sh
[netlab@master conf]$vi spark-env.sh
添加java/scala/spark路径
[netlab@master conf]$ source spark-env.sh
[netlab@master conf]$ cp slaves.template slaves
[netlab@master conf]$vi slaves
修改主机名为从节点名称
4、将主节点关于spark配置复制到从节点
[netlab@master ~]$scp -r ~/spark-2.0.0-binhadoop2.7 slave:~/
[netlab@master ~]$ cd spark-2.0.0-bin-hadoop2.7
[netlab@master spark-2.0.0-bin-hadoop2.7]$ cd sbin/
[netlab@master sbin]$ ls
[netlab@master sbin]$ start-all.sh
[netlab@master sbin]$ jps检查节点启动情况
访问浏览器master:8080
- Spark安装部署
- Spark安装部署
- spark安装部署
- Spark集群安装部署
- Spark安装部署
- Spark安装部署
- Spark集群安装部署
- Spark安装部署
- spark安装部署
- Spark安装部署
- Spark安装及部署
- Spark集群安装部署
- Spark安装与部署
- spark集群安装部署(spark on yarn)
- 【Spark】Spark的Standalone模式安装部署
- 【Spark】Spark的Standalone模式安装部署
- spark 安装依赖及部署
- spark之3:安装部署
- WebService请求
- oracle 定时删除3天前的备份数据
- SAP MM批次管理(1)物料与批次
- Python学习10_图像简单滤波
- 修仙一样的java程序员!!!
- Spark安装部署
- PHP开发中常用的Linux命令之:远程迁移服务器项目篇
- 前端了解到的一些事
- Python pickle序列化模块
- iOS push的侧滑返回功能
- javaBean的使用
- 拦截器与过滤器Filter的区别
- java中static的作用
- Java设计模式-装饰者模式