spark安装配置
来源:互联网 发布:tensorflow文档 编辑:程序博客网 时间:2024/06/06 01:18
1. 官网下载
wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgz
2. 解压
tar -zxvf spark-2.0.1-bin-hadoop2.7.tgz
ln -s spark-2.0.1-bin-hadoop2.7 spark2
3. 环境变量
vi /etc/profile
#Spark 2.0.1
export SPARK_HOME=/usr/local/spark2
export PATH=$PATH:$SPARK_HOME/bin
4. 配置文件(/usr/local/spark2/conf)
1) spark-env.sh
cp -a spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8
export SPARK_MASTER_HOST=cdh01
2) slaves
cp -a slaves.template slaves
vi slaves
cdh02
cdh03
5. 复制到其他节点
scp -r spark-2.0.1-bin-hadoop2.7 root@cdh02:/usr/local
scp -r spark-2.0.1-bin-hadoop2.7 root@cdh03:/usr/local
6. 启动
$SPARK_HOME/sbin/start-all.sh
7. 运行
1) 准备一个文本文件放在/logs/wordcount.log内容为:
hdfs hbase hive hdfs
hive hbase spark spark
spark spark spark
2) 运行spark-shell
3) 运行wordcount
8. Web界面
http://cdh01:8080/jobs/
http://cdh01:4040/jobs/
- Openfire+Spark安装配置
- spark安装配置
- Spark安装和配置
- Spark 安装配置实验
- spark安装配置
- spark、scala安装配置
- spark 安装和配置
- Spark 单机安装配置
- Spark安装配置
- spark 安装配置记录
- spark的安装配置
- Spark安装与配置
- spark安装配置
- spark安装与配置
- Openfire+Spark+Spark Web安装配置
- Openfire+Spark+Spark Web安装配置
- Spark 0.9的安装配置
- spark的配置与安装
- JSONP 教程
- appium无线连接移动端
- jsp页面乱码解决
- 判断一字符串是否为回文,是返回1,不是返回0,出错返回-1
- python产生随机数的方法
- spark安装配置
- Android进程和线程
- lazy懒加载(延迟加载)UITableView
- ***********MySQL索引详解
- HashSet实现原理及源码分析
- java基础之一异常
- 修改userdata 分区大小
- 逆向CrackMe-02写注册机
- 一张图搞定Activity启动流程和占坑式插件原理