Spark学习笔记一 环境搭建
来源:互联网 发布:python基础教程pdf 编辑:程序博客网 时间:2024/06/05 05:13
一、环境介绍
我在这里用的是三台虚拟机
master 192.168.1.100
slave1 192.168.1.101
slave2 192.168.1.102
二、程序下载
这里已经把程序传到网盘上这,方便大家下载
1、hadoop-2.5.2
2、scala-2.11.6
3、spark-1.3.1-bin-hadoop2.4
三、开始安装
1、安装hadoop,安装方法网上很多,请自行搜索
2、解压scala-2.11.6 到 /usr/local/scala
3、解压spark-1.3.1-bin-hadoop2.4 到 /usr/local/spark
4、修改配置文件
复制 spark/conf/spark-defaults.conf.template 为 spark-defaults.conf
添加如下配置信息
export SCALA_HOME=/usr/local/scalaexport JAVA_HOME=/usr/java/jdk1.7.0_65在 spark/conf 目录下 穿件文件 slaves 内容如下
slave1slave2
5、配置环境变量
export SCALA_HOME=/usr/local/scalaexport PATH=$PATH:$SCALA_HOME/binexport SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin
6、讲spark 、scala 分发到集群节点上
7、spark-shell 即可进入
执行 /spark/bin/start-all.sh 即可启动spark
0 0
- Spark学习笔记一 环境搭建
- Spark学习笔记之-Spark Standalone(环境搭建)
- (一)spark学习笔记-开发环境
- Spark学习之(一) HDFS 集群环境搭建
- struts 学习笔记(一)--搭建环境
- Symbian学习笔记一环境搭建
- JBPM学习笔记一(环境搭建)
- Symbian学习笔记一环境搭建
- WinPcap学习笔记一:搭建安装环境
- Android学习 笔记(一)---搭建环境
- Mybatis学习笔记一(环境搭建)
- Hadoop学习笔记(一)环境搭建
- Selenium webdriver 学习笔记(一) - 环境搭建
- 一 redis学习笔记之环境搭建
- libgdx 学习笔记一 开发环境搭建
- android学习笔记(一)环境搭建
- ThinkPHP学习笔记(一)环境搭建
- redis学习笔记一之环境搭建
- 欢迎使用CSDN-markdown编辑器
- System类基本应用
- Runtime类基本应用
- java 内部类与外部类学习
- Date类基本应用
- Spark学习笔记一 环境搭建
- Calendar类基本应用
- 使用python 编写 抓取内涵段子动态图的简单爬虫
- Qt 网络编程
- 欢迎使用CSDN-markdown编辑器
- 编写程序,测试字符串“你好,欢迎来到Java世界”的长度,将字符串的长度转换成字符串进行输出,并对其中的“Java”四个字母进行截取,输出截取字母以及它在字符串中的位置。
- Qt: Qt4 Embedded 去掉鼠标指针及全屏显示
- 从上往下打印二叉树
- UVA 562 Dividing coins