spark1.2.0版本搭建伪分布式环境
来源:互联网 发布:光猫itv端口改成网口 编辑:程序博客网 时间:2024/06/08 12:12
1、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html
2、安装和配置scala:
第一步:上传scala安装包 并解压
第二步 配置SCALA_HOME环境变量到bash_profile
第三步 source 使配置环境变量生效:
第四步 验证scala:
3、下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html
4、安装和配置spark:
第一步 解压spark:
第二步 配置SPARK_HOME环境变量:
第三步 使用source生效:
进入spark的conf目录:
第四步 修改slaves文件,首先打开该文件:
slaves修改后:
第五步 配置spark-env.sh
首先把spark-env.sh.template拷贝到spark-env.sh:
然后 打开“spark-env.sh”文件:
spark-env.sh文件修改后:
5、启动spark伪分布式帮查看信息:
第一步 先保证hadoop集群或者伪分布式启动成功,使用jps看下进程信息:
如果没有启动,进入hadoop的sbin目录执行 ./start-all.sh
第二步 启动spark:
进入spark的sbin目录下执行“start-all.sh”:
此刻 我们看到有新进程“Master” 和"Worker"
我们访问“http://master:8080/”,进如spark的web控制台页面:
从页面上可以看到一个Worker节点的信息。
我们进入spark的bin目录,使用“spark-shell”控制台:
通过访问"http://master:4040",进入spark-shell web控制台页面:
6、测试spark伪分布式:
我们使用之前上传到hdfs中的/data/test/README.txt文件进行mapreduce
取得hdfs文件:
对读取的文件进行一下操作:
使用collect命令提交并执行job:
readmeFile.collect
查看spark-shell web控制台:
states:
端口整理:
master端口是7077
master webui是8080
spark shell webui端口是4040
- spark1.2.0版本搭建伪分布式环境
- hadoop2.6.0版本搭建伪分布式环境
- hadoop2.7.0版本搭建伪分布式环境
- hadoop2.6.0版本搭建伪分布式环境
- hadoop2.6.0版本搭建伪分布式环境
- Spark1.0.0 分布式环境搭建
- spark1.6分布式集群环境搭建
- Spark1.2.0单机环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- 伪分布式hadoop环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- (二)、伪分布式环境搭建
- View Composer 代理初始化失败
- gentoo 无线网络配置
- (最大化最小值),poj3258,River Hopscotch
- CListCtrl 使用大全
- 彻底解决 LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
- spark1.2.0版本搭建伪分布式环境
- 【费用流】codevs1227 方格取数 2
- 谈谈对CAP定理的理解
- JavaScript 运行机制详解:再谈Event Loop
- Activity位移切换
- 黑马程序员——面向对象
- EularProject 23: 充足数的和问题
- android 使用Linkify + 正则式区分微博文本链接及跳转处理
- Linux Mint (应用软件—视频播放器:VLC Media Player)