spark的安装过程记录
来源:互联网 发布:新闻类app数据 编辑:程序博客网 时间:2024/06/07 07:04
下载spark的网址:http://spark.apache.org/downloads.html
根据各自hadoop版本,选择相迎的spark版本即可。
本文是hadoop集群安装好的前提下,进行安装spark的安装。
安装spark之前,先安装scala,具体要求什么样的scala版本,可以将下载的spark解压,在根目录下有个README.md文件。里面有写明你下载的spark版本需要哪个scala版本的支持。这里下载的是0.9版本的spark,对应的scala是2.10.x即可。
scala的下载地址(各个版本):http://www.scala-lang.org/download/all.html
解压,设置环境变量。我所有的环境变量都是在~/.bashrc文件中设置的(下面会贴出我设置的所有的环境变量的图,scala就在其中)。
测试scala有没有安装成功,使用命令行:scala -h 即可。
安装好scala之后,就是安装spark了。
下载制定的spark版本后,第一步先是:build spark。具体命令上在上面的图中就有:./sbt/sbt assembly,这个编译需要花一些时间。
编译成功以后,修改配置,主要是./conf下面的slaves和spark-env.sh文件。
修改配置,和运行spark集群可参考的是网址:http://blog.csdn.net/hxpjava1/article/details/19177913
如果你不编译就启动集群,就会报这样子的错误:
提示先build spark,在启动集群
最后贴一张环境变量的图,手打一边,加深影响
0 0
- spark的安装过程记录
- 安装yarn下的spark过程记录以及sparkr安装记录
- 安装Trac的过程记录
- 记录sublimeText3PacketControl的安装过程
- 记录安装Urho3D的过程
- FFMPEG的安装过程记录
- xmpp的openfire+spark安装过程
- Spark 安装设置记录
- spark 安装配置记录
- 记录我的ubuntu+matlab安装过程
- VMware ubuntu虚拟机的安装过程记录
- 稍微记录一下xamarin的安装过程
- 记录ubuntu14安装jdk的过程
- Eclipse安装svn的过程记录
- CentOS7 下安装mplayer的过程记录
- Android Studio的安装过程记录
- 记录我的caffe2 vs2017安装过程
- 记录.python27 wxpython的安装过程。
- SWT/JFACE 在Tableviewer中只在表头上右击显示上下文菜单
- 《走出软件作坊》读书心得1
- Java--三大特性体验
- 使用 Redis 来存储 Apache Tomcat 7 的 Session
- cocos2dx读书笔记之CCLOG打印%百分号
- spark的安装过程记录
- 组包的code
- ios8 iphone5s,6 touchid指纹登录
- Android 智能问答机器人的实现
- java字符串的引用
- Hadoop,HBase添加和删除节点
- android 4.4.3上面,联系人的头像默认显示首字母,但是不支持中文字符,修改支持中文
- 《走出软件作坊》读书心得2
- 头像编辑器怎么禁用摄像头