Spark的安装

来源:互联网 发布:win7系统盘清理软件 编辑:程序博客网 时间:2024/05/17 09:47

抽时间,说以下spark的安装吧,由于我编译的spark是基于scala-2.10.4的,所以为了统一,讲原来的scala-2.11改成scala-2.10.4

1.首先你要下载scala-2.10.4,然后在相应的位置解压安装,这里是解压在/usr/local/share/scala 文件夹中的,然后配置环境变量:

sudo vim ~/.bashrc

然后同时将之前我们编译的spark的路径也给配置进去
如图所示:
这里写图片描述

然后键入命令:

source ~/.bashrc

使其生效。

查看scala的版本
图片:
这里写图片描述

2.结束之后,我们就可以来运行单机下的例子程序了,我们来计算pi的值

cd到相应的spark的目录,然后键入命令:


./run-example org.apache.spark.examples.SparkPi

然后我们可以看到相应的结果:
这里写图片描述

能够正常运行则代表安装成功,下面将会具体介绍在hadoop环境下的安装,并利用HDFS以及YARN的过程。

0 0
原创粉丝点击