Ubuntu kylin 14.04下的spark1.0.1安装

来源：互联网发布：小米系统内存优化级别编辑：程序博客网时间：2024/05/19 09:15

环境：Ubuntu kylin 14.04； JDK 8u-11； Scala2.10.4； Spark 1.0.1

主要流程参考自http://blog.csdn.net/zlcd1988/article/details/21177187，mark一下，防忘记。

1. 安装JDK

主要参考两篇博客http://jingyan.baidu.com/article/59703552e002e18fc007403b.html； http://www.linuxidc.com/Linux/2014-05/101038.htm

1.1 首先，去官网下载jdk-8u11

选择Accept License Agreement 后，选择对应版本下载，Ubuntu 选择tar.gz的压缩包，64位选x64，32位选i586。

1.2 找到你下载文件的目录，使用下面的命令我的是用firefox下载的，在下载文件夹敲命令 sudo tar zxvf ./jdk-8u5-linux-x64.tar.gz -C /usr/lib/jvm

-C 后是要解压到的目录。

1.3 进入到该目录下

终端命令 cd /usr/lib/jvm3.1 下载

1.4 使用终端命令 sudo mv jdk1.8.0_11/ java-8u11-sun

这里就是把文件名改了一下，此时已经安装成功。

1.5 下面配置环境变量

//使用vim ~/.bashrc命令编辑，可能会权限不够而无法修改，需切换到root权限下进行操作即可。

//使用sudo vim ~./bashrc

不知道是不是在/.bashrc里设置环境变量的缘故，后来在运行spark的standalone application的时候$sbt package指令始终不行。安全起见还是改成命令

sudo vim /etc/profile

关于这两个的区别可以看博客

浅析linux 下的/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc 文件

http://huhao1989.iteye.com/blog/1586020

1.6

打开/etc/profile之后，在底部加入一下命令（按s切换到输入状态）

export JAVA_HOME=/usr/lib/jvm/java-8u11-sun

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

保存退出的指令是 :wq

1.7

使用命令

source ~/.bashrc 或者 source /etc/profile 让之前的修改成效。

1.8 使用命令 java -version 查看

2. 安装 Scala 2.10.3

Spark 1.0.1 依赖 Scala 2.10.x, 我安装的是Scala 2.10.4。

下载地址： http://www.scala-lang.org/download/all.html

之后的操作：

$ tar -zxf scala-2.10.4.tgz

$ su root
$ mv scala-2.10.4 /usr/lib/scala
$ vim /etc/profile
# add the following lines at the end
export SCALA_HOME=/usr/lib/scala
export PATH=$PATH:$SCALA_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
$source /etc/profile
# test
$ scala -version

3. 安装Spark

3.1 下载

下载Spark，大家可以下载已经编译过的版本，这样下载之后不需要再编译（不编译的参考这篇博客 http://blog.csdn.net/myboyliu2007/article/details/17174363 ）。但已经编译的版本里面都预制了Hadoop版本，为了与我们的开发环境一致，建议大家下载未编译版本，这样可以指定我们所在环境的Hadoop 版本。

http://spark.apache.org/downloads.html

左边部分是需要下载之后还要手工编译的，右边都是预编译完成的。

Spark 1.0.1 (July 11, 2014) (release notes) (prebuilt: Hadoop1 [HDP1, CDH3], CDH4, Hadoop2 [HDP2, CDH5], third-party:MapRv3, MapRv4)

spark-1.0.1.tgz

3.2 安装和配置
解压：

$ tar -zxf spark-1.0.1.tgz
$ su root

$ cp spark-1.0.0 /usr/lib/spark

$ vim /etc/profile
# add the following lines at the end
export SPARK_HOME=/usr/lib/spark
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile

编译：

$ cd $SPAKR_HOME
$ ./sbt/sbt assembly

请耐心等待，sbt 会自动编译，下载依赖包，打包，所以可能需要好长时间。如果发生卡死现象，把命令重新运行下，已下号的jar包不会重新再下。打好的jar包在
$SPARK_HOME/assembly/target/scala-2.10/spark-assembly-1.0.1-hadoop1.0.4.jar (jar名字可能不同)

打包成功后，屏幕打印信息类似于如下：

[info] SHA-1: dbdbe7f19095e2b611e0c363587432ef0a30108e
[info] Packaging /usr/lib/spark/assembly/target/scala-2.10/spark-assembly-1.0.1-hadoop1.0.4.jar ...
[info] Done packaging.
[success] Total time: 7071 s, completed July 17, 2014 9:56:22 AM

3.3 测试Spark

$ cd $SPARK_HOME
$ ./bin/run-example SparkPi 10

配置完成。

0 0