Spark 安装

来源：互联网发布：人工智能客服开源系统编辑：程序博客网时间：2024/05/16 09:52

环境:CentOS 6.3, Hadoop 1.1.2, JDK 1.6, Spark 1.0.0, Scala 2.10.3

在安装开始前，请大家务必明白，spark 版本不一样，有些细节是不一样的。之前我是以0.9.0讲解的，为了和最新版本一致，我以1.0.0 作为版本重新介绍如何安装spark 1.0.0。

1. 安装JDK 1.7

yum search openjdk-develsudo yum install java-1.7.0-openjdk-devel.x86_64/usr/sbin/alternatives --config java/usr/sbin/alternatives --config javacsudo vim /etc/profile# add the following lines at the endexport JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64export JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# save and exit vim# make the bash profile take effect immediately$ source /etc/profile# test$ java -version

2. 安装 Scala 2.10.3

Spark 1.0.0 依赖 Scala 2.10.x, 我安装的是Scala 2.10.3.

下载地址： http://www.scala-lang.org/download/all.html

$ tar -zxf scala-2.10.3.tgz$ su root$ mv scala-2.10.3 /usr/lib/scala$ vim /etc/profile# add the following lines at the endexport SCALA_HOME=/usr/lib/scalaexport PATH=$PATH:$SCALA_HOME/bin# save and exit vim#make the bash profile take effect immediatelysource /etc/profile# test$ scala -version

3. 安装Spark

3.1 下载

下载Spark，大家可以下载已经编译过的版本，这样下载之后不需要再编译。但已经编译的版本里面都预制了Hadoop版本，为了与我们的开发环境一致，建议大家下载未编译版本，这样可以指定我们所在环境的Hadoop 版本。

http://spark.apache.org/downloads.html

左边部分是需要下载之后还要手工编译的，右边都是预编译完成的。

spark-1.0.0.tgz

3.2 安装和配置

解压：

$ tar -zxf spark-1.0.0.tgz$ su root$ cp spark-1.0.0 /usr/lib/spark$ vim /etc/profile# add the following lines at the endexport SPARK_HOME=/usr/lib/spark# save and exit vim#make the bash profile take effect immediately$ source /etc/profile

编译：

$ cd $SPAKR_HOME$ ./sbt/sbt assembly

请耐心等待，sbt 会自动编译，下载依赖包，打包，所以可能需要好长时间。如果发生卡死现象，把命令重新运行下，已下号的jar包不会重新再下。打好的jar包在

$SPARK_HOME/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop1.0.4.jar (jar名字可能不同)

打包成功后，屏幕打印信息如下：

[info] SHA-1: dbdbe7f19095e2b611e0c363587432ef0a30108e
[info] Packaging /usr/lib/spark/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop1.0.4.jar...
[info] Done packaging.
[success] Total time: 7071 s, completed Mar 20, 2014 10:42:43 AM

3.3 测试Spark

$ cd $SPARK_HOME$ ./bin/run-example SparkPi 10

配置完成！！！！

2 0