安装spark

来源：互联网发布：java怎么开根号编辑：程序博客网时间：2024/05/17 05:57

一。准备工作 basic环境的安装

1 jdk 参考 http://li-fanghua.blog.163.com/blog/static/7954442020126317163641/

2 scala 编译spark源码参考 http://www.oschina.net/question/6981_28483

二开始安装spark

第一种方式需要安装maven 可以参考 http://www.blogjava.net/caojianhua/archive/2011/04/02/347559.html

我采用的是第二种方式

在安装目录执行

首先确定git命令如果没有可通过 yum -y install git 安装不同版本的linux 用不同命令可以查询这里我用的是centos

git clone git://github.com/apache/spark.git -b branch-1.1

需要一段时间

得到目录spark后，进入spark目录，进入conf子目录，将 spark-env.sh-template 重命名为spark-env.sh，并添加以下代码行：

export SCALA_HOME=xxxx 填写profile 里面配置的环境变量即可

接下来执行

sbt/sbt clean assembly 完成编译过程时间不较长

提示安装成功

[success] Total time: 1228 s, completed May 9, 2012 3:42:11 PM

执行

./bin/spark-shell

提示

 14/05/10 14:18:23 INFO HttpServer: Starting HTTP Server    Welcome to          ____              __         / __/__  ___ _____/ /__        _\ \/ _ \/ _ `/ __/  '_/       /___/ .__/\_,_/_/ /_/\_\   version 0.9.1          /_/    Using Scala version 2.10.3 (Java HotSpot(TM) Server VM, Java 1.7.0_51)    Type in expressions to have them evaluated.    Type :help for more information.    14/05/10 14:18:34 INFO Slf4jLogger: Slf4jLogger started    14/05/10 14:18:34 INFO Remoting: Starting remoting    14/05/10 14:18:34 INFO Remoting: Remoting started;     ……    Created spark context..    Spark context available as sc.

及安装成功

0 0