大数据学习笔记-------------------(3)

第3章 Spark安装

Spark是Hadoop的子项目。因此，Spark最好安装在Linux系统。安装步骤如下：

Step 1：验证Java安装

安装Spark之前必选安装Java。在命令行输入命令：java -version 。如果系统已经安装Java，将显示如下信息：

        java version "1.7.0_71"

       Java(TM) SE Runtime Environment (build 1.7.0_71-b13)

       Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

   

以防万一系统没有安装Java，在执行下一步之前要安装Java。

Step 2：验证Scala安装

用Scala语言来实现Spark。所以要在命令行输入命令：scala -version 。验证系统是否安装Scala。如果已经安装，系统将给出如下提示信息：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

 

以防万一系统没有安装Scala，下一步是Scala的安装。

Step 3：下载Scala

下载最新版本的Scala请访问：http://www.scala-lang.org/download/。在这个网站，下载scala-2.11.6版本。下载之后，在下载路径下找到Scala 压缩文件。

Step 4：安装Scala

按照下面步骤安装Scala

Step 4_1:解压Scala压缩文件

 进入到Scala压缩文件路径下，执行命令：tar xvf scala-2.11.6.tgz

Step 4_2:移动scala软件文件

用如下命令，把Scala软件文件夹移动到指定路径下（/usr/local/scala）

$ su –

Password:

# cd /home/Hadoop/Downloads/

# mv scala-2.11.6 /usr/local/scala

# exit

            

Step 4_3:设置Scala的 PATH

 在命令行输入命令，为Scala设置PATH:

export PATH = $PATH:/usr/local/scala/bin

       

Step 4_4：验证Scala安装

 在命令行输入命令：scala -version 。验证系统是否安装Scala。如果已经安装，系统将给出如下提示信息：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

   

Step 5：下载Apache Spark

下载最新版本的Spark，请访问：https://spark.apache.org/downloads.html。在这个网站下载spark-1.3.1-bin-hadoop2.6版本。下载之后，在下载路径下找到Spark压缩文件。

Step 6:安装Spark

按照下面的步骤，安装Spark

Step 6_1:解压Spark压缩文件

 进入到Scala压缩文件路径下，执行命令：tar xvfspark-1.3.1-bin-hadoop2.6.tgz 

Step 6_2:移动Spark软件文件

用如下命令，把Spark软件文件夹移动到指定路径下（/usr/local/spark）

$ su –

Password:

# cd /home/Hadoop/Downloads/

# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark

# exit

   

Step 6_3:为Spark设置环境变量

在把下面命令添加的~/.bashrc文件中:

export PATH = $PATH:/usr/local/spark/bin

     

 添加完毕，在命令行输入：source ~/.bashrc

Step 7:验证Spark的安装

在命令行输入：spark-shell，如果安装成功，系统将给出如下提示信息

Spark assembly has been built with Hive, including Datanucleus jars on classpath

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)

15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server

15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.

Welcome to

____ __

/ __/__ ___ _____/ /__

_\ \/ _ \/ _ `/ __/ '_/

/___/ .__/\_,_/_/ /_/\_\ version 1.4.0

/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)

Type in expressions to have them evaluated.

Spark context available as sc

scala>