spark 概述与安装

概述

spark 是一个快速的通用集群计算系统。它提供了丰富的高水平的api供java，scala和python调用。

安装

到官网下载最新版本spark-1.3.1 http://spark.apache.org/downloads.html，这里以这个版本的安装为列，下载后解压，进入到软件根目录，它有两种安装方式，一种通过mvn，另一种通过sbt，两种区别不到，以mvn安装为列说明，执行下面命令

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

这个命令在初次执行时会花费很长一段时间，因为她需要下载很多的依赖包，比如scala，akka，netty等等，大概整个过程在一个小时以上，所以到杯水，可以喝茶了，中间若有停顿，杀掉重启就是，知道任务执行完，表示安装完毕

启动运行

安装完后，可以先简单试下处理任务效果，以python调用spark处理任务为列，假设你电脑已经安装过python，执行下面名利

./bin/pyspark

这时会利用python的交互模式启动，执行下面的命令,试下执行速度

>>>textFile =sc.textFile("README.md")

>>>textFile.count() # Number of items in this RDD

126

>>>textFile.first() # First item in this RDD

u'# Apache Spark'

spark也会有个ui界面可以看下spark的运行环境，任务的执行情况，可以访问：http://127.0.0.1:4040/jobs/   查看