centOS下spark的安装部署

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

spark安装部署步骤如下：
1、从官网下载：http://spark.apache.org/downloads.html
我下载的是 spark-2.1.0.tar
2、解压到文件夹：tar xvf spark-2.1.0.tar
3、进入sudo vim /etc/profile在下面添加路径：

SPARK_HOME=/home/fmm/spark/spark-2.1.0PATH=$PATH:${SPARK_HOME}/bin

这里fmm是我自己建的文件夹，spark-2.1.0 为解压后的文件夹。

4、source /etc/profile 使配置生效
5、命令行 输入 ： spark-shell 测试(可在安装目录中bin里面找到)

6、进入bin目录，输入./run-example SparkPi 10(迭代次数) 计算π的值

7、5和6步 都运行成功的话，说明你已经成功安装部署了spark。