Spark 阶段总结 1

 1.     概述

本文描述的是 spark 学习的第一阶段知识点，包括spark 下载安装、IDE 下载与编译，以及spark 程序在虚拟机环境中的部署与运行。

 

2.     安装准备

下载安装spark 之前，需要在虚拟机中先安装配置好 HADOOP，具体安装HADOOP 的方法，可参考下面的链接。

 

参考链接

HADOOP 安装： http://www.iteye.com/topic/1135085

 

3.     Spark安装

首先需要下载 spark，官网上只有 spark 的源码，bin 需要自己编译，我在虚拟机中编译没成功，就在别的网站直接下来了 bin 来使用。

         然后就是安装spark 了，具体可看参考书或者网上教程。

         需要注意的是，spark 在虚拟机中运行很吃内存和硬盘，运行 ./spark-shell 时经常会出错，启动时间也非常长，需要一点耐心。

 

参考链接

Spark 官网： http://spark.apache.org/downloads.html

Bin 下载： http://mirror.bit.edu.cn/apache/spark/

安装教程：http://www.aboutyun.com/thread-8160-1-1.html

 

4.     IDE安装

参考书中推荐的IDE 是 IntelliJIDEA，它有免费版可在其官网直接下载。

Windows 下 IDEA 的安装可参考如下链接，不过，链接中的例子我没跑通，我用的是自己写的测试程序来编译测试的。

 

参考代码

packagecom.sparkTest

importorg.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._

/** Computes an approximation to pi */
object SparkPi {
  def main(args:Array[String]) {
    val conf =newSparkConf().setAppName("Spark Pi")
    val sc = newSparkContext(conf)
    val file =sc.textFile("hdfs://localhost:9000/user/root/README.md")
    val spark= file.filter(line => line.contains("Spark"))
    println("leon's first spark app : "+ spark.count())
    sc.stop()
  }
}

 

 

参考链接

Windows下安装：http://ju.outofmemory.cn/entry/94851

 

5.     运行sparkTest

在虚拟机上运行sparkTest 需要用到 spark-submit，详细的介绍可参考后面的链接。

         我的运行命令行是：

è ./bin/spark-submit --master local --class com.sparkTest.SparkPi  --executor-memory 512m/mnt/hgfs/share/scala_dir/sparkTest.jar

 

 

参考链接

Submit介绍： http://blog.csdn.net/book_mmicky/article/details/25714545