spark上的scala学习笔记

1. 初始化

val sc = new SparkContext(master, appName, [sparkHome], [jars])

参数master指明集群的地址，是字符串，master可以是"local"--在本地单机运行，也可以是Spark或者Mesos集群的URL。
参数appName是Spark应用的名称，会在集群的web界面里显示出来。
参数sparkHome是spark的安装目录，集群内所有节点的Spark必须安装在同样的目录下。
参数jars是打包后的Spark应用，是本地目录，这些Jar包会被复制发送到集群内的所有节点执行。

如果是运行Spark Shell，执行 

bin/spark-shell

shell交互模式直接初始化了SparkContext（spark程序入口）。因此在写代码的时候直接从sc后面开始写比如： 

val textFile = sc.textFile("/user/hadoop/test.txt")

这就会创建一个RDD。其中路径名是hdfs上的一个文件。

2.