大数据系列第六课：Spark集群环境搭建

第一阶段：Spark streaming、spark sql、kafka、spark内核原  理（必须有一个大型项目经验）；

第二阶段：spark运行的各种环境，各种故障的解决，性能  优化（精通spark内核、运行原理）；

第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个  阶段的内容；

跟随王家林老师的零基础讲解，注重动手实战，成为spark高手，笑傲大数据之林！

第一部分：学习笔记

1 关于虚拟机与Linux

2 Hadoop集群的搭建和配置

3 Spark集群的搭建和配置

4，讨论与作业

（1）首先安装VMware Workstation12

（2）安装好Ubuntu14：Master和Worker

安装ssh（遇到如下问题）

1.一个彻底去掉这个提示的方法是，修改/etc/ssh/ssh_config文件（或$HOME/.ssh/config）中的配置，添加如下两行配置：

StrictHostKeyChecking no

UserKnownHostsFile /dev/null

修改/etc/ssh/sshd-config文件，将其中的PermitRootLogin no修改为yes，PubkeyAuthentication yes修改为no，AuthorizedKeysFile .ssh/authorized_keys前面加上#屏蔽掉，PasswordAuthentication no修改为yes就可以了。

2. apt-get install aptitude 

  aptitude install openssh-server

3.安装ssh无秘钥登录

（3）安装Java

Java -version后，显示Java版本

（4）安装Hadoop并运行Wordcount程序

（5）配置伪分布式

core-site.xml

Mapred-site.xml

Hdfa-site.xml

（7）安装Scala

（8）安装启动Spark

（9）测试Spark

（10）SparkPi

object SparkPi {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("Spark Pi")    val spark = new SparkContext(conf)    val slices = if (args.length > 0) args(0).toInt else 2    val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow    val count = spark.parallelize(1 until n, slices).map { i =>      val x = random * 2 - 1      val y = random * 2 - 1      if (x*x + y*y < 1) 1 else 0    }.reduce(_ + _)    println("Pi is roughly " + 4.0 * count /