1-2、Spark的standalone模式安装

来源：互联网发布：中心极限定理知乎编辑：程序博客网时间：2024/04/30 06:56

提前安装好hadoop，

我准备了两个节点，jdk和hadoop先安装好。

我用的两个节点，电脑配置不行，3个节点演示能更好些

1、解压

2、编辑文件：

[root@spark0 conf]# cpspark-env.sh.template spark-env.sh[root@spark0 conf]# vim spark-env.shSPARK_MASTER_IP=192.168.6.2 [root@spark0 conf]# cp slaves.templateslaves[root@spark0 conf]# vim slaves# A Spark Worker will be started on each ofthe machines listed below.192.168.6.2192.168.6.3

3、配置好的拷贝到另一个几点上面去：

[root@spark0 local]# scp -r sparkspark1:/usr/local/

4、查看主节点的进程，除了worker还有master

5、查看另一个节点，除了hadoop进程，只有worker，没有master进程

6、例子，先在本地设置一个文件

7、打开spark-shell，运行一个小例子：

scala> val rdd=sc.textFile("/home/spark0/spark.txt").collect

8、关闭，两个节点的spark集群：

0 0