第五章：基于第四章spark集群搭建实验

1.  环境

节点

(192.168.118.*)

服务器

Node1

(ip:142)

Node2

(ip:142)

Node3

(ip:142)

Node4

(ip:142)

NameNode

HDFS master

是

是

 

 

ResourceManage

YARN master

是

 

 

 

NodeManage

YARN slave

 

是

是

是

DataNode

HDFS slave

 

是

是

是

JournalNode

HADF

元数据

共享池

 

是

是

是

Zookeeper

Zookeeper

是

是

是

 

ZKFC

NameNode 高可用

是

是

 

 

HMaster

HBase master

是

是

 

 

RegionServer

HBase slave

是

是

是

是

AppMaster

Spark master

是

 

 

 

Executor

Spark slave

 

是

是

是

 

2.  配置spark

1.     配置slave节点

        

2.     配置spark-env

exportJAVA_HOME=/usr/java/jdk1.7.0_21

exportSPARK_MASTER_IP=node1

exportSPARK_MASTER_PORT=7077

exportSPARK_WORKER_CORES=1

exportSPARK_WORKER_INSTANCES=1

exportSPARK_WORKER_MEMORY=1g

exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportSPARK_HOME=/root/spark

exportSPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.1.1-hadoop2.5.2.jar

exportPATH=$SPARK_HOME/bin:$PATH

 

3.  启动spark

./start-all.sh

 

访问 node1:8080