ambari搭建spark

来源：互联网发布：mac电脑截屏快捷键编辑：程序博客网时间：2024/05/23 11:38

ambari搭建spark应该默认是local，但我希望也是一个集群环境，在ambari server上辗转了一圈，没能找到配置项。

ambari spark history:

要做成集群环境，我是去改本地的配置：

spark-env.sh

SPARK_MASTER_IP=rm.hadoop
SPARK_LOCAL_DIRS=/usr/hdp/2.4.2.0-258/spark

slaves

添加你要作为worker的hostname

因为master节点我放在 ambari server这台主机上，8080端口被占用了，所以还需要改启动脚本

start-master.sh

if [ "$SPARK_MASTER_PORT" = "" ]; then
SPARK_MASTER_PORT=7077
fi
if [ "$SPARK_MASTER_IP" = "" ]; then
SPARK_MASTER_IP=`hostname`
fi
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8888
fi

把这些改过的配置，分发到各个节点。

启动脚本start-all.sh

在浏览器输入地址：

补充：后来我才知道ambari默认搭建的环境是 spark on yarn，已经是一个集群环境了。

后面做的哪些事情完全是画蛇添足了！！不过是做了一个stanalone的环境！

0 0