spark 部署问题

来源:互联网 发布:上海游曳网络加班 编辑:程序博客网 时间:2024/05/22 06:39

spark的web UI 端口设置:spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号。

其他worker 的web UI 端口默认:8081

master 的默认监听端口:7077

spark 运行在yarn 集群上,在提交job 时要注明--master yarn-cluster

0 0
原创粉丝点击