spark-troubleshooting-网卡流量激增问题

来源：互联网发布：知峰保暖内衣价格编辑：程序博客网时间：2024/05/16 05:03

最近做大数据项目过程中，发现在集群上某个节点从第三方ftp服务器下载日志数据的时候，网络突然变慢，从5M降到1M左右，但是通过与运维沟通发现网络流量一直在满负荷传输，
与第三方反复沟通，发现两方服务器的配置完全正常，后来细心排查发现，原因是从hdfs读取数据的脚本以及spark使用client模式的任务占用大量的带宽
所以在spark生产环境最好采用cluster模式

原理分析：
使用了client模式后，Driver 启动在本地机器 Driver全权负责所在任务的调度的，跟yarn集群上运行的多个executor进行频繁的通信，中间有task的启动消息 task的执行统计 task的运行状态 shuffle的输出结果，网络负载非常高，导致本地机器的网卡流量激增。
而使用了yarn-cluster模式后，yarn选择在集群中某个节点运行Driver，负责task调度，而本地机器只做提交动作

阅读全文

0 0