第145课:Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解
来源:互联网 发布:linux mint美化 编辑:程序博客网 时间:2024/05/17 04:37
Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解
1、Yarn资源不足无法提交Spark的问题
2、Yarn-Client下网络流量的问题
ResourceManager会接收你的提交请求吗?Yarn一般把自己的资源分成不同的类型,我们接收的时候会专门提交到分配给Spark那一组资源,例如说此时资源信息如下:Memory 1000G,Cores 800个,此时你要提交的Spark应用程序可能需要900G的内存和700个Core,一定会没有问题吗?不一定!
另外一种情况就是当前的作业可以提交运行,已经消耗了900G的内存和700个Cores,然后又提交了一个消耗500G的内存和300个Cores的Spark应用程序,这个时候资源不够,无法提交
解决方案:
第一:在J2EE中间层,通过线程池技术来实现顺利提交,可以让线程池的大小设定为1;
第二:如果你提交的Spark应用程序有些比较耗时,例如均是超过10分钟,而其他的Spark程序都在2分钟内执行完成,这个时候可以继续把Spark拥有的资源进行分类(耗时任务和快速任务),此时你可以使用2个线程池,每个线程池都是一条线程。
第三:只有一个程序在运行的时候,你可以把Memory和Cores都调整到最大,这样最大化的使用资源来最快速的完成程序的计算,同时也简化了集群的运维和故障解决。
Yarn的运行模式:
Client和Cluster模式,Cluster是Driver也在集群中,Client模式反之
在这里我们先研究Client模式。由于Driver在客户端上,和集群的网络环境可能不一致,所以网络通信的风险会导致Task丢失…
下面一个问题是:Client必然要和集群进行频繁的通信,例如说有100个Stage,每个Stage平均有10w个Task,此时一定会导致Client机器的网卡流量暴增,甚至会形成阻塞。
这个问题的解决只需要把Spark提交模式改为Yarn Cluster
- 第145课: Spark面试经典系列之Yarn生产环境下资源不足问题、JVM和网络的经典问题详解
- 第145课:Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解
- 第146课:Spark面试经典系列之Yarn Cluster生产环境下JVM的OOM和Stack Overflow问题
- 第146课: Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案
- 第147课: Spark面试经典系列之Shuffle的性能调优问题
- 第147课:Spark面试经典系列之Shuffle的性能调优问题
- 第144课: Spark面试经典系列之NULL值问题及序列化错误
- 第144课:Spark面试经典系列之NULL值问题及序列化错误
- 第137课: Spark面试经典系列之数据倾斜解决之Map 端Reduce及问题思考
- 第142课: Spark面试经典系列之Cache和Checkpoint
- 第142课:Spark面试经典系列之Cache和Checkpoint
- 第143课: Spark面试经典系列之Reduce端OOM和shuffle file not found如何解决?
- 第143课:Spark面试经典系列之Reduce端OOM和shuffle file not found如何解决
- 第140课: Spark面试经典系列之数据倾斜解决之并行度的深度使用
- 第138课: Spark面试经典系列之数据倾斜解决之采样分而治之解决方案
- 第135课: Spark面试经典系列之数据倾斜:数据倾斜是多么痛?!
- 第135-141课:Spark面试经典系列之数据倾斜
- 面试的经典问题
- 常见内存拷贝函数:memcpy()、memmove()、strcpy()的实现及区别
- RecyclerView的点击事件
- linux shell 脚本 历史文件清理脚本,按天,按月,清理前N天的历史文件,删除指定大小历史文件,历史文件归档清理
- Android studio NDK开发
- 关于struts后台向页面传值及jsp接收笔记
- 第145课:Spark面试经典系列之Yarn生产环境下资源不足问题和网络的经典问题详解
- 记录一个小问题就是轮播图就一张的问题--------源于自己的马虎
- linux命令之which
- 类与对象.
- 【源码分析】CountDownTimer倒计时为何如此优雅
- redis学习教程之一基本命令
- Unity3DGame学习笔记(7):DOTween
- Lintcode42 Maximum Subarray II solution 题解
- Linux服务器上新增开放端口号