HDP学习--YARN Component Failure
来源:互联网 发布:四糸乃cosplay淘宝网 编辑:程序博客网 时间:2024/05/16 16:58
一、YARN的故障
即使完美的软件也会有故障, YARN 是为了减少停机时间,而不是组件故障。
二、 YARN Failure Monitoring Communication
下图显示YARN中故障监控时, 各组件的通信来确保都存活的, 在故障发生时, 每个组件都有中重启机制。
三、修改Ambari中的故障检测行为
四、ResourceManager的设置检查
为了检查各组件是否存活, 定期巡检, 并处理故障组件。
五、NodeManager的检查设置
六、Container / Task and ApplicationMaster 的恢复
七、NodeManager and ResourceManager 的恢复
八、YARN Work-Preserving Restarts
YARN Work-Preserving Restarts 相关配置:
九、YARN Log Aggregation
- Enabled by default in HDP 2.3
- Enables long-term
- storage of NodeManager logs by storing them in a central location in HDFS
-Avoids the need to truncate logs in order to conserve space on a local file system
-Provides ability to centrally view log files via a single web UI (the Job History Server)
YARN Log Aggregation 默认配置:
十、 知识回顾
十一、 总结
0 0
- HDP学习--YARN Component Failure
- HDP学习--YARN Applications
- HDP学习--YARN Resource Management(00)
- HDP学习--YARN Resource Management(01)
- HDP学习--YARN Resource Management(02)
- HDP YARN MapReduce参数调优建议
- HDP 的学习
- HDP学习--Using WebHDFS
- HDP学习--HDFS Quotas
- spark on yarn 模式在hdp异常处理
- HDP学习--HDFS Storage(上)
- HDP学习--HDFS Storage(中)
- HDP学习--HDFS Stroge(下)
- How to Plan and Configure YARN and MapReduce 2 in HDP 2.0 如何配置YARN
- YARN学习
- yarn 命令学习:yarn application
- HDP学习--Managing HDFS Storage(00)
- HDP学习--Managing HDFS Storage(01)
- 随笔之java面试二
- 使用java技术去除敏感词
- python 中生成随机数(random)
- AIDL
- 锁的种类,阻塞,死锁产生与解决办法。
- HDP学习--YARN Component Failure
- iOS UITableView禁止回弹
- WX-视图层
- javaScript中window对象的方法和属性
- WindowManager.LayoutParams的type属性
- Java8的一些总结
- iOS--在应用内切换语言
- [FUNC]SpecialFolder
- 关于在浏览器中输入URl地址中含有中文的解决(乱码)