Hadoop 参数调优

来源:互联网 发布:架子鼓app软件下载 编辑:程序博客网 时间:2024/06/06 20:14
一 HDFS调优 

二 YARN调优
1 Container简介
下面左图为Hadoop1,右图为Hadoop2
2 内存优化相关参数
3 CPU优化相关参数

三 MapReduce调优
1 MapReduce调优三原则
2 增大作业并行程度
3 给每个任务足够的资源相关调优参数
4 尽可能地给shuffle预留资源相关调优参数

四 参考
http://www.jikexueyuan.com/course/2365_3.html?ss=1
原创粉丝点击