CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法
来源:互联网 发布:软件项目评审表模板 编辑:程序博客网 时间:2024/06/04 18:08
一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。
RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。
而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。于是参考一些文章作了调整:
- # for hadoop , disable thp
- echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
- echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
作用非常明显:
效果很明显,大概12:05分的时候操作的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。
除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。
原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。
转自:http://os.51cto.com/art/201406/442499.htm
0 0
- CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法
- 关于CentOS 6下Hadoop占用系统态CPU高的处理办法
- Hadoop集群占用系统态Cpu较高问题解决
- Oracle 占用cpu过高的处理办法
- Oracle 占用cpu过高的处理办法
- CentOS系统下的Hadoop集群(第2期)_机器信息分布表
- CentOS系统下的Hadoop集群(第2期)_机器信息分布表
- centos下hadoop的安装
- CentOS下Hadoop的搭建
- centos中分析java占用大量CPU资源的原因
- centos中分析java占用大量CPU资源的原因
- centos 系统下 hadoop SSH配置
- mysql用户下的perl命令占用cpu高,导致系统运行缓慢
- CentOS系统下的Hadoop集群(第6期)_WordCount运行详解
- CentOS系统下的Hadoop集群(第6期)_WordCount运行详解
- Centos 下查看服务器CPU的信息
- CentOS系统端口占用解决
- 关于mysql的cpu占用高的问题
- c#第三章课后作业3
- angualr使用技巧
- RxJava之入门详解
- Linux设备驱动程序加载/卸载方法汇总
- Cookie/Session机制详解
- CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法
- POJ 1258Agri-Net(最小生成树)
- 如何强制ffmpeg编码时输出一个关键帧
- Linux编程VIM编辑器的命令模式
- android去掉滑动到顶部和底部的阴影
- coredata学习总结(十四)
- MySQL自定义函数
- 实用的正则
- LeetCode 448. Find All Numbers Disappeared in an Array