Hadoop平台关闭THP解决服务器高负载问题
来源:互联网 发布:小学语文同步软件 编辑:程序博客网 时间:2024/06/05 05:26
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,
原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。
而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。
http://www.cloudera.com/content/www/en-us/documentation/archive/cdh/4-x/4-2-2/CDH4-Installation-Guide/cdh4ig_topic_11_6.html
于是参考一些文章作了调整:
#关闭 THP(Transparent HugePages )
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
作用非常明显:
效果很明显,红色框中是调整后的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。
除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”
(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。
原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。
如果你是hadoop群集管理者,建议关闭THP,在看看服务器的负载是不是降低很多。
重启后会恢复到原来的状态,需要设置:
vi /etc/rc.local
增加
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
这样重启后也就自动修改了。
原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。
而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。
http://www.cloudera.com/content/www/en-us/documentation/archive/cdh/4-x/4-2-2/CDH4-Installation-Guide/cdh4ig_topic_11_6.html
于是参考一些文章作了调整:
#关闭 THP(Transparent HugePages )
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
作用非常明显:
效果很明显,红色框中是调整后的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。
除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”
(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。
原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。
如果你是hadoop群集管理者,建议关闭THP,在看看服务器的负载是不是降低很多。
重启后会恢复到原来的状态,需要设置:
vi /etc/rc.local
增加
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
这样重启后也就自动修改了。
阅读全文
0 0
- Hadoop平台关闭THP解决服务器高负载问题
- Hadoop平台关闭THP解决服务器高负载问题
- Hadoop平台关闭THP解决服务器高负载问题
- Hadoop集群优化-关闭THP
- ubuntu关闭THP
- 定位Linux服务器负载高问题
- 解决服务器问题的数据库负载均衡
- 解决游戏服务器负载上限问题
- hadoop集群负载高导致的flume问题
- hadoop 平台解决datanode无法启动问题
- linux服务器负载高
- THP Transparent HugePages 相关知识与关闭
- 网站访问慢,服务器负载高-系列查找问题方法
- PHP处理服务器session问题导致的高负载
- 闲话中小型网络平台如何解决负载问题入门
- 一致性hash算法解决服务器负载均衡问题
- nginx高负载均衡服务器
- 高负载高并发服务器开发参考
- cocos2dx-js模块加载
- 给定一个正整数n,找到比n小的完美平方数相加和等于n的最小数目。
- c语言经典例题2
- 文章标题
- Redis之内存分析
- Hadoop平台关闭THP解决服务器高负载问题
- 1040. 有几个PAT(25)--Python
- ps-遇到的小问题
- 中间人模式
- PCA(principal component analysis) 挖掘葡萄酒质量数据中的潜在变量
- 关于ARM linux 挂载NTFS格式设备文件
- 一名打字员的日常
- VMware中不小心关掉虚拟机,在页面中找不到该虚拟机,要找回的方法
- win10系统下打开VMware出现Insufficient permission to access file解决办法