hdfs性能调优
来源:互联网 发布:软件英文名称 编辑:程序博客网 时间:2024/05/23 17:01
参照官方文档:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html
1)对YARN调优:
我们实际是2颗CPU,一共24核心数,上面的服务用掉了5核,还剩下24-5=19核心
我们实际的64G的内存,64-1-1-(64*20%)=49G
修改YARN的配置页面,按照上面的算法修改配置参数:
修改参数过后需要重启集群
2)对系统优化:
File System:
Linux文件系统中为了保证root能够登录到操作系统中,需要保留一定的磁盘空间,默认这个值设置为5%。但是当前磁盘空间都是TB级别的,因此保留5%就会造成一大部分空间的浪费,对于一块4TB来说就是200G。
下面的命令可以将保留磁盘空间的容量设置成1%:
tune2fs –m 1 /dev/sdaX
12块硬盘增加noatime的参数:
/dev/sda1 /data1 ext4 defaults,noatime 0 0
修改完设置后需要重新挂载文件系统,不需要重启。
mount -o remount /dev/sdX1
转载:http://blog.csdn.net/jdzms23/article/details/44495167
0 0
- hdfs性能调优
- hdfs性能调优
- HDFS性能瓶颈分析
- HDFS APPEND性能测试
- HDFS性能优化
- HDFS性能压测工具
- hdfs+yarn 参数调优
- HDFS性能压测工具浅析
- 【网站高性能 2】----RAID vs HDFS
- HDFS性能测试及优化部署
- Bash监控Logstash写入HDFS性能脚本
- HDFS
- HDFS
- HDFS
- HDFS
- HDFS
- HDFS
- HDFS
- 分组背包问题:不超过N元钱
- poj3255
- NodeJS基本
- 自定义浏览器滚动条样式
- android启动第一个界面时即闪屏的核心代码(3种方式)
- hdfs性能调优
- Spring Security入门篇——标签sec:authorize的使用
- CentOS7下安装配置zookeeper集群
- get_object_vars
- 4.创建Testng测试工程
- 解决winform窗体闪烁问题
- Nginx发布1.9.0版本,新增支持TCP代理和负载均衡的stream模块
- 欢迎使用CSDN-markdown编辑器
- hdu5489(最长上升子序列变形)