hadoop性能调优
来源:互联网 发布:专业软件 编辑:程序博客网 时间:2024/05/22 04:27
1.平衡磁盘利用率
hadoop balancer -Threshold 20
或者
sh $HADOOP_HOME/bin/start-balancer.sh –t 20%
参数20是比例参数,表示20%,也就是平各个DataNode直接磁盘使用率偏差在20%以内。
threshold 默认设置:10,参数取值范围:0-100,参数含义:判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值 ,理论上,该参数设置的越小,整个集群就越平衡,但是在线上环境中,hadoop集群在进行balance时,还在并发的进行数据的写入和删除,所以有可能无法到达设定的平衡参数值。
2.杀掉hadoop正在运行的job
$hadoop job -list
$hadoop job -kill job_201212111628_11166
0 0
- hadoop性能调优
- Hadoop性能调优
- hadoop性能调优
- Hadoop性能调优
- hadoop性能调优
- Hadoop性能调优
- Hadoop性能调优
- Hadoop性能调优
- Hadoop性能调优
- Hadoop性能调优
- hadoop性能调优
- hadoop性能调优笔记
- hadoop性能调优笔记
- Hadoop性能调优总结
- hadoop 层面性能调优
- Hadoop MapReduce性能调优
- hadoop性能调优的一些笔记
- Hadoop性能调优(一)--总述
- IOS7 隐藏状态栏
- CIFS VFS: cifs_mount failed w/return code = -22错误
- My First Blog
- Nodejs学习笔记之express
- 【Java.JMS】指定JMS消息头中的JMSReplyTo
- hadoop性能调优
- 书可以提高一个人的情操
- JAVA 正则表达式 (超详细)
- android ant批量打包
- c++学习顺序 windows进阶
- Object Bean 转为 map
- 时钟重合问题
- Linux下音频设备的操作
- 关于jdbc注册驱动的那点事