优化Hadoop Balancer运行速度
来源:互联网 发布:linux怎么用vi写入内容 编辑:程序博客网 时间:2024/06/07 02:49
- 1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers
2.修改
3.修改dfs.datanode.balance.max.concurrent.moves = 50,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是5
如果配置没生效或者不合理的话,Balancer会有如下警告信息:
16/05/17 11:54:59 WARN balancer.Dispatcher: Failed to move blk_1075360746_1920035 with size=134217728 from 192.168.28.48:50010:DISK to 192.168.28.37:50010:DISK through 192.168.28.40:50010: Got error, status message opReplaceBlock BP-647596829-192.168.28.30-1448614319339:blk_1075360746_1920035 received exception java.io.IOException: Got error, status message Not able to copy block 1075360746 to /192.168.28.37:39630 because threads quota is exceeded., copy block BP-647596829-192.168.28.30-1448614319339:blk_1075360746_1920035 from /192.168.28.40:50010, block move is failed
Hadoop Balancer的步骤:
1、从namenode获取datanode磁盘的使用情况
2、计算需要把哪些数据移动到哪些节点
3、分别移动,完成后删除旧的block信息
4、循环执行,直到达到平衡标准
- 优化Hadoop Balancer运行速度
- Hadoop Balancer运行速度优化
- Hadoop Balancer运行速度优化
- 优化Hadoop Balancer平衡的速度
- hadoop balancer hbase balancer
- 提高Hadoop Balancer 迁移block速度的方法
- 优化Myeclipse运行速度
- myeclipse运行速度优化
- VS2010运行速度优化
- php运行速度优化
- VS2010 优化运行速度
- 漫谈Hadoop HDFS Balancer
- 论hadoop的balancer
- hadoop的balancer
- Hadoop Balancer源码解读
- Hadoop Balancer源码解读
- hadoop Balancer 流程
- Hadoop群集balancer说明
- 序列化和反序列化
- LeetCode 298. Binary Tree Longest Consecutive Sequence
- Android的Jack编译器试用
- 打开蓝牙和关闭蓝牙
- SQL行转列汇总
- 优化Hadoop Balancer运行速度
- SIM卡中UCS2编码的三种格式(80,81,82)分析
- CListCtrl 编辑子项
- fiddler 手机app抓包
- TableView的优化
- 代码 shape 背景颜色修改
- MySQL学习笔记之一
- GAMIT-TRACK的使用
- android运行时权限(Android Runtime Permission )