hadoop运营管理岩机,坏块,负载均衡

来源:互联网 发布:电话外呼软件 编辑:程序博客网 时间:2024/05/16 16:59



我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。


1、Namenode岩机处理:重启集群无法恢复的情况下

Hadoop  job  -kill  job_201305091253_31926


2、坏Block解决方式

Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.
Safe mode will be turned off automatically.


状态始终在safe  mode模式
hadoop fsck / -delete 删除坏块

3、单机存储均衡解决办法

可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。


0 0
原创粉丝点击