Hadoop(六)--->核心设计

来源:互联网 发布:linux查看指定进程 编辑:程序博客网 时间:2024/06/06 09:06

1、安全模式(safemode)
NameNode在启动时自动进入安全模式,也可手动操作,当在安全模式时,会检查数据完整性。
命令:
hadoop dfsadmin -safemode leave 强制退出
enter 进入
get 查看
wait 等待直到结束
2、负载均衡
机器之间磁盘利用率不平衡,尤其是DataNode故障或增加新的时,分析数据块分布和重新均衡DataNode的数据分布工具:
/sbin/start-balancer.sh

3、心跳机制heart beat
持续的按照一定频率在运行、实现:
(1)Hadoop是,master/slave结构,master有NameNode、ResourceManager,slave有DataNode和NodeManager
(2)master启动时,会启动一个IPC Server服务,等待slave的连接
(3)slave启动时,会主动连接master中的服务,三秒一次
(4)NameNode通过心跳得知DataNode的状态,ResourceManager由此知道NodeManager的状态
(5)如果 master长时间没有收到心跳,就觉得slave宕机了

4、数据副本存放策略

5、机架感知
大型Hadoop以机架形式来组织,默认不启动,启动在NameNode所在机的core-site.xml设置

topolpgy.script.file.name
/path/to/script

常用命令
hadoop fs -cat
-rm
-copyToLocal
-put
-copyFromLocal
-mkdir

原创粉丝点击