Hadoop(六)--->核心设计
来源:互联网 发布:linux查看指定进程 编辑:程序博客网 时间:2024/06/06 09:06
1、安全模式(safemode)
NameNode在启动时自动进入安全模式,也可手动操作,当在安全模式时,会检查数据完整性。
命令:
hadoop dfsadmin -safemode leave 强制退出
enter 进入
get 查看
wait 等待直到结束
2、负载均衡
机器之间磁盘利用率不平衡,尤其是DataNode故障或增加新的时,分析数据块分布和重新均衡DataNode的数据分布工具:
/sbin/start-balancer.sh
3、心跳机制heart beat
持续的按照一定频率在运行、实现:
(1)Hadoop是,master/slave结构,master有NameNode、ResourceManager,slave有DataNode和NodeManager
(2)master启动时,会启动一个IPC Server服务,等待slave的连接
(3)slave启动时,会主动连接master中的服务,三秒一次
(4)NameNode通过心跳得知DataNode的状态,ResourceManager由此知道NodeManager的状态
(5)如果 master长时间没有收到心跳,就觉得slave宕机了
4、数据副本存放策略
5、机架感知
大型Hadoop以机架形式来组织,默认不启动,启动在NameNode所在机的core-site.xml设置
topolpgy.script.file.name
/path/to/script
常用命令
hadoop fs -cat
-rm
-copyToLocal
-put
-copyFromLocal
-mkdir
- Hadoop(六)--->核心设计
- Hadoop的核心设计
- Hadoop核心之HDFS 架构设计
- Hadoop核心之MapReduce架构设计
- Hadoop核心之HDFS 架构设计
- Hadoop核心之HDFS 架构设计
- 核心Swing组件(六)
- Hadoop简介:Hadoop的应用场合及其核心设计
- 主题六 函数(C语言核心)----38.函数设计技巧
- 一步一步学习hadoop(六)
- hadoop之旅(六)
- hadoop源代码分析之:yarn的核心设计介绍
- python核心编程学习(六)
- Python核心编程学习笔记(六)
- Windows核心编程笔记(六) 线程
- 设计模式(六)
- Hadoop(HA)四个核心配置文件
- Hadoop 核心概念解析(转载)
- 仿QQ消息红点粘性效果
- HDU 1727 小希的迷宫 ( 并查集判断环
- java学习整理20170808
- Hibernate检索策略
- html之表单总结
- Hadoop(六)--->核心设计
- spring cloud config
- 利用Python进行数据分析(1)—— Numpy Basic(1)
- java中的方法参数传递机制---值传递
- php文件锁的使用
- HDU 1325 Is It A Tree? ( 有向图判断环
- HDU1005(2)
- Hibernate批量抓取
- ITIL 2011 服务管理与认证读书笔记——第五章 服务转换