Hadoop namenode重新格式化需注意问题
来源:互联网 发布:修改php端口号 编辑:程序博客网 时间:2024/06/05 17:12
1、重新格式化意味着集群的数据会被全部删除,格式化前需考虑数据备份或转移问题;
2、先删除主节点(即namenode节点),Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 (注意是删除目录下的内容不是目录);
3、删除所有数据节点(即datanode节点) ,Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容;
4、格式化一个新的分布式文件系统:
- 1
- 1
注意
(1)Hadoop的临时存储目录tmp(即core-site.xml配置文件中的hadoop.tmp.dir属性,默认值是/tmp/hadoop-${user.name}),如果没有配置hadoop.tmp.dir属性,那么hadoop格式化时将会在/tmp目录下创建一个目录,例如在cloud用户下安装配置hadoop,那么Hadoop的临时存储目录就位于/tmp/hadoop-cloud目录下
(2)Hadoop的namenode元数据目录(即hdfs-site.xml配置文件中的dfs.namenode.name.dir属性,默认值是${hadoop.tmp.dir}/dfs/name),同样如果没有配置该属性,那么hadoop在格式化时将自行创建。必须注意的是在格式化前必须清楚所有子节点(即DataNode节点)dfs/name下的内容,否则在启动hadoop时子节点的守护进程会启动失败。这是由于,每一次format主节点namenode,dfs/name/current目录下的VERSION文件会产生新的clusterID、namespaceID。但是如果子节点的dfs/name/current仍存在,hadoop格式化时就不会重建该目录,因此形成子节点的clusterID、namespaceID与主节点(即namenode节点)的clusterID、namespaceID不一致。最终导致hadoop启动失败。
- Hadoop namenode重新格式化需注意问题
- Hadoop namenode重新格式化需注意问题
- Hadoop namenode重新格式化需注意问题
- Hadoop 重新格式化namenode
- hadoop namenode 格式化问题
- hadoop namenode 格式化问题
- hadoop格式化namenode问题
- hadoop namenode格式化问题汇总
- Hadoop 2.7.x NameNode重新格式化后导致DataNode无法启动问题
- hadoop namenode节点格式化注意的问题以及对hbase的影响
- 重新格式化NameNode
- hadoop格式化namenode失败
- Hadoop NameNode格式化
- Hadoop格式化namenode失败
- hadoop namenode 格式化出错
- hadoop2.2重新格式化namenode
- Hadoop 在格式化 namenode 时出现以下问题:
- Hadoop 在格式化 namenode 时出现以下问题
- linux 大杂烩
- 1617
- Ubuntu16.04 静态IP配置
- 大话设计模式,让你的代码更完美4---简单工厂模式和工厂方法模式
- linux安装tomcate
- Hadoop namenode重新格式化需注意问题
- IOS Swift语言开发 tableView的重用以及自cell的自适应高度
- struts和hibernate配置
- javaweb图片上传
- js+canvas绘制QQ下拉刷新贝塞尔曲线效果
- ISO12233:2014 eSFR分辨率测试卡使用方法
- html meta标签大全
- Kaggle 数据挖掘比赛经验分享
- unity中抽象函数事件BaseInputModule