系统重启后,需要重新格式化HDFS问题解决方案
来源:互联网 发布:扣分清零淘宝 编辑:程序博客网 时间:2024/05/21 13:57
每次系统(ubuntu12.04)进行重启后,发现之前HDFS的格式化都失效了。
启动hadoop,
执行 ps -ef | grep hadoop
就会发现 namenode节点没有起来
我使用伪分布配置启动。执行如下命令,查看默认的8020端口也没有起来
netstat -nap|grep 8020或者lsof -i:8020
观察hadoop namenode -format的启动日志,发现了如下日志:
14/12/22 09:11:47 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
也就是说namenode节点的存储路径是默认路径
默认路径在系统进行重启后会被清理,所有之前的格式化就失效了。
解决方案:
在core-site.xml增加临时目录配置
<property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property>
关闭hadoop ,重新执行hadoop namenode -format
出现如下日志就表明OK了:
14/12/22 09:19:22 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.
0 0
- 系统重启后,需要重新格式化HDFS问题解决方案
- Hadoop之——重新格式化HDFS的方案
- hadoop重启虚机后hdfs中数据丢失,需要重新格式化问题
- Hadoop之——重新格式化hdfs系统的方法
- 重新格式化HDFS的方法
- 重新格式化HDFS的方法
- 重新格式化HDFS的方法
- 重新格式化HDFS的方法
- 重新格式化HDFS的方法
- 重新格式化HDFS的方法
- HDFS小文件问题解决方案
- dll重新编译问题解决方案
- (2)Hadoop重新格式化HDFS的方法
- JEECG系统问题解决方案
- 数据库连接断开后重新连接问题解决方案
- 一些系统相关问题解决方案
- “格式化HDFS后,HMaster进程启动失败”的问题解决
- hadoop 如何重新格式化dfs系统
- ActiveX数据对象之事务控制在VB和DELPHI中的应用
- 03base_syntax
- C++中三种正则表达式比较(C regex,C ++regex,boost regex)
- java 定时任务
- FastDFS原理系列文章
- 系统重启后,需要重新格式化HDFS问题解决方案
- Maven by Example 1.3. A Common Interface
- Linux及Arm-Linux程序开发笔记(零基础入门篇)
- mysql server 5.7 新建数据库连接报错(10061)
- 第17周项目4-日期结构体(2)生日差几天
- java中的Buffer抽象类
- 恩布企业IM 1.8 版本,企业内部通讯软件
- fd_set具体是怎样实现的
- BZOJ 3529 SDOI2014 数表 莫比乌斯反演+树状数组