hadoop2.6 每次重启linux 都必须重新format datanode的问题
来源:互联网 发布:怎么用模拟器登录淘宝 编辑:程序博客网 时间:2024/05/20 06:23
最近在看hadoop, 本机装的是伪分布模式。
但每次重启linux后,总需要执行hadoop namenode -format重新格式化namenode。
原因是:
HDFS把namenode的格式化信息存在了系统的tmp目录下,该目录每次开机会被清空,因此每次重新启动机器,都需要重新格式化HDFS。
如果之前已经往hdfs里放入了一些文件,这显然是不可接受的。
解决方案如下:
在你自己的家目录下创建 hadoop/tmp文件夹
在HADOOP_INSTALL/etc/hadoop/core-site.xml 的configure重新配置namenode的目录
即添加如下的property
<property> <name>hadoop.tmp.dir</name> <value>/home/(当前用户名)/hadoop_tmp</value> <description>A base for other temporary directories.</description></property>
如果出现下面的错误
java.io.IOException: Cannot create directory /* * * / * * */tmp/dfs/name/current
请检查你刚才新建的hadoop/tmp,是否正确分配了用户组与文件夹权限。
配置完成后,执行,hadoop namenode -format 重新格式化namenode
再重启linux,
start-dfs.sh
jps看看namenode是否启动起来。
hadoop fs -mkdir /test
hadoop fs -ls /
随便执行两个命令确认下hdfs是否正常使用。
参考:http://www.tuicool.com/articles/eAbuEvE
1 0
- hadoop2.6 每次重启linux 都必须重新format datanode的问题
- hadoop2.8 每次重启linux 都必须重新format datanode的问题
- c# 中对于每次修改的程序 都必须重新手动生成 才能编译的问题
- vs2015 vassistX 每次重启之后都要重新破解的解决办法
- 修改日期导致代码每次都重新编译的问题
- 解决每次打开Word都要重新配置的问题
- 每次打开Word都要重新配置的问题
- VS2005每次编译都重新编译问题
- VS2008每次build都重新编译问题
- 解决XP系统每次关机都自动重启问题
- 为什么每次重启机器后,namenode都启动不了,需要先hadoop namenode -format
- vc 每次都重新编译的原因
- hadoop2.7.3 datanode无法启动的问题
- hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题
- hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题
- 记录我的Express-session每次请求都重新生成session的问题
- 在VMware中安装ubuntu遇到每次开机都需要重新联网的问题
- [转]解决每次从cmd进入sqlplus,都得重新设置pagesize、linesize的问题
- 企业IT移动化方案:微信+OA!
- V4L2应用程序框架
- 设计模式(行为型)之备忘录模式(Memento Pattern)
- 关于ApplicationContextAware 的问题
- hello world
- hadoop2.6 每次重启linux 都必须重新format datanode的问题
- mongodb问题汇总和技术连接
- 密匙二
- Ubuntu15.x /CentOS 7.x 以后 设置开机启动,添加自定义系统服务,自定义开机启动
- C语言算法之老鼠走迷宫
- v4l2
- 好用原型設計軟體 Mockplus 免費畫互動 App 與網頁
- OA市场将爆发 未来几年空间无限
- JAVA之JTextField限制输入长度