两条常用的Hadoop配置技巧

来源:互联网 发布:java中的sleep函数 编辑:程序博客网 时间:2024/05/29 03:20

1、如果将Hadoop配置成伪分布模式,则Hadoop会将各种信息存入\tmp目录中,所以当系统重启之后,这些信息会丢失,使得用户不得不重新执行hadoop namenode -format命      令。为了避免这种情况,可以在hdfs-site.xml文件中添加一个属性,属性名为dfs.name.dir,值为你想存的目录,只要不存在\tmp下,就不会遇到每次重启之后元数据丢失的情       况


2、如果在执行一次hadoop namenode -format命令之后再次执行该命令,可能会导致该命令无法成功执行,并且数据节点无法启动的现象。这往往是由第一次格式化后存储的元         数据信息仍然保留所致。所以,如果你没有指定dfs.name.dir属性的值的话,只需要将\tmp\hadoop-${你的用户名}\hdfs\下的data目录删除即可解决该问题。如果你指定                  了dfs.name.dir属性的话,那么只要在相应的目录下寻找data目录,并且删除即可

原创粉丝点击