Hadoop环境搭建过程中的的问题以及解决方案

Hadoop问题以及解决方案:

1.使用Hadoop版本是Hadoop2.7.3，必须使用JDK1.6版本以上，所以这里使用的是JDK1.8，如果JDK版本低于1.6，启动Hadoop时候会报错。

 

2.配置JDK环境变量时候，有时候当前终端使用java/javac -version可以显示当前java版本，但是切换终端时候，再次输入Java/javac -version时候，不出来java版本，说明安装的JDK的优先级太低，使用命令sudo update-alternatives --install /usr/bin/java java /home/shu/soft/jdk1.8.0_101/bin/java 1000更新Java/Javac的优先级。

 

3.安装SSH时候，如果出现一直需要输入用户密码的，说明无密码登陆失败，或者在启动HDFS时候，需要输入密码的，也属于SSH无密码登陆失败，删除.ssh文件，重新ssh-keygen -t rsa 生成ssh，然后退出到~目录使用ssh localhost，再将公钥加入到authorized_keys中去。

 

4.配置core-site.xml时候，有一个属性是hadoop临时目录用来存放namenode临时文件的， <value>file:/hadoop/hadoop-2.7.3/tmp</value>这个目录必须预先手工创建并且不能删除，如果不手动创建，Hadoop将自动使用临时的文件作为tmp，当下次启动的时候再重新创建，启动就会报错。

 

5配置 hdfs-site.xml时候， <name>dfs.replication</name> //备份数设置为1，备份数不能大于从机数目，这里从机只有一个，值就设置为1，默认值是3，所以值用3启动HDFS时候会报错。

 

6配置hdfs-site.xml，有一个是配置HDFS的data目录和name目录，这两个目录一定要指定，若不自定义目录，HDFS重启，则需要format，这里在启动的时候，会报出不能创建data和name文件夹，报创建文件夹权限不足，说明前面的用户赋予权限的时候有问题，可以直接将整个Hadoop文件的所有文件的用户与用户组更改为当前用户，这样就不会有错了。

 

7.bin/hdfs namenode -format 成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错，报错可以去logs下面找到log查看，可以看到每个节点启动的时候的具体的错误信息。

 

8.主机重新启动后，不需要重新format，多次format会造成ID不一致，启动不了HDFS，遇到这样的情况，可以将logs下面的所有文件删除，还有tmp下面的data和name中的所有文件删除，然后重新format。

 To be continue..........