hadoop开发环境搭建时出现的一些问题

来源:互联网 发布:stl stack源码 编辑:程序博客网 时间:2024/05/16 11:12

hadoop开发环境搭建时出现的一些问题





一、向eclipse添加hadoop插件时,将插件贝到plugs文件夹下却不起作用。



解决方法

尝试将hadoop插件拷贝到dropins文件夹下,是否能解决问题。





二、在启动Hadoop时,出现Hadoop-daemon.sh权限不足的问题。


原因:

进入其所指的hadoop-1.0.1目录下,使用命令:ll -d hadoop-1.0.1


发现这个文件的用户为root用户下的为只读(这大部分是由于之前用root用户进入过Hadoop,导致root用户将其改为默认的root

限。)

解决方法

使用命令:chown  hewei:hewei  hadoop-1.0.1 (其中用户名视自己情况而定)将权限改为用户可读写权限。





三、ubuntu每次重启都会格式化/tmp中的信息,而namenode的格式化信息是存在/tmp下,所以每次启


动都要重新格式化。


解决方法:

mkdir  /home/hewei/Hadoop/hadoop-1.0.1/tmp (我的用户是hewei)

conf/core-site.xml增加

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hewei/Hadoop/hadoop-1.0.1/tmp</value>

    <description>Abase for other temporary directories</description>

</property>

修改完成后,格式化:./hadoop  namenode  -format

重启,不需要格式化。




四、启动hadoop时,出现错误:JAVA_HOME  is not set.



1.检查本地/etc/profile中的JAVA_HOME是否配置正确;



2.检查hadoop配置文件hadoop-env.sh文件中的JAVA_HOME否配置正确;



3.检查hadoop配置文件hadoop-env.sh中   export      JAVA_HOME=“”前的“#”有没有去掉。




、启动hadoop后,上传/创建文件时出现错误:Namenode is in safe mode.


原因:


此时namenode在安全模式下。


什么是安全模式:


在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修

改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必

要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安

全模式不允许修改的出错提示,只需要等待一会儿即可。


解决方法:

使用命令:./hadoop dfsadmin -safemode leave 离开安全模式。


安全模式的一些操作:

./hadoop dfsadmin -safemode enter -进入安全模式


./hadoop dfsadmin -safemode leave -强制NameNode离开安全模式


./hadoop dfsadmin -safemode get -
返回安全模式是否开启的信息


./hadoop dfsadmin -safemode wait -等待,一直到安全模式结束。


1 0