学习Hadoop所遇到的问题集

来源：互联网发布：linux jobs 不显示编辑：程序博客网时间：2024/05/16 09:06

1.搭建伪分布式出现的问题，Namenode或者datanode无法启动

core-site.xml 配置如下

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>          <name>fs.default.name</name>          <value>hdfs://192.168.1.109:9000</value>      </property> <property>          <name>hadoop.tmp.dir</name>          <value>/home/administrator/hadooptmp</value>      </property> </configuration>

hdfs-site.xml 配置如下:

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>          <name>dfs.replication</name>          <value>1</value>      </property>  <property>          <name>dfs.name.dir</name>          <value>/home/administrator/dfs/name</value>      </property> <property>          <name>dfs.data.dir</name>          <value>/home/administrator/dfs/data</value>      </property> </configuration>

map-red.xml 配置如下：

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>          <name>mapred.job.tracker</name>          <value>192.168.1.109:9001</value>      </property>  </configuration>

解决方法: 不要自己建文件夹dfs/name-data 格式化时hadoop会自动建立的这样就不出错了

2.rmr: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /user/administrator/in. Name node is in safe mode.

删除文件出错：请执行如下退出安全模式

administrator@ubuntu:~/Hadoop/hadoop-1.2.1/bin$ ./hadoop dfsadmin -safemode leave

3.org.apache.hadoop.security.AccessControlException: Permission denied: user=

这个错误，通常是权限错误。。

我用的hadoop1.2.1版本的在ubuntu上搭建的伪分布式环境

然后在window7上进行操作，代码如下

package hdfs;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class App1 {public static final String HDFS_PATH="hdfs://192.168.1.109:9000/";/** * @param args * @throws Exception  */public static void main(String[] args) throws Exception {// TODO Auto-generated method stubFileSystem fs=FileSystem.get(new URI(HDFS_PATH),new Configuration());fs.mkdirs(new Path("/AppHello"));}}

解决方法：上ubuntu上修改hdfs-core.xml

加上这么一段

<property><name>dfs.permissions</name><value>false</value></property>

0 0