Hadoop常见异常处理

Datanode无法启动

java.io.IOException: Incompatible clusterIDs in /home/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693;  datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3d

从日志上说明了问题
datanode的clusterID 和 namenode的clusterID 不匹配。

解决办法:

根据日志中的路径，cd /home/hadoop/tmp/dfs

能看到 data和name两个文件夹，

将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID

让两个保持一致

然后重启，启动后执行jps，查看进程
20131 SecondaryNameNode
20449 NodeManager
19776 NameNode
21123 Jps
19918 DataNode
20305 ResourceManager

---

mapreduce.task.io.sort.mb无效

java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 4096

解决：
这个参数的值设置的过大了，不能超过2047，注意单位是mb

---

Permission denied

Permission denied: user=liguodong, access=WRITE, inode=”/liguodong”:hdfs:hdfs:rwxr-xr-x

解决方法：
方式一

<property>        <name>dfs.permissions</name>        <value>false</value></property>

方式二
su hdfs
bash-4.1$ hdfs dfs -chmod -R 777 /liguodong

---

Could not locate executable null\bin\winutils.exe

hadoop源码

public static final String getQualifiedBinPath(String executable)   throws IOException {    // construct hadoop bin path to the specified executable    String fullExeName = HADOOP_HOME_DIR + File.separator + "bin"      + File.separator + executable;    File exeFile = new File(fullExeName);    if (!exeFile.exists()) {      throw new IOException("Could not locate executable " + fullExeName        + " in the Hadoop binaries.");    }    return exeFile.getCanonicalPath();  }private static String HADOOP_HOME_DIR = checkHadoopHome();private static String checkHadoopHome() {    // first check the Dflag hadoop.home.dir with JVM scope    String home = System.getProperty("hadoop.home.dir");    // fall back to the system/user-global env variable    if (home == null) {      home = System.getenv("HADOOP_HOME");    }     ...}

如果HADOOP_HOME为空，必然fullExeName为null\bin\winutils.exe。
解决方法很简单。
1、下载winutils.exe（http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe）
2、配置环境变量(HADOOP_HOME=E:\install\hadoop-2.6.0)，不想重启电脑可以在程序里加上：

System.setProperty("hadoop.home.dir", "E:\install\hadoop-2.6.0");