Could not locate executable null\bin\winutils.exe in the Hadoop binaries
来源:互联网 发布:oop面向对象 js 编辑:程序博客网 时间:2024/06/05 04:01
文章来自http://www.aboutyun.com/thread-8030-1-1.html
问题导读:
1.建一个MapReduce Project,运行时发现出问题:Could not locate executable null,该如何解决?2.Could not locate executabl ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.该如何解决?
1.创建一个MapReduce Project,运行时发现出问题了。
跟代码就去发现是HADOOP_HOME的问题。如果HADOOP_HOME为空,必然fullExeName为null\bin\winutils.exe。解决方法很简单啦,乖乖的配置环境变量吧,不想重启电脑可以在MapReduce程序里加上System.setProperty("hadoop.home.dir", "...");暂时缓缓。org.apache.hadoop.util.Shell.java
2.这个时候得到完整的地址fullExeName,我机器上是D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe。继续执行代码又发现了错误
就去一看,没有winutils.exe这个东西。去https://github.com/srccodes/hadoop-common-2.2.0-bin下载一个,放就去即可。
3.继续出问题
继续跟代码org.apache.hadoop.util.Shell.java
cmdWithFile数组的内容为{"D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe", "chmod", "755", "xxxfile"},我把这个单独在cmd里执行了一下,发现
那就下载一个呗http://files.cnblogs.com/sirkevin/msvcr100.rar,丢到C:\Windows\System32里面。再次cmd执行,又来了问题
下载http://blog.csdn.net/vbcom/article/details/7245186 DirectX_Repair来解决这个问题吧。记得修复完后要重启电脑。搞定后cmd试一下,很棒。
4.到了这里,已经看到曙光了,但问题又来了
代码就去
显然缺少dll文件,还记得https://github.com/srccodes/hadoop-common-2.2.0-bin下载的东西吧,里面就有hadoop.dll,最好的方法就是用hadoop-common-2.2.0-bin-master/bin目录替换本地hadoop的bin目录,并在环境变量里配置PATH=HADOOP_HOME/bin,重启电脑。
1.下载地址
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)
注意的问题:
环境变量一定配置正确,否则还是不能运行
PATH=HADOOP_HOME/bin,如果这个不行,可以换成绝对路径
5.终于看到了MapReduce的正确输出output99。
总结
- hadoop eclipse插件不是必须的,其作用在我看来就是如下三点(这个是一个错误的认识,具体请参考http://zy19982004.iteye.com/blog/2031172)。study-hadoop是一个普通project,直接运行(不通过Run on Hadoop这只大象),一样可以调试到MapReduce。
- 对hadoop中的文件可视化。
- 创建MapReduce Project时帮你引入依赖的jar。
- Configuration conf = new Configuration();时就已经包含了所有的配置信息。
- 还是自己下载hadoop2.2的源码编译好,应该是不会有任何问题的(没有亲测)。
六. 其它问题
- 还是
代码跟到org.apache.hadoop.util.NativeCodeLoader.java去看
这里报错如下
怀疑是32位jdk的问题,替换成64位后,没问题了
这里也解决了一个常见的警告
0 0
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- [Spark]Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
- MFC 可不可以用CTime 代替 COleDataTIme?
- wpf下实现图片的放大缩小和平移
- Android 深入理解Android中的自定义属性
- 2015 编程之美 八卦的小冰
- PageOffice的一些其他功能
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries
- 第18题:类似约瑟夫问题
- 在win7 X64上配置Unix V6++
- php关于定义方法的一种思路
- 解决Maven中OutOfMemory错误
- linux mount 详解
- 黑马程序员----交通灯管理系统
- 数据结构串的实现以及KMP改进算法
- cheat