WINDOWS 配置HADOOP遇到的几个问题

来源:互联网 发布:淘宝的二手电脑怎么样 编辑:程序博客网 时间:2024/05/29 04:53

具体配置的方法网上很多,不写了。实际操作中遇到了几个问题,虽然不大但遇到可能会卡得难受。

1. Hadoop 毕竟是LINUX的东西,所以安装目录(包括JDK) 都别用太特别的字符或者空格;


2. CreateSymbolicLink error (1314): A required privilege is not held by the client.

Windows 的执行权限问题,望这方面找就对了。

网上找到的具体解决办法:

1.open Local Group Policy (press Win+R to open "Run..." - type gpedit.msc)
2.expand "Computer Configuration" - "Windows Settings" - "Security Settings" - "Local Policies" - "User Rights Assignment" 
3.find "Create symbolic links" on the right, and see whether your user is included. If not, add your user into it.
4.this will come in effect after logging in next time, so log out and log in.


2. Java.lang.IllegalArgumentException: Does not contain a valid host :port 

配置的HOST:PORT 错误,通常是配置问题中的配置出错,但我这次碰到的是由于主机名有‘_’,而Hadoop认为这是非法的,去掉就好了。这种问题只能平时积累了。


4. An internal error occurred during: "Map/Reduce location status updater". (Eclipse配置插件出错

先得在ERR LOG中确定是什么错,只找表面提示会出来各种答案。。。

我这遇到的是空指针异常(java.lang.NullPointerException),也就是调用的对象找不到。网上查的问题是先要建输入输出文件夹,但其实我是wordcount运行成功再反过来配置插件的,理论上不存在这个问题。

多次实验才发现,插件配置后,不是点那个小三角就能用的,得新建Map/Reduce Project,这点感觉毕竟不是Eclipse 官方插件,可能不太完善。(不确定是不是我这个版本才这样,我用的是hadoop 2.7.3)


总结:处理问题先好好理解ISSUE说的是什么,这是最重要的信息,再有的放矢得去寻找答案。


原创粉丝点击