本地Eclipse访问虚拟机Hadoop需要注意的几点

来源:互联网 发布:局域网电话软件 编辑:程序博客网 时间:2024/05/17 03:27

1. 本地Eclipse连接到虚拟机Hadoop的配置:

伪分布式时,core-site.xml中的配置不要使用localhost, 使用虚拟机的IP地址;同时在eclipse程序中,在configuration中设置fs.defaultFS的值是core-site.xml中对应的配置;


2. Failed to locate the winutils binary in the hadoop binary path错误处置:

在本地Eclipse执行程序时,会遇到错误Failed to locate the winutils binary in the hadoop binary path,如果不怕麻烦可以自己编译winutils.exe,也可以忽略这个错误,不影响程序继续执行的;


3. IP地址在虚拟机待机重新激活后变化处置:

不知道为什么,每次虚拟机待机重新激活后IP地址就会变化,这样导致eclipse程序无法连接,解决办法就是把虚拟机的network重启,因为我用的是Ubuntu,重启命令是sudo service network-manager restart;


4. 通过本地想hadoop写文件时的默认写入目录:

默认情况下,hadoop程序的写入目录是/user/[username]/[filename];我在通过eclipse向虚拟机hadoop写入的时候,虚拟机的hadoop是安装在用户hadoop下面,可是写入后通过hdfs://[ip]:50070/去查看写入的文件时,发现目录不是/user/hadoop/;纳闷了好一阵,以为是在hadoop在里面有配置,可以找了好一阵也没有找到,后来明白了,因为我是从本地eclipse去写入的,所以username是我登录本机的当前用户的名字,而不是虚拟机登录的用户名。