如何配置eclipse访问虚拟机进行hadoop编程

来源:互联网 发布:java多行注释快捷键 编辑:程序博客网 时间:2024/06/05 23:00
  最近研究了一下HADOOP,所以在LINUX上做一些配置后想测试编程,由于之前一直都用eclipse编写JAVA,所以研究了一下如何配置eclipse访问虚拟机进行编程,现将方法共享一下,(注:我用的是hadoop2.7.3,linux用的的是乌班图)

1.配置篇
1.1将hadoop-eclipse-plugin-2.7.3.jar放入D:\eclipse\plugins

1.2将在虚拟机里面配置好的hadoop-2.7.3复制出来放到主机上,比如D:\hadoop2.7.3
然后在eclipse->window->perferences->Hadoop Map/Reduce,右侧选中上面的位置(D:\hadoop2.7.3),
之后eclipse就会出现DFS Location位置
注意1:下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录
注意2:下载hadoop.dll,并拷贝到c:\windows\system32目录中
注意3:将hadoop的环境变量也配置到主机上,与虚拟机上一样

1.3设置与虚拟机的连接
window->Show View->MapReduce Tools->Map/Reduce Locations
在下面的控制台位置,设置连接就可以了

2.编程篇
新建项目后,加入hadoop的jar包(自己在hadoop里面找),下面是实现一个下载
Configuration conf = new Configuration();
FileSystem fileSystem = FileSystem.get(conf);
Path path = new Path(“/test.txt”);//不要用绝对路径hdfs:192.168.18.134:9000/test.txt
FSDataInputStream fsio= fileSystem.open(path);
//System.out.println(fsio.available());//用于测试是否找到文件了

FileOutputStream os = new FileOutputStream(new File("d:/a.txt"));IOUtils.copy(fsio, os);

以上便是在Windows电脑上用虚拟机装hadoop,eclipse实现编程的操作