如何配置eclipse访问虚拟机进行hadoop编程
来源:互联网 发布:java多行注释快捷键 编辑:程序博客网 时间:2024/06/05 23:00
最近研究了一下HADOOP,所以在LINUX上做一些配置后想测试编程,由于之前一直都用eclipse编写JAVA,所以研究了一下如何配置eclipse访问虚拟机进行编程,现将方法共享一下,(注:我用的是hadoop2.7.3,linux用的的是乌班图)
1.配置篇
1.1将hadoop-eclipse-plugin-2.7.3.jar放入D:\eclipse\plugins
1.2将在虚拟机里面配置好的hadoop-2.7.3复制出来放到主机上,比如D:\hadoop2.7.3
然后在eclipse->window->perferences->Hadoop Map/Reduce,右侧选中上面的位置(D:\hadoop2.7.3),
之后eclipse就会出现DFS Location位置
注意1:下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录
注意2:下载hadoop.dll,并拷贝到c:\windows\system32目录中
注意3:将hadoop的环境变量也配置到主机上,与虚拟机上一样
1.3设置与虚拟机的连接
window->Show View->MapReduce Tools->Map/Reduce Locations
在下面的控制台位置,设置连接就可以了
2.编程篇
新建项目后,加入hadoop的jar包(自己在hadoop里面找),下面是实现一个下载
Configuration conf = new Configuration();
FileSystem fileSystem = FileSystem.get(conf);
Path path = new Path(“/test.txt”);//不要用绝对路径hdfs:192.168.18.134:9000/test.txt
FSDataInputStream fsio= fileSystem.open(path);
//System.out.println(fsio.available());//用于测试是否找到文件了
FileOutputStream os = new FileOutputStream(new File("d:/a.txt"));IOUtils.copy(fsio, os);
以上便是在Windows电脑上用虚拟机装hadoop,eclipse实现编程的操作
- 如何配置eclipse访问虚拟机进行hadoop编程
- Win 7 eclipse访问虚拟机上hadoop
- 本地Eclipse访问虚拟机Hadoop需要注意的几点
- hadoop的配置以及Eclipse编程
- 华为S9306 如何进行访问控制配置
- 如何配置Eclipse进行Perl开发
- 虚拟机中如何进行正确的网络配置
- Windows下的Eclipse访问虚拟机的Hadoop的一些注意事项
- Hadoop虚拟机,Eclipse设置…
- 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试
- 文件访问权限详解(eclipse和studio如何访问虚拟机内部的存储内容)
- CloudStack如何进行RDP(远程桌面)访问,如何登陆系统虚拟机
- eclipse配置hadoop 启动hadoop
- windows上使用eclipse远程连接hadoop进行程序开发没有权限访问问题
- windows上使用eclipse远程连接hadoop进行程序开发没有权限访问问题
- 安装配置Hadoop虚拟机集群
- (二)hadoop配置虚拟机环境
- hadoop在虚拟机中的配置
- C++函数重定义、重载、重写
- 百练_2695:最大商
- struts2文件下载方法一
- js判断类型--数组为例
- 前端表单验证常用的15个JS正则表达式
- 如何配置eclipse访问虚拟机进行hadoop编程
- Json 在线调试工具
- 清除浮动
- 解决hashmap线程啊安全问题的三个解决方案
- SetCallAsFunctionHandler
- Android学习之layer-list
- nodejs 之文件上传
- Spark UI在虚拟机中可以打开,但是在宿主机上无法访问
- Android常用工具类之SD卡相关的辅助类