Hadoop--学习笔记 在Eclipse中操作远程hdfs文件
来源:互联网 发布:高性能网络编程 二 编辑:程序博客网 时间:2024/05/22 00:20
最近在学习Hadoop,总结两点:
1.在运行Mapreduce程序时,设置程序操作hdfs目录而不是本地目录
2.在运行Mapreduce程序时,每次运行程序前都要删除输出目录下文件名相同的文件,不然就会提示“Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:8020/output/heyu1 already exists”的错误,在网上找了半天也没找到好的解决办法,最后在看《Hadoop实战》时发现源程序里有个类FileSystem,于是尝试了一下果然成功了。
添加代码如下
//设置操作文件地址为 hdfs 的地址FileSystem.setDefaultUri(conf, "hdfs://localhost:8020");FileSystem fs = FileSystem.get(conf);//如果输出目录存在则删除fs.delete(new Path("/output/heyu1"), true);FileOutputFormat.setOutputPath(conf, new Path("/output/heyu1"));
0 0
- Hadoop--学习笔记 在Eclipse中操作远程hdfs文件
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
- Hadoop上路_06-在Ubuntu中使用eclipse操作HDFS
- Hadoop学习笔记0002——HDFS文件操作
- hadoop学习笔记(HDFS的文件操作)
- eclipse + hadoop 远程文件操作中出现的问题
- hadoop学习笔记-java操作HDFS
- Hadoop学习8:hdfs文件操作
- Hadoop HDFS文件操作
- hadoop 在hdfs中读写文件
- [hadoop学习笔记] 之 eclipse插件操作hdfs出现的权限问题
- Eclipse远程操作hdfs常见问题
- hadoop-hdfs学习笔记
- 在类外部调用类的私有方法
- appcore.cpp ASSERT(AfxGetThread() == NULL);错误
- Words to remember
- 程序员在囧途之做私活小记
- sql跟踪方法相关介绍
- Hadoop--学习笔记 在Eclipse中操作远程hdfs文件
- POJ 3083 Children of the Candy Corn
- 二进制数据类型
- 阳光梦:nginx上搭建HLS流媒体服务器 (4)-参考
- Linked List Cycle II
- lua程序设计 28.2 Metatables userdata程序范例
- InfoPath的未来
- Visual C# 字体对话框 & 颜色对话框
- Linked List Cycle