运行hadoop程序,如何在map中获取输入数据的全路径(fullpath)
来源:互联网 发布:windows上pdf阅读器 编辑:程序博客网 时间:2024/06/06 17:51
可以利用override map函数的第三个参数。map函数如下:
public void map(LongWritable key, Text value, OutputCollector<Text, Text> output, Reporter reporter)
String path = ((FileSplit) reporter.getInputSplit()).getPath().toString();
即可取得全路径。
下面这个方法可以做文件选取:
public class Filter implements PathFilter {
public boolean accept(Path path) {
return !(path.toString().indexOf("abc") > -1);
}
}
jobConf.set("mapred.input.pathFilter.class", "Filter");
org.apache.hadoop.fs
Interface PathFilter
- All Known Implementing Classes:
- OutputLogFilter
public interface PathFilter
boolean
accept(Path path)
Tests whether or not the specified abstract pathname should be included in a pathname list.
accept
boolean accept(Path path)
- Tests whether or not the specified abstract pathname should be included in a pathname list.
- Parameters:
path
- The abstract pathname to be tested- Returns:
true
if and only ifpathname
should be included
- 运行hadoop程序,如何在map中获取输入数据的全路径(fullpath)
- 在Java程序中获取当前运行程序的路径
- 在Java程序中获取当前运行程序的路径
- MFC中获取程序运行的路径
- map中获取输入文件路径
- Hadoop中获取输入文件路径
- 在Linux程序中如何获得本进程的可执行文件的全路径?
- 在Linux程序中如何获得本进程的可执行文件的全路径
- 在Linux程序中如何获得本进程的可执行文件的全路径?
- 如何获取EditBox中输入的数据
- java 如何获取程序运行时的相对路径
- Java 如何获取程序运行时的相对路径
- java 如何获取程序运行时的相对路径
- 如何使编写的java程序在hadoop 2.2中运行的完整过程
- [无法计算项元数据“%(FullPath)” 无法将项元数据“%(FullPath)”应用于路径] 问题解决办法
- C# Winform程序如何获取运行路径
- linux 获取程序运行的运行路径
- 深度分析如何在Hadoop中控制Map的数量
- C# 高仿腾讯QQ (窗口区域大概框架已完成) (2)
- 【安装部署】vs2008安装部署工程制作教程(自定义安装界面)
- 使用smarty block功能自定义模板标签
- 《防灾自救手册--地震》
- ASP.NET WebForms and MVC together in one project
- 运行hadoop程序,如何在map中获取输入数据的全路径(fullpath)
- 中间件作业
- 基于Atom协议的数据接入规范
- webview example
- jquery基础(三)
- blockUI 在frameset中使用
- jstl函数库及自定义函数库
- oracle建库
- 掌握Ajax系列 第 2 部分: 使用 JavaScript 和 Ajax 发出异步请求