hadoop递归实现列出所有文件
来源:互联网 发布:艾泰 网络尖兵防御 编辑:程序博客网 时间:2024/05/29 16:58
@Test
public void listFiles() throws Exception {
// listFiles列出的是文件信息,而且提供递归遍历
RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path(
"hdfs://hadoop0:9000/flow"), true);
while (files.hasNext()) {
LocatedFileStatus file = files.next();
Path filePath = file.getPath();
String fileName = filePath.getName();
System.out.println(fileName);
}
System.out.println("---------------------------------");
// listStatus 可以列出文件和文件夹的信息,但是不提供自带的递归遍历
FileStatus[] listStatus = fs.listStatus(new Path("/"));
recuersionFile(listStatus);
}
public void recuersionFile(FileStatus[] listStatus) throws Exception {
if (listStatus != null) {
for (FileStatus status : listStatus) {
if (status.isDirectory()) {
FileStatus[] listStatus2 = fs.listStatus(new Path(status.getPath().toString()));
recuersionFile(listStatus2);
}else{
String name = status.getPath().getName();
// System.out.println(status.getPath());
System.out.println("fileName: "+name);
}
}
}
}
public void listFiles() throws Exception {
// listFiles列出的是文件信息,而且提供递归遍历
RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path(
"hdfs://hadoop0:9000/flow"), true);
while (files.hasNext()) {
LocatedFileStatus file = files.next();
Path filePath = file.getPath();
String fileName = filePath.getName();
System.out.println(fileName);
}
System.out.println("---------------------------------");
// listStatus 可以列出文件和文件夹的信息,但是不提供自带的递归遍历
FileStatus[] listStatus = fs.listStatus(new Path("/"));
recuersionFile(listStatus);
}
public void recuersionFile(FileStatus[] listStatus) throws Exception {
if (listStatus != null) {
for (FileStatus status : listStatus) {
if (status.isDirectory()) {
FileStatus[] listStatus2 = fs.listStatus(new Path(status.getPath().toString()));
recuersionFile(listStatus2);
}else{
String name = status.getPath().getName();
// System.out.println(status.getPath());
System.out.println("fileName: "+name);
}
}
}
}
0 0
- hadoop递归实现列出所有文件
- hadoop 递归列出文件
- java:递归实现输出目录下所有的文件(列出目录下所有的文件)
- 递归列出目录下的所有文件
- 300.14 递归实现列出当前文件夹下的所有.java文件
- 递归列出所有文件和目录 (函数)
- 算法:递归列出一个目录下面的所有文件
- l列出目录下的所有文件(递归)
- 递归列出指定目录下的所有文件的绝对路径
- 递归列出指定目录下所有的符号链接文件
- 递归列出指定目录下所有的普通文件
- 递归列出目录中的所有文件,包括子文件夹
- hadoop 遍历hdfs文件夹列出其中所有的txt文件
- dir列出所有文件
- dir列出所有文件
- Java递归实现输入任意目录,列出文件以及文件夹
- Linux目录遍历实现 -- 列出当前目录下所有文件
- 列出目录下所有文件包括子目录的文件路径-采用递归方式
- Visual Studio 2015 英文菜单大小写字母切换
- 程序员学学智力题
- 文章标题
- C# 去除字符串首尾字符或字符串
- 将TXT文件数据存进Python内置数据库splite3
- hadoop递归实现列出所有文件
- MySQL/视图
- bzoj4602 [Sdoi2016]齿轮
- 润乾报表V5.0授权更新替换操作说明
- 4.26
- 索引2
- 视图
- session概述
- Less-9&10基于时间的盲注