hadoop递归实现列出所有文件

来源:互联网 发布:艾泰 网络尖兵防御 编辑:程序博客网 时间:2024/05/29 16:58
@Test
public void listFiles() throws Exception {


// listFiles列出的是文件信息,而且提供递归遍历
RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path(
"hdfs://hadoop0:9000/flow"), true);

while (files.hasNext()) {
LocatedFileStatus file = files.next();
Path filePath = file.getPath();
String fileName = filePath.getName();
System.out.println(fileName);
}


System.out.println("---------------------------------");

// listStatus 可以列出文件和文件夹的信息,但是不提供自带的递归遍历
FileStatus[] listStatus = fs.listStatus(new Path("/"));
recuersionFile(listStatus);


}


public void recuersionFile(FileStatus[] listStatus) throws Exception {
if (listStatus != null) {
for (FileStatus status : listStatus) {

if (status.isDirectory()) {
FileStatus[] listStatus2 = fs.listStatus(new Path(status.getPath().toString()));
recuersionFile(listStatus2);
}else{
String name = status.getPath().getName();
// System.out.println(status.getPath());
System.out.println("fileName: "+name);
}
}
}
}
0 0