使用FileSystem自带的api读取hdfs中的文件

博客搬家自https://my.oschina.net/itsyizu/blog/
1. 创建hadoop MapReduce项目

1. 输入项目名称

1. 创建好的项目初始化状态如下

1. 编写java类

import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class ReadFileUseFSAPI {    public static void main(String [] args) throws IOException {    String urlString=args[0];    Configuration conf=new Configuration();    FileSystem fSystem=FileSystem.get(URI.create(urlString),conf);    InputStream inputStream=null;    try {        inputStream=fSystem.open(new Path(urlString));        IOUtils.copyBytes(inputStream, System.out, conf);    } catch (Exception ex) {        System.out.println(ex.getMessage());    }finally{        IOUtils.closeStream(inputStream);    }    }}

1. 设置运行的参数

1. 运行的结果

1. 感觉使用FILESYSTEM的API读取文件的效率比较低