hadoop 之 文件读取操作

在进行MR的过程前，通常需要在setUp读入一些文件，MR中的文件操作与平时项目中FileInputStream是比较类似的，只不过需要使用FSDataInputStream。这里写一个读取一个目录下所有文件的Demo，方便以后回顾。

private static String universityPath = "hdfs://10.1.11.1000:8020/user/mysql/china_universities";public List<String[]> getUniversityInfo(Mapper<Object, Text, Text, NullWritable>.Context context) throws Exception{        List<String[]> universityInfo = new ArrayList<>();              Configuration configuration=context.getConfiguration();          FileSystem fileSystem=FileSystem.get(URI.create(universityPath), configuration);        Path filePath =new Path(universityPath);           //将areaCode 目录下的所有文件进行读取        FileStatus stats[] = fileSystem.listStatus(filePath);          //数据的读入操作        for(int i = 0; i < stats.length; ++i){              if(stats[i].getPath().toString().indexOf("part")!=-1){//文件只需要读取part-r-00000这种格式的                Path inFile =new Path(stats[i].getPath().toString());                  FSDataInputStream in=null;                  in=fileSystem.open(inFile);                  InputStreamReader isr = new InputStreamReader(in,"utf-8");                BufferedReader br = new BufferedReader(isr);                String line;                //数据处理后放到subjectMap中                while((line = br.readLine()) != null){                    String[] areaStrs = line.split("'");                    universityInfo.add(areaStrs);                }            }        }        return universityInfo;    }