和我一起学Hadoop（四）：java客户端操作HDFS

主要操作包含

• 客户端连接
• 目录
  
  • 读取
  • 创建
• 文件的创建
  
  • 删除
  • 上传
  • 下载
  • 部分下载、上传

jar包引入：
由于只用到了hdfs，所以暂时不需要用到mapreduce和yarn

• \share\hadoop\common
• \share\hadoop\common\lib
• \share\hadoop\hdfs
• \share\hadoop\hdfs\lib
• \share\hadoop\tools\lib
  以上目录的所有jar包

值得一提的是：如果是windows开发环境注意，IO操作时避免本地库的使用

public class FileOperate {    public static DistributedFileSystem dfs=null;    public static String nameNodeUri="hdfs://hadoop01:9000";    @Before    public void initFileSystem() throws Exception{        System.out.println("初始化hadoop客户端");        //设置hadoop的登录用户名        System.setProperty("HADOOP_USER_NAME", "root");        dfs=new DistributedFileSystem();        dfs.initialize(new URI(nameNodeUri), new Configuration());        System.out.println("客户端连接成功");        Path workingDirectory = dfs.getWorkingDirectory();        System.out.println("工作目录："+workingDirectory);    }    /**     * 创建文件夹     * @throws Exception      */    @Test    public void testMkDir() throws Exception{        boolean res = dfs.mkdirs(new Path("/test/aaa/bbb"));        System.out.println("目录创建结果："+(res?"创建成功":"创建失败"));    }    /**     * 删除目录/文件     * @throws Exception     */    @Test    public void testDeleteDir() throws Exception{        dfs.delete(new Path("/test/aaa/bbb"), false);    }    /**     * 获取指定目录下所有文件(忽略目录)     * @throws Exception      * @throws IllegalArgumentException      * @throws FileNotFoundException      */    @Test    public void testFileList() throws Exception{        RemoteIterator<LocatedFileStatus> listFiles = dfs.listFiles(new Path("/"), true);        SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");        while (listFiles.hasNext()) {            LocatedFileStatus fileStatus = (LocatedFileStatus) listFiles.next();            //权限            FsPermission permission = fileStatus.getPermission();            //拥有者            String owner = fileStatus.getOwner();            //组            String group = fileStatus.getGroup();            //文件大小byte            long len = fileStatus.getLen();            long modificationTime = fileStatus.getModificationTime();            Path path = fileStatus.getPath();            System.out.println("-------------------------------");            System.out.println("permission:"+permission);            System.out.println("owner:"+owner);            System.out.println("group:"+group);            System.out.println("len:"+len);            System.out.println("modificationTime:"+sdf.format(new Date(modificationTime)));            System.out.println("path:"+path);        }    }    /**     * 【完整】文件上传     * 注意：文件上传在Window开发环境下，使用apache-common提供的<code>org.apache.commons.io.IOUtils.copy</code>可能存在问题     */    @Test    public void testUploadFullFile() throws Exception{        FSDataOutputStream out = dfs.create(new Path("/test/aaa/uploadFile.txt"), true);//      InputStream in = FileOperate.class.getResourceAsStream("uploadFile.txt");        FileInputStream in = new FileInputStream(FileOperate.class.getResource("uploadFile.txt").getFile());        org.apache.commons.io.IOUtils.copy(in, out);        System.out.println("上传完毕");    }    /**     * 【完整】文件上传     */    @Test    public void testUploadFullFile2() throws Exception{        dfs.copyFromLocalFile(new Path(FileOperate.class.getResource("uploadFile.txt").getFile()), new Path("/test/aaa/uploadFullFile.txt"));    }    /**     * 【分段|部分】文件上传     * 注意：文件上传在Window开发环境下，使用apache-common提供的<code>org.apache.commons.io.IOUtils.copy</code>可能存在问题     */    @Test    public void testUploadFile2() throws Exception{        FSDataOutputStream out = dfs.create(new Path("/test/aaa/uploadFile2.txt"), true);        FileInputStream in = new FileInputStream(FileOperate.class.getResource("uploadFile.txt").getFile());        org.apache.commons.io.IOUtils.copyLarge(in, out, 6, 12);        System.out.println("上传完毕");    }    /**     * 【完整】下载文件     * 注意：windows开发平台下，使用如下API     */    @Test    public void testDownloadFile() throws Exception{        //使用Java API进行I/O,设置useRawLocalFileSystem=true        dfs.copyToLocalFile(false,new Path("/test/aaa/uploadFullFile.txt"), new Path("E:/Workspaces/MyEclipse2014_BigData/hadoop-demo/src/com/xbz/bigdata/hadoop/demo"),true);        System.out.println("下载完成");    }    /**     * 【部分】下载文件     */    @Test    public void testDownloadFile2() throws Exception{        //使用Java API进行I/O,设置useRawLocalFileSystem=true        FSDataInputStream src = dfs.open(new Path("/test/aaa/uploadFullFile.txt"));        FileOutputStream des = new FileOutputStream(new File("E:/Workspaces/MyEclipse2014_BigData/hadoop-demo/src/com/xbz/bigdata/hadoop/demo","download_uploadFullFile.txt"));        src.seek(6);        org.apache.commons.io.IOUtils.copy(src, des);        System.out.println("下载完成");    }}