HDFS操作-Java接口

来源:互联网 发布:淘宝昵称为什么改不了 编辑:程序博客网 时间:2024/06/05 18:33

开发环境:Centos6.5,Eclipse
1.新建项目
2.添加jar包(添加hadoop安装目录下/share/hadoop文件中所有外部的和lib中的jar包)
这里写图片描述
3.新建包
4.新建class
5.右击包名->Export
这里写图片描述
选择java ->jar file
这里写图片描述
选择存储位置
这里写图片描述
6.运行Java程序
hadoop jar包 包名.类名 文件的路径
这里写图片描述

从Hadoop文件系统中读取文件示例代码

package filesystem;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;public class URLCat {    static {        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());    }public static void main(String[] args) {    InputStream inputstream = null;    try {        inputstream = new URL(args[0]).openStream();        IOUtils.copyBytes(inputstream, System.out, 4096, false);    } catch (MalformedURLException e) {        e.printStackTrace();    } catch (IOException e) {        e.printStackTrace();    }finally{        IOUtils.closeStream(inputstream);    }}}