(八)、HDFS Java 接口

环境:
windows 7
eclipse

先在 windows 7 下搭建好 eclipse 项目环境, 参考 安装 Eclipse

新建 hadoop 工程, 新建个 lib 文件夹, 导入 hdfs 的相关 jar 包:

• /usr/itcast/hadoop-2.7.1/share/hadoop/common
• /usr/itcast/hadoop-2.7.1/share/hadoop/common/lib
• /usr/itcast/hadoop-2.7.1/share/hadoop/hdfs

测试 hdfs 导入这些目录下的 jar 就可以了…

选中导入后所有的 jar 包, 右键 [构建路径] -> [添加到构建路径]

接下来, 设置下 eclipse 的自动提示.
window –> Preferences –> Java –> Editor –> Content Assist:

abcdefghijklmnopqrstuvwxyz.

接下来直接上源码好了:

package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.junit.Before;import org.junit.Test;public class HDFSDemo {    FileSystem fs = null;    // 链接 hdfs    @Before    public void init() throws IOException, URISyntaxException, InterruptedException {        // 首先创建  FileSystem 的实现类(工具类) -- 用来操作 hdfs        fs = FileSystem.get(new URI("hdfs://192.168.31.200:9000"), new Configuration());    }    // 上传文件    public void testUpload() throws IllegalArgumentException, IOException {        InputStream in = new FileInputStream("C:\\Users\\Public.Public-PC\\Desktop\\test.txt");        OutputStream out = fs.create(new Path("/test.txt"));        IOUtils.copyBytes(in, out, 4096, true);    }    // 另一种方式 下载文件    @Test    public void testDownload() throws IllegalArgumentException, IOException {        fs.copyToLocalFile(new Path("/words.txt"), new Path("C:\\Users\\Public.Public-PC\\Desktop\\words.txt"));    }    // 删除文件    public void testDelete() throws IllegalArgumentException, IOException {        fs.delete(new Path("/test.txt"), true);    }    // 下载文件    public static void main(String[] args) throws IOException, URISyntaxException {        // TODO Auto-generated method stub        InputStream in = fs.open(new Path("/words.txt"));        OutputStream out = new FileOutputStream("C:\\Users\\Public.Public-PC\\Desktop\\words.txt");        IOUtils.copyBytes(in, out, 4096, true);    }}

当我们上传文件时, 可能会报权限不足的错误, 此时, 需要去 linux 里修改下 hdfs 的配置.
进入 sbin vim hdfs-site.xml

<property>    <name>dfs.permissions</name>    <value>false</value></property>

不过, 这种方式总感觉不安全, 期待以后有更好的方法.

另外, 可以在 hadoop 官网上下载它的源码, 添加到 eclipse 里关联起来.