初识hadoop--（2）通过java操作hdfs

要通过本地windows上的java代码操作远程hdfs，首先需要在windows上装个小工具：

https://github.com/steveloughran/winutils

官方提供的工具。

然后配置环境变量指向这个工具的安装路径：

HADOOP_HOME: C:\Users\lhc\myapp\hadoop-2.7.1

然后还要修改host文件（文件位置C:\Windows\System32\drivers\etc，用管理员打开），追加安装hadoop的服务器的hostname：

例如：192.168.18.229 user-HVM-domU

然后创建java工程，配置maven。jdk里的tools.jar这个要单独配置一下。

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.8.1</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.1</version></dependency><dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.8</version><scope>system</scope><systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency></dependencies>

然后就可以写一段代码来测试了：

public static void main(String[] args) throws IOException {String uri = "hftp://192.168.18.229:50070/user/test/test.txt";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri), conf);InputStream in = null;try {in = fs.open(new Path(uri));IOUtils.copyBytes(in, System.out, 4096, false);} finally {IOUtils.closeStream(in);}}