java从hdfs中下载文件到本地

来源：互联网发布：java hadoop 读取文件编辑：程序博客网时间：2024/06/05 23:06

hdfs 在linux 搭建好，之后启动hdfs

hdfs核心机制看可这篇

http://www.cnblogs.com/thinkpad/p/5173705.html

接下来新建java项目引入HDFS所需要的包，这里的jar包可以从hadoop安装包里拿

解压haddoop gz进入 hadoop-2.4.1\share\hadoop\hdfs

进入hadoop-2.4.1\share\hadoop\common

导入java项目编写如下demo

package hdfs.zanghan;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HdfsUtils {public static void main(String[] args) throws IOException {//上传文件到HDFSConfiguration conf=new Configuration();FileSystem fs=FileSystem.get(conf);Path src=new Path("hdfs://zanghan02:9000/aa.txt");FSDataInputStream inputStream=fs.open(src);FileOutputStream os=new FileOutputStream("F://aa.txt");IOUtils.copy(inputStream,os);}}

首先你现在的东西在hdfs上是有的

conf配置文件从etc/hadoop/拿。

core-site.xml

hafs-site.xml

放到src目录下

运行,查看F：//aa.txt文件

阅读全文

0 0