Hadoop MapReduce之上传文件到HDFS
来源:互联网 发布:淘宝网ppt模板 编辑:程序博客网 时间:2024/05/22 04:27
网络上转载与一个网友的评论,这里记录一下,以备不时之需
//本地文件上传到HDFS上
public static void upload(String src,String dst) throws FileNotFoundException,IOException{InputStream in = new BufferedInputStream(new FileInputStream(src));
Configuration conf = new Configuration();
//文件系统
FileSystem fs = FileSystem.get(URI.create(dst), conf);
//输出流
OutputStream out = fs.create(new Path(dst), new Progressable() {
public void progress() {
System.out.println("上传完一个设定缓存区大小容量的文件!");
}
});
//连接两个流,形成通道,使输入流向输出流传输数据
IOUtils.copyBytes(in, out, 4096,true);
}
上传的时候调用这个函数就可以了
例如
upload("/home/jack/test/test.txt","/user/hadoop/test/test");
前面的是本地目录中的文件,后面是hdfs中的文件
注意 必须两者都必须是“路径+文件名” 不能没有文件名
- Hadoop MapReduce之上传文件到HDFS
- hadoop之hdfs文件上传
- 数据采集之Web端上传文件到Hadoop HDFS
- Hadoop之MapReduce & HDFS
- HDFS之上传文件到hdfs中
- hadoop上传文件到hdfs出错
- hadoop 上传文件到HDFS报错
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop搭建之HDFS,MapReduce
- 上传文件到HDFS
- 上传文件到HDFS
- Hadoop上传文件到HDFS时异常处理步骤
- talend 将本地文件或者mysql文件上传到hadoop/hdfs
- hadoop分析 - HDFS上传文件
- hadoop中hdfs文件上传
- [Hadoop]Hadoop上传本地文件到HDFS
- Hadoop: MapReduce使用hdfs中的文件
- hadoop之HDFS:数据块恢复与文件上传测试
- 递归创建目录、删除目录
- 英特尔SR-IOV实现PCI硬件资源共享
- 从Java的jar文件中读取数据
- UVa 10129 - Play on Words
- eclipse导入项目出现了红色感叹号的问题
- Hadoop MapReduce之上传文件到HDFS
- 高性能IO设计的Reactor和Proactor模式
- No Launcher activity found! The launch will only sync the application package on the device!
- CF 148D
- Java打包jar的方法
- word2007文档结构图的颜色如何去掉
- 关于flush()和ob_flush()
- UVa 10054 - The Necklace
- weblogic 部署出现的错误汇总