对HDFS文件系统文件的读、写、删操作
来源:互联网 发布:python webservic 编辑:程序博客网 时间:2024/05/16 13:06
HDFS文件系统是Hadoop的分布式文件系统,Hadoop的API中提供了一些方法,以便在编程的时候向HDFS中写入和读出文件。
下面通过一个例子来说明:
public static void readAndWrite(){
Configuration conf = new Configuration();//获得conf对象,以便能够获得配置文件的信息
FileSystem fs;
try {
fs = FileSystem.get(
URI.create(conf.get("fs.default.name")), conf);
//读取HDFS系统中的一个文件
InputStream input =fs.open(new Path("/user/root/urlLib/ftpurl"));
byte [] b= new byte[1024];
input.read(b, 0,b.length);
String s =new String(b);
system.out.println(s);
input.close();
//将刚刚读出来的字符串再写入到HDFS系统中
OutputStream out = fs.create(new Path(“/user/root/urlLib/ftpurl2”), true);
out.write(s.getBytes());
out.flush();
out.close();
//将user/root/urlLib/ftpurl这个文件删除
fs.delete(new Path("/user/root/urlLib/ftpurl") , true);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
这个过程和普通的文件读写类似,唯一不同的就是通过Hadoop中FileSystem来获取读写流,以便在读写的时候能够将文件写入到HDFS系统中。
- 对HDFS文件系统文件的读、写、删操作
- 对HDFS文件系统文件的读、写、删操作
- 对HDFS文件系统文件的读、写、删操作 .
- python实现对HDFS的文件操作
- HDFS的API对Hadoop文件系统的文件进行写入
- 【HDFS】hdfs文件系统的删除操作
- hadoop HDFS工具类---对hdfs的读、写
- hadoop源码 - HDFS的文件操作流 写操作(客户端)
- 对HDFS分布式文件系统的简单理解。
- HDFS的文件操作
- hadoop之HDFS对文件的相关操作
- hadoop中hdfs对文件的操作Api
- 对HDFS进行文件操作的若干代码
- PHP中文件读、写、删的操作(PHP中对文件和目录操作)
- PHP中文件读、写、删的操作(PHP中对文件和目录操作)
- java实现对hdfs文件系统的上传,下载,删除,创建文件夹的操作演示
- 简单的对文件操作,如复制,读,写
- java 对properties 文件的写操作
- Hadoop传递参数的方法总结
- WPF绑定XML数据源
- Nutch在搜索时把自定义的字段(filed)加入检索条件
- 计算机间拷贝文件
- 我比从前快乐
- 对HDFS文件系统文件的读、写、删操作
- PriorityQueue的使用
- WPF三级联动
- JS的with语句
- 20110220近期计划
- winform的textBox中换行问题的最终解决
- 软件测试的常识
- 菜鸟的迷茫
- 2