大数据-十四

来源:互联网 发布:2017年网络热词 编辑:程序博客网 时间:2024/05/16 10:29

写入数据

 FileSystem类有一系列创建新闻教案的方法,最简单的就是给准备新建的文件制定一个Path对象,然后返回一个用于写入数据的数据流;

public FSDataOutputStream create(Path f) throws IOException;

这个方法分有多个重载版本,允许我们是否要强制覆盖现有的文件,文件备份数量,写入文件时所用的缓冲区的大小,文件块大小以及文件权限;

可以用exists()方法来检查父目录是否存在;

还有个重载方法Progressable用于传递回调接口,可以将数据写入datanode的进度通知给应用;
也可以在文件中追加数据:
public FSDataOutputStream append(Path f) throws  IOException;

public class FileCopyWithProgress{    public statci void main(String args []) throws IOExceptino    {        String localSrc=argp[0];        String dst=args[1];        InputStream in=new BufferedInputStream(new FileInputStream(localsrc));        Configuration conf =new Configuration();        FileSystem fs=new FileSystem.get(URI.create(dst),conf);        OutputStream out=fs.creat(new Path(dst),new Progeressable(){            public void progress(){                System.out.print(".");            }        });        IOUtils.copyBytes(in.out.4096,true);    }}

所以说前面那个fs中的URI是用来确定使用的文件系统的;后面那个才是导入流,这URI参数可以省略,缺省则为默认值;
FSDataOutputStream对象
FileSystem实例的create()方法返回FSDataOutputStream对象,和FSDataInputStream类相似,有一个查询文件当前位置的方法;

public long getPos() throws IOException;但是写入定位一般情况没什么意义;

FileSystem实例提供了创建目录的方法,一次性新建所有有必要但还没有的父目录,和java.io.File类中的mkdirs()方法类似,如果已经创建,则返回true;

通常不需要 显示创建目录,调用create()方法写入文件时会自动创建父目录;