hadoop校验和

来源:互联网 发布:淘宝店铺插件 编辑:程序博客网 时间:2024/05/12 02:02

/**
* 通过hadoop API访问文件,不进行校验和验证
*/
@Test
public void readFileByAPI2() throws Exception{
Configuration conf = new Configuration();
conf.set(“fs.defaultFS”, “hdfs://192.168.80.150:8020/”);
FileSystem fs = FileSystem.get(conf) ;
// 关闭校验过程
fs.setVerifyChecksum(false);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
Path p = new Path(“/user/centos/hadoop/build.sh”);
FSDataInputStream fis = fs.open(p);
IOUtils.copyBytes(fis, baos, 1024);
System.out.println(new String(baos.toByteArray()));
}

0 0
原创粉丝点击