《hadoop 权威指南》 读书笔记

HDFS 对写入的数据计算校验和
datanode 管线的最后一个datanode 负责验证校验和
客户端在读取datanode的时候也会验证校验和

Hadoop的LocalFilesystem执行客户端校验和验证
LocalFileSystem通过ChecksumFileSystem来完成自己的任务
FileSystem rawFs =...
FileSystem checksummedFs = new ChecksumFileSystem（rawFs）；

压缩 解压缩 在Hadoop中 一个compressionCodec接口的实现代表一个codec codec实现一种压缩-解压缩算法
Avro是一个独立于编程语言的数据序列化系统
//......建立文件系统与程序关联......//
String uri=args[0];
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.Create(uri),conf);
//..........//
Path path = new Path(uri);
IntWritable  key = new IntWritable90;
Text value = new Text();