Hadoop之客户端读取HDFS中的数据

客户端通过调用FileSystem对象的open()方法来打开希望读取的文件DistributedFileSystem使用RPC调用namenode，确定文件起始块位置。对于文件的每个块，namenode返回该块副本的datanode的地址，这些datanode根据与客户端的距离排序，如果客户端本身就是一个datanode，并且保存有副本时，则从本地datanode中读取数据。客户端使用DistributedFileSystem返回的FSDataInputStream流对象读取数据，客户端调用read方法，将数据从datanode传输到客户端，完成后寻找下一个块的最佳datanode。一旦客户端完成读取，FSDataInputStream调用close方法。注：如果流于datanode通信出现错误，他会尝试从这个块的另一个最近的datanode读取数据。

重点：数据流分散在集群中所有datanode，namenode告知客户端每个块最佳datanode。由客户端直接从该datanode读取数据。所以这种设计能够HDFS可扩展到大量并发客户端

2015年10月27日凌晨