Hadoop集群shuffle机制详解

来源:互联网 发布:淘宝客服兼职日结工资 编辑:程序博客网 时间:2024/05/22 12:05

map端的输入:
一个逻辑切片对应一个maptask任务,当一个逻辑切片被一个maptask拿到的时候,会调用TextInputFormat下的RecordReader(接口LineRecordReader)下的next()方法进行文件读取,按行读取,每次读取偏移量和一行内容以