MapReduce(十六): 写数据到HDFS的源码分析
来源:互联网 发布:java互联网必读 编辑:程序博客网 时间:2024/06/07 18:16
1) LineRecordWriter负责把Key,Value的形式把数据写入到DFSOutputStream
2) DFSOutputStream负责把LineRecordWriter写入的数据发送到Datanode中。对LineRecordWriter写入的数据首先按照一个个chunk分割,然后打包成Packet发送给datanode,datanode负责对接收的数据备份到其它datanode上。发送数据时,发送线程和结果接收线程分开,对发送队列的数据完成发送后,转移的结果接收队列中,等待datanode对数据保存,备份是否正确的应答,如果datanode保存失败,则对datanode,包括备份datanode的数据恢复到失败的前一刻,然后继续向datanode发送数据保存。
把LineRecordWriter中写入的数据先放到缓存中:
Buffer满了后,就把数据按照chunk封装到packet中,packet写满后就把packet放到发送队列中,等待发送线程发送给datanode
3) DataStreamer负责把队列中放入packet的数据发送到datanode上
4) ReponseProcessor负责对发送的packet数据接收datanode处理应答
5) Block传输写协议
0 0
- MapReduce(十六): 写数据到HDFS的源码分析
- mapreduce导出MSSQL的数据到HDFS
- MapReduce(十五): 从HDFS读取文件的源码分析
- HDFS的写数据过程分析
- HDFS的写数据过程分析
- Hadoop源码分析之客户端向HDFS写数据
- HDFS源码分析(5):datanode数据块的读与写DataXceiver
- 客户端写数据到HDFS
- 自定义MapReduce导入HDFS数据到HBase
- HDFS dfsclient写文件过程 源码分析
- HDFS dfsclient写文件过程 源码分析
- MapReduce基础:HDFS的数据完整性
- 将hdfs上的数据通过MapReduce上传到hbase上
- Windows下运行MapReduce程序处理集群中hdfs数据所踩到的坑
- hadoop源码解析之hdfs写数据全流程分析---创建文件
- hadoop源码解析之hdfs写数据全流程分析---客户端处理
- hadoop源码解析之hdfs写数据全流程分析---datanode处理
- Mapreduce 导出HBase table 数据到HDFS路径
- 【面试准备】letcode-Binary Tree Preorder Traversal
- C++ static关键字
- shell basename dirname的使用
- Android_百度地图BaiduMap_搜索服务
- J2SE复习之数组与对象
- MapReduce(十六): 写数据到HDFS的源码分析
- poj1065 wooden sticks
- 顺时针打印矩阵与二维数组作为函数参数
- Eclipse 常用设置 (个人经验整理)(二)
- 【学习Android NDK开发】native code通过JNI调用Java方法
- Valid Parentheses
- quartusII 11.0安装与破解
- va_start、va_end、va_list的使用
- PHP强大的数组