DataNode之DirectoryScanner分析
来源:互联网 发布:vc6.0二级c语言加油站 编辑:程序博客网 时间:2024/05/20 05:57
DirectoryScanner的作用就是定期扫描磁盘上的数据块,检查磁盘数据块信息是否和FsDataSetImpl的数据块信息一致,如果不一致则进行更新,他只会检查内存和磁盘上FINALIZED状态的数据块是否一致
比较核心的字段:
异步收集磁盘上数据块信息的线程池
privatefinalExecutorServicereportCompileThreadPool;
主线程,定期调用run方法,执行整个扫描逻辑
privatefinalScheduledExecutorServicemasterThread;
描述磁盘上保存的数据块信息和内存之间差异,在扫描过程中更新,扫描结束后,把diffs更新到FsDatasetImpl
final ScanInfoPerBlockPooldiffs =newScanInfoPerBlockPool();
voidstart() {
shouldRun = true;
long offset = DFSUtil.getRandom().nextInt((int) (scanPeriodMsecs/1000L)) * 1000L; //msec
long firstScanTime = Time.now() +offset;
//定期调用这个线程类,然后执行这个类的run方法
masterThread.scheduleAtFixedRate(this,offset,scanPeriodMsecs,
TimeUnit.MILLISECONDS);
}
public voidrun() {
//......
reconcile();
//......
}
/**
*调节磁盘上和内存上数据块的不同
*/
voidreconcile()throws IOException {
//在磁盘和内存的blocks扫描不同,只是扫描那些FINALIZED标记的数据块
scan();
for (Entry<String, LinkedList<ScanInfo>>entry :diffs.entrySet()) {
Stringbpid =entry.getKey();
//遍历差异信息
LinkedList<ScanInfo>diff =entry.getValue();
//更新FsDataset保存的数据块
for (ScanInfo info :diff) {
dataset.checkAndUpdate(bpid,info.getBlockId(),info.getBlockFile(),
info.getMetaFile(),info.getVolume());
}
}
if (!retainDiffs)clear();
}
- DataNode之DirectoryScanner分析
- DataNode之BlockSender分析
- HDFS之DataNode启动过程分析
- hadoop2之HDFS分析:Client与DataNode流程分析
- hadoop DirectoryScanner
- Hadoop源码分析之读文件时NameNode和DataNode的处理过程 选取datanode详解
- Hadoop源码分析之DataNode的启动与停止
- Hadoop源码分析之DataNode的启动与停止
- HDFS源码分析心跳汇报之DataNode注册
- DataNode的分析
- hadoop datanode源码分析
- hadoop datanode源码分析
- hadoop datanode源码分析
- HDFS datanode源码分析
- hadoop源码之DataNode
- NameNode之DataNode管理
- datanode进程的分析(一)
- Hadoop源码分析DataNode类
- 0_1背包问题
- 支持向量机的理论与实现(占坑)
- mips架构linux启动分析(六)(arch_mem_init(node内存)内存初始化)
- Android机顶盒获取网络带宽
- iOS11.0 适配 tableView上面空出一段空白
- DataNode之DirectoryScanner分析
- win7 python2 安装numpy
- 22.开源项目--git解决分支合并冲突
- 朴素贝叶斯的理论与实现(占坑)
- 十张图读懂 PHP、Python、 Ruby 三大语言的差异
- 驴和佛
- Smart forms 编辑器-MS Word
- 干货|从故障复盘看产品质量防线
- java反射