HDFS中的TransactionsSinceLastCheckpoint
来源:互联网 发布:电影知无涯者拉马努金 编辑:程序博客网 时间:2024/04/30 17:43
- TransactionsSinceLastCheckpoint = getEditLog().getLastWrittenTxId() -
getFSImage().getStorage().getMostRecentCheckpointTxId(); - SecondaryNamenode上有checkpointThread,其主要的工作循环在void doWork()函数。
- 判断是否做Checkpoint的标准是:shouldCheckpointBasedOnCount() ||
now >= lastCheckpointTime + 1000 * checkpointConf.getPeriod()。- shouldCheckpointBasedOnCount() = countUncheckpointedTxns() >= checkpointConf.getTxnCount(),其中checkpointTxnCount由配置参数dfs.namenode.checkpoint.txns决定,默认值为1000000
- uncheckpointedTxns = curTxId -checkpointImage.getStorage().getMostRecentCheckpointTxId()
- checkpointPeriod由配置参数dfs.namenode.checkpoint.period决定,默认值为3600
- maxRetriesOnMergeError由配置参数dfs.namenode.checkpoint.max-retries决定,默认值为3
- 如满足条件,调用doCheckpoint()进行检查点操作。
- 检查的周期是getCheckPeriod() = Math.min(checkpointCheckPeriod, checkpointPeriod)。
- checkpointPeriod是不考虑txns的checkpoint周期,由dfs.namenode.checkpoint.period决定,默认值为3600
- checkpointCheckPeriod是poll NN检查checkpointTxnCount的周期,由dfs.namenode.checkpoint.check.period指定,默认是60
0 0
- HDFS中的TransactionsSinceLastCheckpoint
- HDFS中的通信协议
- HDFS中的通信协议
- HDFS中的回收站
- HDFS中的通信协议
- HDFS中的shell操作
- HDFS中的命令行
- Hadoop中的HDFS学习
- hadoop中的HDFS
- HDFS中的文件许可
- HDFS中的通信协议
- Hadoop中的HDFS
- HDFS中的三个node
- HDFS中的三个node
- hdfs中的NameNode,SecondaryNameNode,BackupNode
- HDFS------namenode中的DatanodeProtocol实现
- HDFS中的文件open操作
- HDFS中的SecondaryNameNode节点解析
- java ThreadPoolExecutor 自定义线程池demo
- 指针
- Only the original thread that created a view hierarchy can touch its views:
- linux下redis安装、启动与停止,redis做成服务
- 使用spark ml pipeline进行机器学习
- HDFS中的TransactionsSinceLastCheckpoint
- 关于 Installation failed with message INSTALL_PARSE_FAILED_UNEXPECTED_EXCEPTION.
- sql优化的一些总结
- 分享一下简单的android SharedPreferences本地存储数据工具类
- 无法解决“Microsoft.SharePoint.Security, Version=15.0.0.0,”与“Microsoft.SharePoint.Security, Version=14.0.0.0”之间的冲突
- MyBatis第三步、实现数据的增删改查
- java开发常用软件及插件官方下载地址
- Structred Streaming之Streaming Query分析
- 数据库主码、外码