HBase实现记录定期定量删除
来源:互联网 发布:概率矩阵分解模型 编辑:程序博客网 时间:2024/04/28 20:33
HBase如何实现定期定量的删除记录?
使用场景分析:我们在HBase中存储的记录可能有一些是增速很快且又不需要永久保存的,比如大量的“系统日志”,也许只需保存最近几个月记录便可。我们的存储空间又很有限,尤其是HDFS这种多副本容灾存储。再加上HBase在存储每一行数据时,分别要为每一列保存一份rowKey,如果一行有10列,光rowKey就要存储10份,开销可想而知。因此定期定量删除的功能也就成了普遍的需求。
一、如何定期删除数据?
使用表格级的属性:TTL(Time To Live),设置记录的有效期,当前时间超过记录有效期后该记录将被自动删除。记录的有效期 = TimeStamp + TTL;
二、如何在数据超过阈值时删除数据?
比如我们限定某张表最多占用约1T的空间,当数据超过1T时就删除表中最老的一部分数据。
1、在HDFS层面,获取表格占用空间。
通过Configuration实例创建FileSystem实例,调用Fs的getContentSummary(Path f)获取表格目录的ContentSummary实例,再调用getLength()便可获得该表格的大小。
2、若表格大小超过阈值,删除时间戳较小的一定量的记录。
通过hbase api中scan的setTimeRange方法完成待删除的数据筛选,然后删之
文章来源:http://blog.csdn.net/pirateleo/article/details/7964859
- HBase实现记录定期定量删除
- HBase实现记录定期定量删除
- HBase实现记录定期定量删除
- HBase实现记录定期定量删除
- 定量库存控制和定期库存控制
- 【hbase】HBase 定期备份
- Nginx 自动定期删除日志实现方法
- [通过制定SQL计划和系统计划实现]SQL Server 2005数据库定期备份和删除历史备份记录
- HBase 定期备份
- HBase 定期备份
- 定期任务的业务及其实现逻辑简单记录
- 批处理实现自动删除过期文件的定期操作
- 定期删除服务器日志
- 定期删除备份文件脚本
- SQL Server 2005数据库定期备份和删除历史备份记录
- SQL Server 2005数据库定期备份和删除历史备份记录
- hbase api初探:利用hbase api对创建表,增加删除记录,删除表
- DATAGUARD standby archivedlog 定期删除
- HBase条件查询(多条件查询)
- HTML,Javascript的 IE 和Firefox火狐兼容性
- Elias Gamma Coding对正整数、整数(采用bijection)的编码解码解析
- qt 窗口置顶/真透明/背景模糊/非矩形/跳过任务栏分页器/无边框/无焦点点击/焦点穿透
- vmware中的bridge、nat区别
- HBase实现记录定期定量删除
- unity3d添加天空盒
- 深入理解Direct3D9(转)
- 6种Web框架测评
- 关于面粉品质快速检测的方法
- 关于Hibernate中Criteria的使用
- Apache+Tomcat 快速整合
- ExtJS4.1+MVC3+Spring.NET1.3+EF5 整合一:构建项目框架
- Python用什eclipse工具开发