海量数据的删除策略
来源:互联网 发布:java培训靠谱吗 编辑:程序博客网 时间:2024/05/01 23:56
1.延迟删除
一条数据会被很多数据引用。当被引用的数据删除时,引用的数据也需要删除。这时候可以用延迟删除的方法。
例子:
用户发表的帖子,可以被转发到很多地方。所有转发过的贴都是对原帖的引用,用户接着把他的原帖删除,所有被转发过的帖子也需要进行清理。我们采用的是延迟删除的方法,用户操作时,先直接删除原帖,被转发的贴,在点击时,会到原帖加载内容,这时发现原帖已经不存在,此时这条被点击的转发贴也会被删除。
当用户访问引用的数据时,发现被引用的数据不存在,此时删除引用的数据。
2.线下删除
一条数据关联到很多数据。但这条数据是所有其他数据的入口。
例子:
一个扣扣群里,会有很多内容,相册,图片等等。在解散扣扣群时是不可能同步删除和该群相关的所有数据的。此时可以用线下删除的方法。先将扣扣群的状态置为 inactive(解散)状态。然后提交一条任务,在指定的时候将所有和该扣扣群相关的数据都删除。任务可以在系统负载比较低的时候触发。因为扣扣群的状态已经被设置为inactive状态,它也不会再被其他人访问到。所有访问需要加状态进行判断。
3.异步删除
当某个系统的服务和其他系统的服务做了集成后,业务数据就可能是相互关联的。当某个服务的数据被删除时,需要通知相关联的所有系统删除和他相关联的数据。
例子:
用户会对他所加入的群进行了偏好设置,比如对某个群的评价,是否接收该群的通知等等。而这些数据是存在用户系统(其他服务器)上的。当一个群组被解散时,无法同步地调用用户系统的服务删除所有的数据。因为一个群组可能有几万甚至更多的成员。此时可以用异步的方式通知用户系统,群组系统发送一条“群解散”消息给用户系统,用户系统接收到消息后,会把所有相关联的数据都清除。
延迟删除结合使用:
如果数据量很大的话异步删除也需要相当长的时间,这时可以结合使用延迟删除的方法。
当用户在用户中心点击某群的偏好设置时,系统发现该群组已经被删除,就通知用户该群不存在,并删除相关的偏好设置。
线下删除结合使用
数据量很大如果立即删除会给系统突发地带来相当大的负载,甚至可能会引起用户访问的响应率降低。这时需要采用线下删除的方法,将删除任务分割成很多很小的任务。分批地提交给系统定时处理。
4.不删除
有些相关联的数据,重要性很低,又有有效期。我们是不会再花费额外的代价去删除它们的。
例子:
系统会记录用户的访问足迹。用户可以查询他的这些访问足迹。
您在2011.02.03在群组B(链接)回复了C(链接)发表的帖子D(链接)。
当B被解散或D被删除后,不需要主动去清理这条数据。因为所有的访问足迹都是有有效期的,当有效期到了的时候,这条数据就会被自动清除。
但是当D被删除后,用户点击D链接会提示用户404。
一条数据会被很多数据引用。当被引用的数据删除时,引用的数据也需要删除。这时候可以用延迟删除的方法。
例子:
用户发表的帖子,可以被转发到很多地方。所有转发过的贴都是对原帖的引用,用户接着把他的原帖删除,所有被转发过的帖子也需要进行清理。我们采用的是延迟删除的方法,用户操作时,先直接删除原帖,被转发的贴,在点击时,会到原帖加载内容,这时发现原帖已经不存在,此时这条被点击的转发贴也会被删除。
当用户访问引用的数据时,发现被引用的数据不存在,此时删除引用的数据。
2.线下删除
一条数据关联到很多数据。但这条数据是所有其他数据的入口。
例子:
一个扣扣群里,会有很多内容,相册,图片等等。在解散扣扣群时是不可能同步删除和该群相关的所有数据的。此时可以用线下删除的方法。先将扣扣群的状态置为 inactive(解散)状态。然后提交一条任务,在指定的时候将所有和该扣扣群相关的数据都删除。任务可以在系统负载比较低的时候触发。因为扣扣群的状态已经被设置为inactive状态,它也不会再被其他人访问到。所有访问需要加状态进行判断。
3.异步删除
当某个系统的服务和其他系统的服务做了集成后,业务数据就可能是相互关联的。当某个服务的数据被删除时,需要通知相关联的所有系统删除和他相关联的数据。
例子:
用户会对他所加入的群进行了偏好设置,比如对某个群的评价,是否接收该群的通知等等。而这些数据是存在用户系统(其他服务器)上的。当一个群组被解散时,无法同步地调用用户系统的服务删除所有的数据。因为一个群组可能有几万甚至更多的成员。此时可以用异步的方式通知用户系统,群组系统发送一条“群解散”消息给用户系统,用户系统接收到消息后,会把所有相关联的数据都清除。
延迟删除结合使用:
如果数据量很大的话异步删除也需要相当长的时间,这时可以结合使用延迟删除的方法。
当用户在用户中心点击某群的偏好设置时,系统发现该群组已经被删除,就通知用户该群不存在,并删除相关的偏好设置。
线下删除结合使用
数据量很大如果立即删除会给系统突发地带来相当大的负载,甚至可能会引起用户访问的响应率降低。这时需要采用线下删除的方法,将删除任务分割成很多很小的任务。分批地提交给系统定时处理。
4.不删除
有些相关联的数据,重要性很低,又有有效期。我们是不会再花费额外的代价去删除它们的。
例子:
系统会记录用户的访问足迹。用户可以查询他的这些访问足迹。
您在2011.02.03在群组B(链接)回复了C(链接)发表的帖子D(链接)。
当B被解散或D被删除后,不需要主动去清理这条数据。因为所有的访问足迹都是有有效期的,当有效期到了的时候,这条数据就会被自动清除。
但是当D被删除后,用户点击D链接会提示用户404。
0
上一篇:逢3退1的Java算法(双向回环链表算法)
下一篇:批处理计算前N个月第一天的日期
相关热门文章
- 项目管理系统在企业运营中对各...
- 安装Visual Studio 2010出错解...
- linux内核sk_buff的结构分析...
- 上海网站建设真诚的亲近感...
- 上海网站建设设计师所追求的目...
- ABAP文章索引
- 数据库课程设计报告(仓库管理...
- 拼音汉字对照表
- sql isnull函数的使用
- 数据挖掘电子书下载
- cpu %和load average是怎样的...
- 如何确定线程使用的端口...
- mysql整形数据类型插入0001数...
- weblogic集群下启动服务有一个...
- nagios pnp 报错
给主人留下些什么吧!~~
评论热议
- 海量数据的删除策略
- 快速删除海量数据
- 删除重复&海量数据
- 海量数据去重策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 海量数据去重的五大策略
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- 解决海量数据的常见策略--大型web项目
- 大型互联网站解决海量数据的常见策略
- 大型互联网站解决海量数据的常见策略
- MapReduce+HDFS,海量数据去重的五大策略
- ARM汇编语言
- 转载:数据库逻辑设计原则
- 博客已升级,请注意变更地址
- 逢3退1的Java算法(双向回环链表算法)
- PHP 时间格式化输出
- 海量数据的删除策略
- python idle 清屏问题的解决
- 批处理计算前N个月第一天的日期
- 在SQL Server 2005数据库中进行错误捕捉
- 会员注册时手机号码异步验证的JS代码
- Oracle 块大小(默认8KB)
- EVO ONE:打了个球
- Linux 查看OS系统块的大小(默认4096 byte)
- eclipse常用快捷方式
原创粉丝点击
热门IT博客
热门问题
老师的惩罚
人脸识别
我在镇武司摸鱼那些年
重生之率土为王
我在大康的咸鱼生活
盘龙之生命进化
天生仙种
凡人之先天五行
春回大明朝
姑娘不必设防,我是瞎子
粉丸
日本便秘小粉丸安全吗
日本小粉丸可以减肥吗
小粉猪
猪胆粉
杀猪粉
猪杂粉的做法
兰蔻粉瓶
胡椒粉瓶
小粉瓶
云南白药粉多少钱一瓶
一种瓶装橙子粉
晋江小粉红
小粉红什么意思
粉红小布娃娃女装
粉红小布娃娃旗舰店
粉红小
粉红的小裂缝大图
姑娘的小鲍粉红
粉红大布娃娃与粉红小布娃娃
粉红大布娃娃和粉红小布娃娃
蝉花虫草粉
蝉花虫草粉功效与作用
粉玫瑰花多少钱
粉蒸五花肉的家常做法
藏红花泡脚粉
蝉花虫草粉价格
藏红花足浴粉
大粗腿怎么变小细腿
大粗腿图片
怎样使腿粗
腿变粗
肌肉型小粗腿怎么减
男生小腿粗
男生的腿粗怎么办
小腿变粗的原因
腿粗是为什么
怎样快速瘦腿4天左右
小粽子
小户型精品装修
小精品店装修图