ogg源端trial文件大量囤积的处理
来源:互联网 发布:翁恺java语言百度网盘 编辑:程序博客网 时间:2024/06/06 09:35
本文部分转载,查看全文请点击文章出处:http://blog.csdn.net/msdnchina/article/details/38346435
在OGG源数据库上,检查文件系统使用率的过程中,发现$OGG_HOME的使用率相当高,于是追查原因,查到dirdat目录下有大量的trail文件没有删除。这些trail文件都是去年产生的,早就被传输到目的端了。但是为什么没有被mgr 的PURGEOLDEXTRACTS 参数正常删除呢?
后来检查发现:源头的trail file(/u02/ggs/dirdat/aa)和目的端的trail file(u02/ggs/dirrdat/aa)的名字一样,这是导致源头os上 trail文件没有删除的原因。
具体是这么回事:比如说源头trail file(/u02/ggs/dirdat/aa)到了aa001000,此时目的端的trail file(/u02/ggs/dirrdat/aa)却只到了aa000010。
OGG的mgr进程删除trail文件的判断逻辑为:
检查整个复制环境(包括源头和目的端)中的相同trail文件名的trail,获得最小的那个trail文件号,在此号之前的那些trail文件就会被OGG的mgr进程的PURGEOLDEXTRACTS 参数正常删除掉。这里有人会问:为啥源头到了/u02/ggs/dirdat/aa001000,目的端却只到了/u02/ggs/dirdat/aa000010 ?这是不是意味着丢了数据?
这个很好解释,包括但是不限于如下的原因:
1.源头trail文件最大大小是20M一个,目的端trail文件的最大大小是2M一个。
2.源头trail文件中包括10个表的信息,目的端trail文件中包括2个表的信息(即:传输进程的参数文件起到了过滤需要同步的table的作用)
因此,如上的情况不代表传丢了数据。
本文的思路就是调整目的端trail文件的大小,让目的端trail文件号的生成速度加快,即:让目的端的trail文件号尽快的追上源头的trail文件号,从而让OGG的mgr进程尽快的删除源头的trail文件。
额外注意:
1.调整目的端trail文件的大小 是在源头进行的,具体来说就是:修改源头的传输进程
2.在整个过程中,只需要停止一下传输进程,然后修改rmttrail文件大小,然后再启动传输进程即可。可以说风险极其微小。
调整步骤(以下均在源头机器上进行)
1.info 传输进程, showch
2.info 传输进程, detail
3.stop 传输进程
4.alter rmttrail /u02/ggs/dirdat/aa, extract 传输进程, megabytes 1
--->这个alter命令是修改远程的trail file /u02/ggs/dirdat/aa 的最大大小为1MB
5.info 传输进程, showch
6.info 传输进程, detail
7.start 传输进程
0 0
- ogg源端trial文件大量囤积的处理
- 被囤积了大量的货,怎么办?
- 囤积的各种资料~
- Pig 处理大量的小文件
- Hadoop关于处理大量小文件的问题和解决方法
- Hadoop关于处理大量小文件的问题和解决方法
- 用Hadoop AVRO进行大量小文件的处理
- Hadoop关于处理大量小文件的问题和解决方法
- Hadoop关于处理大量小文件的问题和解决方法
- Hadoop关于处理大量小文件的问题和解决方法
- Hadoop关于处理大量小文件的问题和解决方法
- Linux rsync 同步大量文件及目录的处理
- 用Hadoop AVRO进行大量小文件的处理
- Hadoop关于处理大量小文件的问题和解决方法
- Hadoop关于处理大量小文件的问题和解决方法
- python对目录下的大量文件处理
- 查看 OGG debug信息 OGG 的日志文件存放路径
- OGG对于没有主键表的处理
- MyEclipse快捷键
- 自定义button 重新布局图片和title位置
- apk程序的运行过程
- 海量日志存储和查询方法及系统
- java体系结构--思维导图
- ogg源端trial文件大量囤积的处理
- JavaScript工具之客户端调试用JS
- [微积分学习]Day 5.函数在无穷远处的极限
- 在PCB板边走高频高速信号线的注意事项–高频高速信号设计基本原则
- poj 3352 Road Construction
- Linux内存buffer和cache的区别
- Go语言入门(二)——第一个Go程序
- warining:incompatible implicit declaration of built-in function 警告的解决方法
- 追踪期刊在线系统投稿状态