真正的inotify+rsync实时同步 彻底告别同步慢
来源:互联网 发布:黑客模拟软件 编辑:程序博客网 时间:2024/05/16 08:30
http://www.ttlsa.com/web/let-infotify-rsync-fast/
背景
我们公司在用inotify+rsync做实时同步,来解决分布式集群文件一致性的问题。但当web文件越来越多(百万级数量html,jpg等小 文件),同步就越来越慢,根本做不到实时,按照网上的调优方法都尝试过,问题根本没有解决。经过我一翻细致研究,终于把慢的核心问题研究明白,先总结一句 inotifywait响应不会有延迟,rsync也很快。大家同样有慢的烦恼,那是因为网上的inotify+rsync的教程都是坑。下面我们来分 析。
inotifywait 单独分析
执行上面命令,是让inotifywait监听/data/目录,当监听到有发生modify,create,delete,attrib等事件发生时,按%Xe %w%f的格式输出。
在/data/目录touch几个文件
观看inotify输出
知道上面的输出效果之后 我们应该想得到,可以用rsync获取inotifywait监控到的文件列表来做指定的文件同步,而不是每次都由rsync做全目录扫描来判断文件是否存在差异。
网上的inotify+rsync分析
我们来看网上的教程,我加了注释。(网上所有的教程基本都一模一样,尽管写法不一样,致命点都是一样的)
#注意看 这里的rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件发生更改,就触发10次rsync全量同步(简直就是噩梦),那还不如直接写个死循环的rsync全量同步得了。
#有很多人会说 日志输出那里明明只有差异文件的同步记录。其实这是rsync的功能,他本来就只会输出有差异需要同步的文件信息。不信你直接拿这句rsync来跑试试。
#这种在需要同步的源目录文件量很大的情况下,简直是不堪重负。不仅耗CPU还耗时,根本不可以做到实时同步。
备注:backup为rsync server配置module,除了编写脚本以外,还需要配置一个rsync server,rsync server配置参考《http://www.ttlsa.com/linux/rsync-install-on-linux/》
改良方法
要做到实时,就必须要减少rsync对目录的递归扫描判断,尽可能的做到只同步inotify监控到已发生更改的文件。结合rsync的特性,所以这里要分开判断来实现一个目录的增删改查对应的操作。
脚本如下
每两小时做1次全量同步
因为inotify只在启动时会监控目录,他没有启动期间的文件发生更改,他是不知道的,所以这里每2个小时做1次全量同步,防止各种意外遗漏,保证目录一致。
改良后我们公司这种百万级小文件也能做到实施同步了。
下面附上inotify的参数说明
inotify介绍-- 是一种强大的、细颗粒的、异步的文件系统监控机制,*&####&*_0_*&####&*内核从2.6.13起,加入Inotify可以监控文件系统中添加、删除、修改移动等各种事件,利用这个内核接口,就可以监控文件系统下文件的各种变化情况。
inotifywait 参数说明
inotifywait events事件说明
优化 Inotify
# 在/proc/sys/fs/inotify目录下有三个文件,对inotify机制有一定的限制
-----------------------------作者信息
广州 - 小朱
- 真正的inotify+rsync实时同步 彻底告别同步慢
- 真正的inotify+rsync实时同步 彻底告别同步慢
- 真正的inotify+rsync实时同步 彻底告别同步慢
- inotify+rsync实时同步 彻底告别同步慢
- 真正的inotify+rsync实时双向同步
- rsync inotify 实时同步
- rsync+inotify实时同步
- rsync+ inotify实时同步
- Rsync+Inotify实时同步
- rsync+inotify实时同步
- rsync+inotify实时同步
- Rsync+inotify 实时同步
- Rsync + inotify 实现数据的实时同步
- rsync+inotify-tools实时同步真正可用版
- rsync+inotify文件实时同步
- Rsync+inotify文件实时同步
- rsync+inotify实现实时同步
- Rsync+inotify实时同步笔记
- bluetooth connect between rpi and phone
- Android的数据存储形式
- unordermap 知识网页链接
- RadioGroup 和 ViewPager 联动
- 数据结构(三) 栈和队列
- 真正的inotify+rsync实时同步 彻底告别同步慢
- Android:Material Design之TextInputLayout使用
- java系统高并发解决方案(转载)
- HDU 2088 Box of Bricks
- CentOS7:ifconfig command not found解决
- NFS服务安装配置(centos7 nfs-utils示例)
- 安卓复习之旅—Thread、Runnable、Callable、Futrue类关系与区别
- connection problem
- Mybatis 时间段查询 和 模糊查询