Netty数据传输-客户端,queue-client

来源:互联网 发布:詹妮弗劳伦斯 知乎 编辑:程序博客网 时间:2024/06/14 12:57

一个小程序员的成长日记】在公司接了一个任务,完成一个项目数据同步模块。要求是不能操作项目的数据库。所以想到的方案是使用log4jdbc记录数据源的SQL语句或者存储过程到日志文件。然后按行读取日志文件中的数据,记录读取的点,以便下次继续读取。读取的数据进入Big Queue队列(一个大型、快速且持久的队列),使用Netty将出队数据实时由客户端传输到服务端。传输后获取状态,判断状态,失败则重新传输。成功传输下一条数据。保证数据的时效性及有序性。作为一个小白,查阅了队列,Netty框架,以及一些Java多线程的知识,参考了很多文章。写了这个demo。还有一个服务端用于接收数据,并保存到目标数据库。此模块还有很多地方需要优化,比如里面涉及的文件路径问题等等,有待慢慢研究。

这是我的Github的地址 : https://github.com/MettCat/queue-client.git

这是服务端传送门:http://blog.csdn.net/sinat_38187966/article/details/78100478

原创粉丝点击