Swift源码分析----swift-container-replicator

感谢朋友支持本博客，欢迎共同探讨交流，由于能力和时间有限，错误之处在所难免，欢迎指正！

如果转载，请保留作者信息。
博客地址：http://blog.csdn.net/gaoxingnengjisuan
邮箱地址：[e-mail]

PS：最近没有登录博客，很多朋友的留言没有看见，这里道歉！还有就是本人较少上QQ，可以邮件交流。

概述部分：

实现复制指定分区（容器）数据到指定节点（用以实现数据副本之间的同步）；
这里定义的once=True，说明系统默认调用守护进程类Daemon中的run_once方法；
从而最终实现调用Replicator类中的run_once方法；
注：容器之间同步数据主要就是对形如object_file = /srv/node/node['device']/containers/partition/suffix/hsh****.db的数据库文件执行复制操作；

源码解析部分：

下面是这部分代码的主要执行流程，代码中较重要的部分已经进行了相关的注释；

from swift.container.replicator import ContainerReplicatorfrom swift.common.utils import parse_optionsfrom swift.common.daemon import run_daemonif __name__ == '__main__':    conf_file, options = parse_options(once=True)    run_daemon(ContainerReplicator, conf_file, **options)

from swift.container.backend import ContainerBroker, DATADIRfrom swift.common import db_replicatorclass ContainerReplicator(db_replicator.Replicator):    server_type = 'container'    brokerclass = ContainerBroker    datadir = DATADIR    default_port = 6001    def report_up_to_date(self, full_info):        for key in ('put_timestamp', 'delete_timestamp', 'object_count',                    'bytes_used'):            if full_info['reported_' + key] != full_info[key]:                return False        return True

class Replicator(Daemon)----def run_once(self, *args, **kwargs):    """    实现复制指定分区数据到指定节点（用以实现数据副本之间的同步）；    数据类型可能是account或container或object；    """            # 初始化若干参数的操作；    # self.stats = {'attempted': 0, 'success': 0, 'failure': 0, 'ts_repl': 0,    #              'no_change': 0, 'hashmatch': 0, 'rsync': 0, 'diff': 0,    #              'remove': 0, 'empty': 0, 'remote_merge': 0,    #              'start': time.time(), 'diff_capped': 0}    self._zero_stats()    dirs = []    ips = whataremyips()    if not ips:        self.logger.error(_('ERROR Failed to get my own IPs?'))        return            # 获取环上的设备信息；    for node in self.ring.devs:        if (node and node['replication_ip'] in ips and node['replication_port'] == self.port):            if self.mount_check and not ismount(os.path.join(self.root, node['device'])):                self.logger.warn(_('Skipping %(device)s as it is not mounted') % node)                    continue                            # 删除若干过期文件；            unlink_older_than(                os.path.join(self.root, node['device'], 'tmp'),                time.time() - self.reclaim_age)                            datadir = os.path.join(self.root, node['device'], self.datadir)            if os.path.isdir(datadir):                dirs.append((datadir, node['id']))            self.logger.info(_('Beginning replication run'))    for part, object_file, node_id in roundrobin_datadirs(dirs):                     # _replicate_object：复制指定分区数据到指定节点（用以实现数据副本之间的同步），具体步骤如下；         #     获取指定分区所在的所有节点nodes（一个分区可能对应多个节点，因为可能有多个副本）；         #     判断node_id是否在nodes的范围之内（这是合理的）；         #     循环实现数据到各个目标节点上（的分区）的复制操作；         #     通过比较同步点和哈希值来判断复制后的两个版本是否是同步的，即复制操作是否成功；        self.cpool.spawn_n(self._replicate_object, part, object_file, node_id)    self.cpool.waitall()    self.logger.info(_('Replication run OVER'))    self._report_stats()

1.for node in self.ring.devs:从环上获取所有设备，遍历并执行以下操作：
通过IP地址判断并获取属于本机的且已经挂载的设备，并存储设备对应的datadir = /srv/node/node['device']/containers和node['id']作为元素储存在字典dirs中；
注：这里实际上就是获取属于本机的设备，且明确文件路径/srv/node/node['device']/containers（对应于容器）；

2.循环遍历node['device']/containers下面的每一个文件object_file（文件路径形如object_file = /srv/node/node['device']/containers/partition/suffix/hsh****.db，为容器中具体分区下的以.db为后缀的文件），调用方法_replicate_object实现复制本地指定分区数据到指定节点（用以实现数据副本之间的同步）；

注：其他部分的内容实现与swift-account-replicator的实现是一致的，所以这里不再进行赘述；