docker解决数据存储问题的方案

现在docker在云计算领域发展的势头很猛，各个公司不论大小都开始研究这个开源工具和技术，围绕docker的开源项目和创业公司也多如牛毛，就是一个简单管理container的web ui都有很多开源项目。不过还是一个人说的好，docker必须要是集群才好玩，而且越大越好玩。当然这是从玩技术的人眼中看待的问题，如果要真正用于生产还是有很多问题需要解决，很多方案需要设计，很多容错需要处理。今天看资料学习到了docker是怎样解决容器里面数据存储的问题的方案，以前做PAAS遇到过这种问题，不过自己也设计了相应的方案解决了问题。不过docker提供的volumes解决方案好像感觉更加完美和灵活一些，但是总体架构和思路其实都是一样的。下面就根据自己的理解说说docker的volumes解决方案，官方文档有详细的使用说明，如果想要尝试一把，请自行google或者直接访问docker官方问题：http://gz.58.com/jdyd/jh_%E3%80%8E%E7%A6%8F%E5%B7%9E%E9%BC%93%E6%A5%BC%E5%8C%BA%E5%93%AA%E9%87%8C%E6%9C%89%E6%89%BE%E9%85%92%E5%90%A7%E7%BE%8E%E5%A5%B3%E6%9C%8D%E5%8A%A11852070-9456%E5%B0%8F%E5%A6%B9%E6%8C%89%E6%91%A9%E3%80%8F/

在介绍具体方案以前先说说基于container运行的程序有什么样的数据存储问题。传统的软件开发人员都习惯了使用本地磁盘保存文件等数据，如果程序挂了以后重新启动以后那么数据还在（硬盘没坏的情况下），你可能会说为什么不使用云存储或者分布式文件系统或者数据库之类的，首先传统行业开发者可能还没有接受或者接触云存储系统和概念，其次小公司或者个人开发者不一定能够可以自己使用的云存储系统（第三方往往需要收费，而且不一定好用），数据库不合适存储文件。所以这些问题就需要PAAS平台（不管是公有还是私有，当然这里把docker也算在内了）去解决，如果PAAS平台是基于container运行应用的架构那么就存在本地数据存储的问题。因为PAAS平台需要合理利用资源，那么就需要动态调度运行程序到不同的主机上去运行，那么在应用被从一个container调度另一个container运行的时候，怎样保证数据也被同样迁移过去，而且迁移后的container和以前的container可能根本不在同一个主机上。那么数据迁移就是一个很大的问题，想要很优雅的解决这个问题不是那么容易的。

先看看我以前是怎么解决这个问题的（其实你会发现和docker的解决方案是那么惊人的相似），我们为开发者提供一个目录，承诺在这个目录下存放的问题保证在大多数情况下不会丢失（极端情况可能会丢失一些数据，例如硬盘坏掉而且这时数据刚好还没有成功备份，当然也有解决方案，不过需要牺牲用户体验和性能：就是同步写云存储），然后我们有一个文件系统的监听agent会监控这些目录的变化，如果在一个固定间隔时间内有文件变化就会定期把这个目录压缩成一个压缩文件然后上传云存储，当用户的应用被迁移到另一个container中去的时候在从云存储下载并且解压到相应目录即可。这里为了解决用户不停的写文件导致频繁的进行压缩和上传操作，我们设置了一个时间间隔来做这些操作。如果在这个时间间隔内有数据写入并且还没有执行压缩上传操作的时候主机挂掉或者硬盘坏掉那么部分数据丢失。为了解决上传过多文件到云存储每次都是覆盖以前老的文件，即一个应用只有一个压缩文件被存放在云存储。通过这种方案我们解决了基本上99%以上的数据存储问题。