处理160万图片数据冗余

晚上睡不着就想起老大的任务，整理出160多万的服务器冗余数据

问题是这样的，网站现在又很多图片在服务器上，但是这些图片真正是不用的，造成这种情况的原因是，比如在发布一篇博客的时候，你上传了一张图片，但是这篇博客你并没有发表，图片已经在服务器上了，这样，这张图片就永远不会用到，造成数据冗余

图片这样处理的，有专门的图片服务器存放图片，路径在redis服务器上，通过guid在redis服务器上获取的图片路径

任务是，整理出那些guid在redis上有无数据，那些在图片服务器上有无数据，还有就是那些在redis上有，但是没用到的（也就是数据库里没有的）

我的思路是，先定义一个实体类有如下属性：

   public Boolean IsRedis { get; set; }   public Boolean IsSqlServer { get; set; }   public Boolean IsLocal { get; set; }

其实就是对guid做一个标记，比如说redis上有那么就把IsRedis 标记为TRUE；数据库有就把issqlserver标记为TRUE，同理local就是图片服务器上的

先拿到redis的所有key也就是guid然后遍历，并用key做键，实体吧isredis设为TRUE之后做value存到键值对集合中，对数据库也是同样的操作，

处理完之后再把数据提交到数据库，提交数据库是用批量提交的，10w条提交一次

   Dictionary<string, Class1> dic = new Dictionary<string, Class1>();            List<string> list = new Redis().Get();            foreach (string s in list)            {                if (dic.ContainsKey(s))                {                    dic[s].IsRedis = true;                }                else                {                    dic.Add(s, new Class1() { IsRedis = true });                }            }            using (DataTable table = new SQl().Get())            {                foreach (DataRow r in table.Rows)                {                    string s = r["guid"].ToString();                    if (dic.ContainsKey(s))                    {                        dic[s].IsSqlServer = true;                    }                    else                    {                        dic.Add(s, new Class1() { IsSqlServer = true });                    }                }            }            //提交数据库            using (DataTable table = new DataTable())            {                table.Columns.Add("Guid");                table.Columns.Add("IsRedis");                table.Columns.Add("IsSqlServer");                foreach (KeyValuePair<string, Class1> pair in dic)                {                    table.Rows.Add(new object[] { pair.Key, pair.Value.IsRedis, pair.Value.IsSqlServer });                    if (table.Rows.Count > 100000)                    {                        SQl sQl = new SQl();                        sQl.Submit(table);                        table.Rows.Clear();                    }                }                SQl sQl1 = new SQl();                sQl1.Submit(table);                table.Rows.Clear();            }

就是这样，我是先做了一个测试，总共耗时51m，最终提交到数据库的数据是2201341条数据

测试环境 SqlServer2012  vs13 server2012服务器（虚拟机）