大数据去重，你还在发愁吗？

前言

    本篇博客可以用“简单粗暴”来形容，嗯对，就是简单粗暴。小编不久前做的两个项目，都实打实的接触了大数据操作。一个是批量导入，一个是从数据库往外查询，都涉及到了数据去重。Excel批量导入的去重，在《Excel批量导入如何做数据去重》这篇博客中已经介绍过了，下面就介绍下从数据库往外查询的数据去重。

背景

    ITOO云平台，用户登录时要判断该用户能看到的系统或者界面，下面简称用户资源。一个用户有不同身份，不同身份拥有不同资源，那么当用户登录的时候，这些资源应该怎么处理呢？小编是这么处理的，不同的身份有不同的资源，这些资源可能有重叠，也可能不一样，所以这个用户登录时，就加载该用户所有身份，查出所有身份拥有的资源，如果有重复就去重，有不同的资源就一起加载。

实现方式

    因为当前用的都是泛型集合，所以就直接用泛型集合来去重了。

1、List中的元素实现IEquatabe接口，并提供Equals方法和GetHashCode方法。

class User:IEquatable<User>//继承IEquatable接口，实现Equals方法。List就可以使用Distinct去重  {     public string name { get; set; }     string address;       public User(string _name, string _address)     {         name = _name;         address = _address;     }       public override string ToString()     {         return string.Format("name:{0},\taddress:{1}", name, address);     }       public bool Equals(User other)     {          return this.name == other.name;     }     public override int GetHashCode()     {         return name.GetHashCode();     }  }  }  List<User> nonDuplicateList1 = users.Distinct().ToList();

2、用Lambda表达式去重

List<User> nonDuplicateList2 = users.Where((x,i)=>users.FindIndex(z=>z.name == x.name) == i).ToList()

3、用循环方式去重

List<User> nonDuplicateList3 = new List<User>();//通过循环方式去重  foreach(User user in users)  {       if(nonDuplicateList3.Exists(x=>x.name==user.name) == false)       {              nonDuplicateList3.Add(user);       }   } 

总结

    作为一个后台开发人员，与数据库打交道的同时是离不开数据去重的。在做这个判断的时候，还涉及到一个问题，就是我想根据该用户登录的时间和地点等不同，猜测他有哪些身份，从而加载相应的资源，而不是将他所拥有的资源全部加载过来，但是怎么知道当前用户想以哪个身份登录呢？这也算人能做的了，但是计算机做不了的事情吧。希望各路大牛，给出一些做过的权限控制方面的经验，指点一下我这个菜鸟。