大数据处理之（top k）

top k 简介：在大量数据中找出重复次数最多的前K个。

问题分析：
听起来这个问题十分简单，只需对这些数据进行一次排序即可得到前K个。如果这样的话，首先得定义一个数据结构来保存这些数据，大量的数据会消耗过大的进程资源，甚至“耗尽”进程的资源。还有一个问题是排序的时间复杂度是非常高的，一般来说，较快的排序算法时间复杂度是O（n*log2n）。倘若数据过大，也就是n过大，时间复杂度也会是非常高的。为了提高程序执行效率，我们应该尽快的优化程序，使程序在个个情况下的复杂度达到理想化。

解决办法：1.数据量过大，导致进程资源被耗尽的问题：将大量数据平均写到多个文件当中，再找出每个文件中的top k并记录，再找出记录下来的前top k。则最终找到的就为整个大数据中的top k。
2.时间消耗过大：我们可以先将每个文件中的数据存入到map表中去。first:数据，second：重复的次数。再利用小根堆，先将前10个数据添加到map表中，然后依次比较剩下的数据的second如果大于map表中top的second，则将他更新到map表中。最终只需打印出小根堆所对应的前10个元素即可。

#include <iostream>#include <map>#include <string>#include <string.h>#include <hash_map>#include <queue>#include <vector>#include <algorithm>#include <functional>using namespace std;struct Value{       Value(int key = 0 )           :_key(key)           ,_count(1)       { }       bool operator>(const Value &src)const                //凡是不修改对象的，一律写成常方法       {          return _count > src._count;       }      int  _key;      int _count;};int main(){   FILE* pf = fopen("data.txt","w");   for(unsigned int i=0;i<1000000;++i)   {       fprintf(pf, "%d ",rand()%500);   }   fclose(pf);    const int FILE_NUM = 200;    FILE* pfiles[FILE_NUM];    for(int i=0; i<FILE_NUM; ++i)    {        char buffer[50] = "data.txt";        char index[10] = {0};        itoa(i, index, 10);        strcat(buffer, index);        pfiles[i] = fopen(buffer,"w");    }    pf = fopen("data.txt", "r");    while(!feof(pf))    {        int data = 0;        fscanf(pf,"%d", &data);        int fileindex = data%FILE_NUM;        fprintf(pfiles[fileindex], "%d ", data);    }    for(int i=0;i<FILE_NUM;i++)    {        fclose(pfiles[i]);    }    fclose(pf);    for(int i=0; i<FILE_NUM; ++i)    {        char buffer[50] = "data.txt";        char index[10] = {0};        itoa(i, index, 10);        strcat(buffer, index);        pfiles[i] = fopen(buffer,"r");    }      vector<Value> last;//保存最终200个文件中的分别的重复最多的前10个元素    for(int i=0;i<FILE_NUM;i++)    {        vector<int> array;       while(!feof(pfiles[i]))       {           int data;           fscanf(pfiles[i], "%d", &data);           array.push_back(data);       }        hash_map<int,Value> map2;        while(!array.empty())        {             //map2[array[i]]++;             hash_map<int,Value>::iterator it = map2.find(array.back());              if(it == map2.end())              {                 map2[array.back()] = Value(array.back());              }              else              {                it->second._count++;              }              array.pop_back();         }        priority_queue<Value,vector<Value>,greater<Value>> que;         hash_map<int,Value>::iterator it2 = map2.begin();         for(int i=0;it2 != map2.end();++it2,++i)          {                 if(i<10)                {                  que.push(it2->second);                }              else              {                if(it2->second > que.top())                 {                    que.pop();                    //que.push(it2->second);                    que.push(it2->second);                 }             }         }            while(!que.empty())            {                last.push_back(que.top());                que.pop();            }    }    hash_map<int,Value> map3;    priority_queue<Value,vector<Value>,greater<Value>> que1;    int flag = 0;    while(!last.empty())    {        hash_map<int,Value>::iterator it = map3.find(last.back()._key);        if(it == map3.end())        {            map3[last.back()._key] = last.back();        }        else        {            it->second._count++;        }        last.pop_back();    }    hash_map<int,Value>::iterator it = map3.begin();    for(int i=0;it!=map3.end();it++,i++)    {       if(i<10)       {           que1.push(it->second);       }       else       {           if(it->second > que1.top())           {              que1.pop();              que1.push(it->second);           }       }    }    while(!que1.empty())   {     cout<<"first:"<<que1.top()._key<<"   second:"<<que1.top()._count<<endl;      que1.pop();   }    for(int i=0;i<FILE_NUM;i++)    {        fclose(pfiles[i]);    }   return 0;}