大数处理问题

http://blog.csdn.net/v_july_v/article/details/7382693： 原理讲解
http://blog.csdn.net/v_JULY_v/article/details/6403777： 程序实现
原则：大而化小，分而治之（hash映射）
解决方法：
1、分而治之/hash映射+hash统计+堆/快速排序/归并排序
2、双层桶划分
3、Bloom filter/bitmap
4、Tire树/数据库/倒排索引
5、外排序
6、分布式处理hadoop/Mapreduce

1、海量日志数据，提取出某日访问百度次数最多的那个IP。
首先是这一天，并且是访问百度的日志中的IP提取出来，逐个写入到一个大文件中。注意到IP是32位，最多有2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文件中频率最大的IP（可以使用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这100个最大的IP中，找出频率最大的IP，即为所求。
算法思想：分而治之+Hash
1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理。
2.可以考虑采用“分而治之”的思想，按照IP地址的Hash（IP）%1024值，把海量IP日志分别存储到1024个小文件中，这样每个小文件最多包含4MB个IP地址。
3.对于每一个小文件，可以构建一个IP为key，出现次数为value的Hash map，同时记录当前出现次数最多的那个IP地址；
4.可以得到1024个小文件中出现次数最多的IP，在依照排序算法得到总体的上出现次数最多的IP。

2、搜索引擎会通过日志文件吧用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。
假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是一千万，但如果去除重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就越热门），请你统计最热门的10个查询串，要求使用的内存不要超过1G。
典型的Top K算法。
算法步骤：
第一步，先对这批海量数据预处理，在O(n)时间内用Hash表完成统计；
第二步，借助堆这个数据结构，找出Top K，时间复杂度为N*O（logK）。
借助堆结构，我们可以在log量级时间内查找和移动。因此，维护一个K大小的根堆，然后遍历300万的Query，分别和根元素对比，最终时间复杂度O（N）+N*O(logK)

3、有一个1G大小的一个文件，里面每行是一个词，词的大小不超过16字节，内存限制大小是1M，返回频数最高100个词。
方案：顺序读取文件中的词，对于每个词，取hash(x)%5000，然后按照改制存到5000个小文件中，这样每个文件大小是200k左右。
如果其中有的文件超过1M大小，还可以按照类似的方法继续往下分，直到分解得到的小文件不超过1M。
对于每个小文件，统计每个文件中出现的词及相应的频率（hash_map），并取出频率最大的的100个词，并把100个词及相应的频率存入文件，这样又得到5000个文件，下一步把这5000个文件归并。
4、有10个文件，每个文件1G，每个文件的每一行都是存放的用户的Query，每个文件的query都可能重复。要求按照query的频度排序。
还是典型的TOP k算法，方案如下：
方案1：
读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件，这样新生成的文件每个大小也约1G。
找一台内存为2G左右的机器，依次对用hash_map(query,query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query与对应的query_count输出到文件，这样得到10个排好序的文件。
对着10个文件进行归并排序（内排序与外排序的结合）。

5 、给定a、b两个文件，各存放50亿个url，每个url各占64个字节，内存限制是4G,让你找出a，b文件中共同的url？
方案1： 可以评估，每个文件按大小5G*64=320G，远远大于内存的限制4G.所以不能完全加载到内存中。考虑分而治之的方法。
遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000个小文件，记为（a0,a1,…,a999）中，这样每个小文件大约为300M。
遍历文件b，采用和a相同的方式将url分别存储到1000个小文件。这样处理后，所有可能的相同的url都在对应的小文件中，不对应的小文件不可能有相同的url，然后我们只要求出1000对小文件中相同的url即可。
求每对小文件中相同的url时，我们可以把其中一个小文件的url存储到hash_set中，然后遍历另一个小文件的每个url，看看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以。

6、在2.5亿个整数中找出不重复的整数，注，内存不足以容纳2.5亿个整数。
方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11没有意义）进行，共需要2^32*2bit=1G内存。然后扫描这2.5亿个整数，查看Bitmap中相对应的位，如果是，00变01,01变10,10保持不变。所扫描完事后，查看bitmap，把对应位为01整数输出即可。
7、腾讯面试题：给40亿个不重复的unsigned int整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？
与第6题类似，快速排序和二分查找，但还有其他更好方法：
方法1：
申请512M内存，一个bit位代表一个unsigned int值，读入40亿个数，设置相应的bit位，读入要查询的数，查看相应的bit位是否为1，为1表示表示存在，为0
表示不存在。

8、怎么在海量数据中战斗奥啊重复次数最多的一个？
方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录次数，然后找出上一步求出数据中重复次数最多的一个就是所求。

9、上千万或上亿数据，统计其中出现次数最多的N个数据。
方案：上千万或者上亿数据，现在机器内存应该可以存下，考虑hash_map/搜索二叉树/红黑树等来进行统计次数，然后取出前N个出现次数最多的数据。

10、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的10个词。
方案：考虑时间效率，用trie树统计每个次出现的次数，时间复杂度为O(n*le)（le表示单词的平准长度）。然后找出出现最频繁的10个词。。也可以用堆来实现，时间复杂度为O(n*lg10)。

一、Hashing
适用范围：快速查找，删除的基本数据结构，通常需要总数据量放入内存。
基本原理及要点：
hash函数选择，针对字符串，整数，排列，具体的相应hash相应方法。
碰撞处理：一种是open hashing，即拉链法；另一种closed hashing，即开地址法。
扩展：
　　d-left hashing中的d是多个的意思，我们先简化这个问题，看一看2-left hashing。2-left hashing指的是将一个哈希表分成长度相等的两半，分别叫做T1和T2，给T1和T2分别配备一个哈希函数，h1和h2。在存储一个新的key时，同时用两个哈希函数进行计算，得出两个地址h1[key]和h2[key]。这时需要检查T1中的h1[key]位置和T2中的h2[key]位置，哪一个位置已经存储的（有碰撞的）key比较多，然后将新key存储在负载少的位置。如果两边一样多，比如两个位置都为空或者都存储了一个key，就把新key存储在左边的T1子表中，2-left也由此而来。在查找一个key时，必须进行两次hash，同时查找两个位置。
　　问题实例：
　　1).海量日志数据，提取出某日访问百度次数最多的那个IP。
　　IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。
二、bit-map
适用范围：可进行数据的快速查找，判重，删除，一般数据范围是int的10倍以下；
问题实例：
1）已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99999999，大概需要99m个bit，大概10几m字节内存即可。

四、堆
使用范围：海量数据前n大，并且n比较小，堆可放入内存
基本原理：最大堆求前n小，最小堆求前n大，方法，比起求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大堆员孙，则应该替换那个最大堆元素。这样最后得到的那n个元素就是最小的n个。适合大数据量，求前h小，n的大小比较小的情况，这样扫描一遍可以得到所有的前n元素，效率很高。
1）100w个数中找最大的前100个数。

五、双层桶划分—其实质是分而治之的思想
适用范围：第k大，中位数，不重复或重复的数字
基本原理：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可接受的范围内进行。可以多次缩小。
问题实例：
　　1).2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
　　有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。
　　2).5亿个int找它们的中位数。
　　这个例子比上面那个更明显。首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。
　　实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。