hadoop的一些基本问题

来源:互联网 发布:网络歌手樊棋照片 编辑:程序博客网 时间:2024/05/16 14:50

1给定a,b 二个文件,各存放50亿各url每个url各存64个字节,内存限制是4g,找出a,b文件共同的url

哈希表

 

21亿个数,随机分布,求前一千个最大的数,内存限制为100

分块

 

32.5亿个正整数中找出不重复的整数。内存2.5g

为每个整数设置标志位,有2位组成

00 01 10 11

分别表示没出现过,出现过1次,出现过多次,不考虑

分别遍历这些整数

 

440亿个邮件地址,没排过序,然后再给一个邮件地址,如何判断这个地址在不在这40亿个邮件地址之中

哈希表

 

5海量数据分布在100台电脑中,想办法高效的统计出这批数据的top10

0 0
原创粉丝点击