海量数据处理
来源:互联网 发布:人工智能 双语 编辑:程序博客网 时间:2024/05/17 06:02
给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?
答案:
可以估计每个文件的大小为5G*64=300G,远大于4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
遍历文件a,对每个url求取hash(url)%1000,然后根据所得值将url分别存储到1000个小文件(设为 a0,a1,...a999)当中。这样每个小文件的大小约为300M。遍历文件b,采取和a相同的方法将url分别存储到1000个小文件 (b0,b1....b999)中。这样处理后,所有可能相同的url都在对应的小文件(a0 vs b0, a1 vs b1....a999 vs b999)当中,不对应的小文件(比如a0 vs b99)不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。
比如对于a0 vs b0,我们可以遍历a0,将其中的url存储到hash_map当中。然后遍历b0,如果url在hash_map中,则说明此url在a和b中同时存在,保存到文件中即可。
如果分成的小文件不均匀,导致有些小文件太大(比如大于2G),可以考虑将这些太大的小文件再按类似的方法分成小小文件即可。
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 深入理解HTTP消息头
- Sqlite查询新增数据的id
- 在JAVA中怎么比较Double类型数据的大小?
- JAVASCRIPT定义对象的四种方式
- Linux系统性能监控工具
- 海量数据处理
- 怎么修改CEdit中文本的字体大小及颜色
- kvm环境创建虚拟机
- Linux之线程同步-互斥量
- Eclipse常见的颜色设置及常用快捷键 转自:http://blog.csdn.net/badboy1110/article/details/6875891
- A*算法详解(转)
- 【WebRTC进阶版】有用的文章给予灵感
- Javascript中this的四种使用场景
- 通过Oracle JOB包定期执行数据统计