从两个文件(各含50亿个url)中找出共同的url
来源:互联网 发布:淘宝店代理品牌怎么做 编辑:程序博客网 时间:2024/05/22 16:07
给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?
答案:
可以估计每个文件的大小为5G*64=300G,远大于4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
遍历文件a,对每个url求取hash(url)%1000,然后根据所得值将url分别存储到1000个小文件(设为a0,a1,…a999)当中。这样每个小文件的大小约为300M。遍历文件b,采取和a相同的方法将url分别存储到1000个小文件(b0,b1….b999)中。这样处理后,所有可能相同的url都在对应的小文件(a0 vs b0, a1 vs b1….a999 vs b999)当中,不对应的小文件(比如a0 vs b99)不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。
比如对于a0 vs b0,我们可以遍历a0,将其中的url存储到hash_map当中。然后遍历b0,如果url在hash_map中,则说明此url在a和b中同时存在,保存到文件中即可。
如果分成的小文件不均匀,导致有些小文件太大(比如大于2G),可以考虑将这些太大的小文件再按类似的方法分成小小文件即可。
阅读全文
0 0
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 从两个文件(各含50亿个url)中找出共同的url
- 定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
- 给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?
- 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
- 给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?
- 给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?
- 两个文件a和b,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出a,b文件共同的URL
- 一个大的含有50M个URL的记录,一个小的含有500个URL的记录,找出两个记录里相同的URL。
- 一个大的含有50M个URL的记录,一个小的含有500个URL的记录,找出两个记录里相同的URL。
- 一个大的含有50M个URL的记录,一个小的含有500个URL的记录,找出两个记录里相同的URL。
- 从url中提取文件的扩展名
- 从request中获取上上个请求的url
- 程序员的四个境界
- Kali2.0 linux安装漏洞扫描工具Nessus
- 20170622使用VTK库画一个立方体
- C++,ini文件操作(包含类)
- Maven学习(一) 搭建Maven环境
- 从两个文件(各含50亿个url)中找出共同的url
- 从高考到程序员
- Windows+Sublime Text3配置Lua开发环境的图文详细步骤
- Core ML 与 Vision:iOS 11 机器学习教程
- Jacoco+Eclipse简单操作
- WebAPP对NativeApp的优缺点
- 《软技能—代码之外的生存指南》读书笔记之一:职业
- java调用微信sdk图片选择上传保存到七牛
- 单KEY业务,数据库水平切分架构实践