海量数据处理(1)
来源:互联网 发布:oyz什么意思网络用语 编辑:程序博客网 时间:2024/06/05 13:04
海量数据处理
题目1
给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,找出a、b文件共同的url?
解决方案:
每个文件的大小为(5000000000×64÷1024÷1024÷1024)G≈298G,远远超出内存限制,所以不可能将其完全加载到内存中处理,采用分而治之的思想。
1. 处理文件a
遍历文件a,对每个url求取hash(url)%1000,然后根据所取得的值将url分别存储到1000个小文件中(文件名记为a1,a2,…,a1000)。这样每个小文件的大约为300M。
2. 处理文件b
遍历文件b,采取和a相同的方式将url分别存储到1000个小文件中(文件名记为b1,b2,…,b1000)。
这样处理后,所有可能相同的url都存在于对应的小文件中(a1 vs b1,a2vs b2,…,a1000 vs b1000),不对应的小文件不可能有相同的url。
接下来我们只要求出1000对小文件中相同的url即可。
3. 小文件处理
求每对小文件中相同的url时,可以把该小文件(ai)的url存储到hash_set中。然后遍历对应小文件(bi)的每个url,看其是否在刚才构建的hash_set中,如果是,那么就是共同的url,存到文件里面就可以了。
- 海量数据处理(1)
- 海量数据处理(二)
- 海量数据处理 (转)
- SQLServer海量数据处理 - 1 索引
- 海量数据处理的问题(1)
- 海量数据处理分析(转)
- 海量数据处理方案(转)
- 海量数据处理方法(转)
- 海量数据处理--位图(BitMap)
- 海量数据处理(面试题)
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- UE中常用正则表达式
- Precision/Recall和ROC曲线原理以及Matlab源码
- 使用CInternetSession获取utf-8页面中文乱码问题解决方法
- webkit内核在各个平台上的应用
- 调试技巧 —— 如何利用windbg + dump + map分析程序异常
- 海量数据处理(1)
- 阿泰水晶报表补空行(分组)
- Oracle多行记录合并/连接/聚合字符串的几种方法
- TD中缺陷状态转换设置
- mysql的表的类型
- 一、MyBatis简介与配置MyBatis+Spring+MySql
- Placement New
- Sqlite源码编译为DLL步骤及利用MFC在WINCE5.0下操作sqlite数据库步骤
- 计算机英语收集(欢迎指正)