海量数据处理
来源:互联网 发布:用java开发微信企业号 编辑:程序博客网 时间:2024/06/03 17:22
1、有一千万条短信,有重复,以文本文件的形式保存,一行一条,有 重复。请用5分钟时间,找出重复出现最多的前10条。
方法1:可以用哈希表的方法对1千万条分成若干组进行边扫描边建散列表。第一次扫描,取首字节,尾字节,中间随便两字节作为hash Code,插入到hash table中。并记录其地址和信息长度和重复次数,1千万条信息,记录者几个信息还放得下。同hash code且等长就是疑似相同,比较一下。相同记录只加1次进hash table,但将重复次数加1.一次扫描以后,已经记录各自的重复次数,进行第二次hash table的处理。用线性时间选择可在O(n)的级别上完成前10条的寻找。分组后每份中的top 10必须保证各不相同,可用hash来保证。也可以直接按hash值的大小来分类。
方法2:可以采用从小到大排序的方法,根据经验,除非是群发的过节短信,否则字数越少的短信出现重复的几率越高。建议从字数少的短信开始找起,比如一开始搜一个字的短信,找出重复出现的top10并分别记录出现次数,然后搜两个字的,比如开始搜一个字的短信,找出重复出现的top10并分别记录出现次数,然后搜两个字的,一次类推。对于相同字数的比较长的短信的搜索,除了hash之类的算法外,可以选择只抽取头、中和尾等几个位置的字符进行粗判,因为此种判断方式是为了加快查找速度但未必能得到真正期望的top10,因此需要做标记;如此搜索一遍后,可以从各次top10结果中找到备选的top10,如果这top10中有刚才做过标记的,则对其对应的所有短信进行精确搜索以找到真正的top10并在此比较。
2、有一亿个浮点数,请找出其中最大的10000个。提示:假设每个浮点数占4个字节,1亿个浮点数就要占到相当大的空间,因此不能一次将全部读入内存进行排序。既然不可以一次读入内存,那可以使用如下方法:
方法:分块查找- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- 海量数据处理
- SendMessage 函数
- 安装setuptools的问题
- 程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大经典原创系列集锦与总结
- 一个小程序员3个月的学习历程
- 第一次写MySQL存储过程遇到的关于DELIMITER的问题
- 海量数据处理
- 在Ubuntu 10.04下安装Google拼音输入法
- 重新安装一个linux系统后如何快速搭建可用于开发板nfs挂载根文件系统的过程
- systemd 的工具与技巧提示
- 《JavaWeb---简单应用---服务器向客户端提供音乐资源(二)》---歌曲展示页面提升,实现渐变色显示,选中行变色
- CBN_SELCHANGE
- java web(二) struts2入门一
- 常用数据结构
- MFC为简单对话框程序添加菜单并加上响应事件