社会化搜索与推荐浅析-大数据下的实时搜索
来源:互联网 发布:vmware安装mac os dmg 编辑:程序博客网 时间:2024/06/05 04:48
本文由larrylgq编写,转载请注明出处:http://blog.csdn.net/larrylgq/article/details/7399237
作者:吕桂强
邮箱:larry.lv.word@gmail.com
当我们的数据大到一定的程度,无法通过RDBMS来处理时一般的做法是使用RPC/http+索引服务器+数据库来实现
通常的做法是:
使用cron等定期到数据库拉取数据,传输到索引服务器,索引服务器会创建到排索引,而业务机通过RPC/http来访问索引服务器,直接进行关键字模糊匹配消耗是惊人的,所以
一般都会进行关键字的前缀冗余,正常我们看到的进行关键字前缀冗余的做法是通过Trie树(Aho-Corasick算法)等来实现。
这个算法的好处就是
1:将公共前缀合在一起,避免空间浪费
2:计算量最大为树的广度*搜索单词的长度
但是为了进行实时搜索trie树还是太慢了,我们需要一种更快的找到匹配关键字的方法:哈希加链表
当存储关键字的时候,对关键字进行前缀冗余并排序存放如:
这样当我们可以快速的通过hash值找到用户输入值的位置,在这个基础上向下查找既可以找到匹配的关键字
*有关hash的介绍http://blog.csdn.net/larrylgq/article/details/7383527
但是相比Trie来说也有一个缺点就是存储空间会变大
- 社会化搜索与推荐浅析-大数据下的实时搜索
- 社会化搜索与推荐浅析-常见推荐算法的比较和浅析
- 社会化搜索与推荐浅析-智能web浅析
- 社会化搜索与推荐浅析-聚类与分类
- 社会化推荐系统浅析-社会化推荐系统和传统搜索的区别及当前现状随谈
- 社会化搜索与推荐浅析-小例子说明什么是贝叶斯及证明过程
- 大数据驱动下的微博社会化推荐
- 大数据驱动下的微博社会化推荐
- 大数据驱动下的微博社会化推荐
- 社会化搜索与推荐浅析-朴素贝叶斯+laplace平滑文本分类器推导过程及java版实现
- 金融科技&大数据产品推荐:日志易—机器数据实时搜索分析引擎
- iOS的实时搜索:UISearchBar与UISearchController
- 利用nutch-1.2和Lucene 搭建自己的搜索平台, Apache Mahout 构建社会化推荐引擎
- 14 款基于 jQuery 的实时搜索插件推荐
- [转载] 14 款基于 jQuery 的实时搜索插件推荐
- 分布式架构、大数据、机器学习、搜索、推荐、广告
- IOS8下的数据搜索
- 大数据时代搜索时的个人隐私
- grep 精确匹配
- 多线程CreateThread函数的用法及注意事项
- 关于Silverlight 添加右键在某些浏览器中看不到的问题
- 初来乍到
- ubuntu 下安装nginx 及web服务配置
- 社会化搜索与推荐浅析-大数据下的实时搜索
- C++ zlib 压缩解压文件
- 无法连接到安全检查代理服务器,创建套接字失败
- HTML5 音视频标签的方法、属性和事件
- 正则表达式入门
- HeadFirst设计模式之Singleton【孤独者模式】
- __cdecl __fastcall与 __stdcall
- mp3播放器的mciSendString命令用法
- 转载: java写 webService