我眼中的搜索引擎的不足及改进策略
来源:互联网 发布:手机淘宝直通车是什么 编辑:程序博客网 时间:2024/05/21 12:39
大家每天都用SE,但是SE还有很多不算很到位的问题,大家来讨论一下吧。
1、去重做的很不好。
比如检索[编译Android内核]这个主题,其实,一共很不同的结果只有2~3种(仅限前10页),但是检索出来的一大堆内容,很多都是重复的,只不过是不同人不同网站的相互转载而已,完全没有做到简化我们检索信息的目的,给我们很大的麻烦。
我预想的解决办法:综合阅读的实现
所谓综合阅读,就是在检索的过程中,SE根据检索词汇,自然地收集信息,然后汇集成一片新的文章,初期,这篇文章可能不是像人写的完整的文章,更像是百科一样的树状条目,而后期随着机器智能的提升,这篇文章可能会变成真正人写成的文章。但是这篇文章可怎么获得呢?我觉得针对个别关键词的聚类算法就应该很有效,之后通过权重文章的聚类数量和rank来综合成一篇新的文章。
2、词与词分立
本来完整的一句话,在SE中检索,发现得到的结果其实是分词后检索的结果,很少可能有这句话本身。而我们在使用整句检索时,却是能检索出很多这句话的。我觉得,这个问题源自SE处理时对词与词之间理解,还是做得不够细致。
我预想的解决办法:动态规划
其实,我们要解决的问题和矩阵连乘很类似,都是有顺序的,比如"我是来自黑龙江的数字",这句话的分词(包括停词)是(我,是,来自,黑龙江,的,数字)。好了,之后我们分别检索每个单个词的结果,之后在检索距离为2、3。。。k的整句结果,然后综合这些,k越大给的权重越大,这样我们就可以得到词与词的结合效果。更好的结果是,我们可以通过自然语言的形式分析,得到某些可以合为一类概率更大,从而调整权重!
暂时就写这么多吧,以后补充。
- 我眼中的搜索引擎的不足及改进策略
- 我眼中的韩国搜索引擎
- 我眼中的策略模式
- 我眼中的设计模式 ----策略模式
- struts formBean动态绑定数据的不足及改进
- (转)struts formBean动态绑定数据的不足及改进
- HDFS的缺点及改进策略
- HDFS的缺点及改进策略
- HDFS的优点、缺点及改进策略
- 我眼中的指针
- 我眼中的实施
- 我,眼中的诗歌
- 我眼中的李开复
- 我眼中的Spring
- 我眼中的MM
- 我眼中的浪漫爱情
- 我眼中的自由
- 我眼中的Python
- hdu 1087 Super Jumping! Jumping! Jumping!
- iOS Programming Development Road Map
- Oracle中的 imp 和 exp
- linux 内核学习 -3.9
- windows7 打开方式不能使用的解决办法
- 我眼中的搜索引擎的不足及改进策略
- vc 多线程
- 不定期总结一下我觉得哪些简单的语法可以提高程序速度。
- poj2978——Colored stones
- ASCII
- 704 - Colour Hash
- Configuration file for Console Telnet 2.0
- 积分啊下载的东东这么难呢?
- 一个Linux守候进程例子