我眼中的搜索引擎的不足及改进策略

来源:互联网 发布:手机淘宝直通车是什么 编辑:程序博客网 时间:2024/05/21 12:39

大家每天都用SE,但是SE还有很多不算很到位的问题,大家来讨论一下吧。

 

1、去重做的很不好。

     比如检索[编译Android内核]这个主题,其实,一共很不同的结果只有2~3种(仅限前10页),但是检索出来的一大堆内容,很多都是重复的,只不过是不同人不同网站的相互转载而已,完全没有做到简化我们检索信息的目的,给我们很大的麻烦。

 

     我预想的解决办法:综合阅读的实现

 

     所谓综合阅读,就是在检索的过程中,SE根据检索词汇,自然地收集信息,然后汇集成一片新的文章,初期,这篇文章可能不是像人写的完整的文章,更像是百科一样的树状条目,而后期随着机器智能的提升,这篇文章可能会变成真正人写成的文章。但是这篇文章可怎么获得呢?我觉得针对个别关键词的聚类算法就应该很有效,之后通过权重文章的聚类数量和rank来综合成一篇新的文章。

 

2、词与词分立

     本来完整的一句话,在SE中检索,发现得到的结果其实是分词后检索的结果,很少可能有这句话本身。而我们在使用整句检索时,却是能检索出很多这句话的。我觉得,这个问题源自SE处理时对词与词之间理解,还是做得不够细致。

 

    我预想的解决办法:动态规划

 

    其实,我们要解决的问题和矩阵连乘很类似,都是有顺序的,比如"我是来自黑龙江的数字",这句话的分词(包括停词)是(我,是,来自,黑龙江,的,数字)。好了,之后我们分别检索每个单个词的结果,之后在检索距离为2、3。。。k的整句结果,然后综合这些,k越大给的权重越大,这样我们就可以得到词与词的结合效果。更好的结果是,我们可以通过自然语言的形式分析,得到某些可以合为一类概率更大,从而调整权重!

 

暂时就写这么多吧,以后补充。