lucene.net 搜索引擎

以下转载自http://www.cnblogs.com/psforever/archive/2011/10/06/2200019.html

最近项目中使用到了lucene.net，虽然网上关于lucene.net的介绍已经很多了，在这里我的总结一下我的使用心得。我使用的是lucene.net的最新版(Lucene.Net-2.9.2)，分词器采用了盘古分词，效果还不错。用lucene.net做站内搜索无非就是两步：创建索引和对在索引中搜索。

　　一、创建索引：
　　创建索引其实很简单了，我们从数据库中获取到需要生成索引的数据，然后利用lucene.net的IndexWriter类进行索引的创建。

private void CreateIndex()        {            Lucene.Net.Store.Directory directory = FSDirectory.Open(new System.IO.DirectoryInfo(strIndexPath));            IndexWriter writer = new IndexWriter(directory, new Lucene.Net.Analysis.PanGu.PanGuAnalyzer(),                true, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);            DataTable dtNews = news.GetNews();            for (int i = 0; i < dtNews.Rows.Count; i++)            {                Lucene.Net.Documents.Document doc = new Lucene.Net.Documents.Document();                doc.Add(new Field("Title", dtNews.Rows[i]["title"].ToString(), Field.Store.YES, Field.Index.ANALYZED));                doc.Add(new Field("Url", dtNews.Rows[i]["url"].ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));                doc.Add(new Field("Content", dtNews.Rows[i]["content"].ToString(), Field.Store.YES, Field.Index.ANALYZED));                doc.Add(new Field("CreateTime", DateTimeHelper.DateTimeToUnix(Convert.ToDateTime(dtNews.Rows[i]["create_time"])).ToString(), Field.Store.YES, Field.Index.ANALYZED));                writer.AddDocument(doc);            }            writer.Optimize();            writer.Close();        }

IndexWriter构造函数中第一个参数指定索引文件存储位置；第二个参数指定分词Analyzer，Analyzer有多个子类，然而其分词效果并不好，这里使用的是第三方开源分词工具盘古分词；第三个参数表示是否重新创建索引，true表示重新创建（删除之前的索引文件），最后一个参数指定Field的最大数目。
　　IndexWriter中最重要方法void AddDocument(Document doc)，表示添加一条索引记录到索引文件中。
　　Document中最重要的实例方法void Add(Fieldable field),添加一个用于创建一条索引记录的字段。
　　Fileld类的构造函数Field(string name,string value,Field.Store store,Field.Index index)，name表示字段名；value表示字段值；store表示是否存储value值,可选值Field.Store.YES存储,Field.Store.NO不存储,Field.Store.COMPRESS压缩存储；index表示如何创建索引，可选值Field.Index.NO不创建索引，       Field.Index.NOT_ANALYZED,创建索引，索引为未分词的value，Field.Index.ANALYZED,创建索引，索引为分词后的value;

　　注意：在Lucene.Net中如果直接索引时间格式是没有用的，需要将其转换成数字类型，这里我们将其转换成了Unix时间格式，这样我们在搜索某一时间段数据时就很容易了，将时间转换成Unix时间，以及转换回来的代码如下：

private static readonly long _UinxBase = DateTime.Parse("1970-1-1 00:00:00").Ticks;        private const long _DOT_NET_TIME_TICK = 10000000;   // C#每秒所占的刻度        ///<summary>        /// 把C#时间转为Unix时间        ///</summary>        ///<param name="time">C#时间</param>        ///<returns>转换后的Unix时间</returns>        public static int DateTimeToUnix(DateTime time)        {            return (Int32)((time.ToUniversalTime().Ticks - _UinxBase) / _DOT_NET_TIME_TICK);        }        ///<summary>        /// Unix时间转化为C#时间        ///</summary>        ///<param name="time">Unix时间</param>        ///<returns>转化后的C#时间</returns>        public static DateTime UnixToDateTime(int time)        {            try            {                long t = time * _DOT_NET_TIME_TICK + _UinxBase;                return new DateTime(t).ToLocalTime();            }            catch            {                return DateTime.Today;            }        }

二、搜索
利用lucene.net实现搜索功能，主要就是利用IndexSearcher类的Search方法，在创建的索引文件中根据由关键字构建出的BooleanQuery搜索出符合条件的结果。

public List<EntityNews> SearchNews(string keyword, int pageSize, int pageNo, out int recCount)        {            string keywords = keyword; //获取用户输入关键字，以备设置高亮显示            IndexSearcher search = new IndexSearcher(FSDirectory.Open(new System.IO.DirectoryInfo(strIndexPath)), true);            keyword = GetKeyWordsSplitBySpace(keyword, new PanGuTokenizer());            QueryParser titleQueryParser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Title", new PanGuAnalyzer(true));            Query titleQuery = titleQueryParser.Parse(keyword);            Query urlQuery = new PrefixQuery(new Term("Url", keywords)); //URL不进行分词，直接模糊匹配            BooleanQuery bq = new BooleanQuery();            bq.Add(titleQuery, BooleanClause.Occur.SHOULD);//表示条件关系为“or”,BooleanClause.Occur.MUST表示“and”,BooleanClause.Occur.MUST_NOT表示“not”            bq.Add(urlQuery, BooleanClause.Occur.SHOULD);            //创建一个结果收集器（收集结果最大数为1000页）            TopScoreDocCollector collector = TopScoreDocCollector.create(pageSize * 1000, true);            search.Search(bq, null, collector);            TopDocs topDoc = collector.TopDocs(0, collector.GetTotalHits());            //搜索结果总数超出指定收集器大小，则摈弃            if (topDoc.totalHits > pageSize * 1000)                recCount = pageSize * 1000;            else                recCount = topDoc.totalHits;            int i = (pageNo - 1) * pageSize;            List<EntityNews> result = new List<EntityNews>();            while (i < recCount && result.Count < pageSize)            {                EntityNews news = new EntityNews();                Lucene.Net.Documents.Document docs = search.Doc(topDoc.scoreDocs[i].doc);                try                {                    string strTitle = docs.Get("Title");                    string strContent = docs.Get("Content");                    news.Url = docs.Get("Url");                    news.Time = DateTimeHelper.UnixToDateTime(Convert.ToInt32(docs.Get("CreateTime")));                    //高亮显示设置                    PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter = new PanGu.HighLight.SimpleHTMLFormatter("<font style=\"color:red;\">", "</font>");                    PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new PanGu.Segment());                    highlighter.FragmentSize = 50;                    //string GetBestFragment(keywords,content)方法会按照SimpleHTMLFormatter构造的格式对content中关键字进行高亮显示                    //但如果content中不包含keywords则会返回空值，故需要按照如下进行判断                    news.Content = highlighter.GetBestFragment(keywords, strContent);                    if (string.IsNullOrEmpty(news.Content))                     {                        news.Content = strContent;                    }                    news.Title = highlighter.GetBestFragment(keywords, strTitle);                    if (string.IsNullOrEmpty(news.Title))                    {                        news.Title = strTitle;                    }                }                catch (Exception e)                {                    throw e;                }                finally                {                    result.Add(news);                    i++;                }            }            search.Close();            return result;        }

可以看出BooleanQuery是一个Query的集合，我们利用一个字段构造出一个QueryParser（构造参数中的filed必须为已经创建了索引的字段），然后利用其Parse方法传入搜索关键字，得到一个Query，而且多个Query在Add到BooleanQuery中时需要给定条件之间的关系，有BooleanClause.Occur.MUST、BooleanClause.Occur.SHOULD、BooleanClause.Occur.MUST三种选择，分别对应“与”、“或”、“非”三种关系。

　　站内搜索时，有时我们可能只想在某一种类型下进行搜索，如我们只想搜索IT新闻，而所有的新闻信息都存放在一张表中，其中有一个字段NewsType标示着新闻的类型，按照上面的实例程序我们应该可以这样修改程序：

QueryParser titleQueryParser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Title", new PanGuAnalyzer(true)); Query titleQuery = titleQueryParser.Parse(keyword); Query urlQuery = new PrefixQuery(new Term("Url", keywords)); //URL不进行分词，直接模糊匹配 Query typeQuery = new TermQuery(new Term("NewsType", "娱乐新闻")); BooleanQuery bq = new BooleanQuery(); bq.Add(titleQuery, BooleanClause.Occur.SHOULD); bq.Add(urlQuery, BooleanClause.Occur.SHOULD); bq.Add(typeQuery , BooleanClause.Occur.MUST);//表示条件关系为“and”

其中的TermQuery表示“词语搜索”也就是需要全字匹配，NewsType是一个已经被索引的字段，并且它的索引方式为Field.Index.NOT_ANALYZED。

但是问题是：这样可以达到我们的要求吗？搜索出来的新闻都是“娱乐新闻”吗？答案是否定的。这样的结果是只要匹配了Title或Url就都会被搜出来。

　　对于这样的问题，我们需要再声明一个BooleanQuery用来存新闻类型的条件，然后将其与搜索关键字的BooleanQuery添加到一个新的BooleanQuery中，然后设置它们之间为“and”链接，修改代码如下：

BooleanQuery bqNewsType = null; //保存新闻类型的Query集合            BooleanQuery bqKeyword = new BooleanQuery(); //保存关键字的Query集合            QueryParser titleQueryParser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Title", new PanGuAnalyzer(true));            Query titleQuery = titleQueryParser.Parse(keyword);            Query urlQuery = new PrefixQuery(new Term("URL", keywords)); //URL不进行分词，直接模糊匹配            bqKeyword.Add(titleQuery, BooleanClause.Occur.SHOULD);            bqKeyword.Add(urlQuery, BooleanClause.Occur.SHOULD);            if (!string.IsNullOrEmpty(newsType))            {                Query typeQuery = new TermQuery(new Term("NewsType", newsType)); //不分词，直接全字匹配                bqNewsType = new BooleanQuery();                bqNewsType.Add(typeQuery, BooleanClause.Occur.SHOULD);            }                    //把两个条件集合"and"起来            BooleanQuery bq = new BooleanQuery();            bq.Add(bqKeyword, BooleanClause.Occur.MUST);            if (bqNewsType != null)            {                bq.Add(bqNewsType, BooleanClause.Occur.MUST);            }

利用这一点，还可以实现在搜索结果中再搜索，即将再次搜索的条件放在一个BooleanQuery中，将原来的搜索条件放在一个BooleanQuery，然后用一个新的BooleanQuery将它们MUST起来。