[lucene] setOmitTermFreqAndPositions与setOmitNorms

+ 测试setOmitTermFreqAndPositions与setOmitNorms后搜索速度的变化

  元数据: zhwiki-20100529-pagelinks.sql(675587k)

  -单次搜索(均是清空缓存后的测试):

     不Omit:  90ms        Omit: 34ms

  -1002次搜索

     不Omit:  34985ms     Omit: 19025ms

+ 兼容性: 旧索引未omit，后面添加的新索引omit，最后合成的最终索引，search的时候可以正确找到doc

+ 先不omit，后omit，最终的index的大小，和一开始就omit的大小差不多:

luming@Xluke:~/luowl/test$ java org.apache.lucene.demo.IndexFiles ../data/split-zhwiki/zhwiki1.txt   // 未omit

Indexing to directory 'index'...

input src file costs 7825 ms

Optimizing...

indexing cost 164911 total ms

172736 total milliseconds

luming@Xluke:~/luowl/test$ ls -lk index/

total 195200

-rw-r--r-- 1 luming luming  16273 2010-07-20 10:34 _0.cfx

-rw-r--r-- 1 luming luming 178914 2010-07-20 10:34 _10.cfs

-rw-r--r-- 1 luming luming      1 2010-07-20 10:34 segments_2

-rw-r--r-- 1 luming luming      1 2010-07-20 10:34 segments.gen

luming@Xluke:~/luowl/test$ java org.apache.lucene.demo.IndexFiles ../data/split-zhwiki/zhwiki2.txt    //这里开始omit

Indexing to directory 'index'...

input src file costs 7984 ms

Optimizing...

indexing cost 185118 total ms

193102 total milliseconds

luming@Xluke:~/luowl/test$ ls -lk index/

total 217252

-rw-r--r-- 1 luming luming 217237 2010-07-20 10:43 _1w.cfs

-rw-r--r-- 1 luming luming      1 2010-07-20 10:43 segments_3

-rw-r--r-- 1 luming luming      1 2010-07-20 10:43 segments.gen

+不omit的话，index的大小

luming@Xluke:~/luowl/test$ ls -lk 1-index

total 407872

-rw-r--r-- 1 luming luming  34129 2010-07-01 14:18 _0.cfx

-rw-r--r-- 1 luming luming 373731 2010-07-01 14:18 _27.cfs

-rw-r--r-- 1 luming luming      1 2010-07-01 14:18 segments_2

-rw-r--r-- 1 luming luming      1 2010-07-01 14:18 segments.gen