solr索引分片查找以及性能调优

来源:互联网 发布:传奇世界技能数据库 编辑:程序博客网 时间:2024/05/16 08:22

queryResultWindowSize:一次查询中存储最多的doc的id数目。

queryResultMaxDocsCached:一次查询中存储最多的doc数目

<documentCache
class="solr.LRUCache"
size="2560"
initialSize="2560"/>:doc缓存的大小,即存储的doc的数量。大小要大于一次查询的结果集数量乘以并发查询数量。

<queryResultCache
class="solr.LRUCache"
size="16000"
initialSize="8000"
autowarmCount="4000"/>:缓存最多的doc的id集合。大小为查询的数量乘以域的数量再乘以可以排序的域的数量。

<filterCache
class="solr.FastLRUCache"
size="2000"
initialSize="1000"
autowarmCount="1000"/>:查询时有q也有fq,fq求交再与q求并。filterCache缓存key为查询语句和,value为文档id。主要用在facet。

预热查询,在solr启动后放入缓存:

[html] view plaincopy
  1. <listener event="firstSearcher" class="solr.QuerySenderListener">  
  2. <arr name="queries">  
  3. <lst><str name="q">cats</str><str name="fq">category:1</  
  4. str><str name="sort">title desc,value desc,score desc</str><str  
  5. name="start">0</str><str name="rows">20</str></lst>  
  6. <lst><str name="q">cars</str><str name="fq">category:2</  
  7. str><str name="sort">title desc</str><str name="start">0</str><str  
  8. name="rows">20</str></lst>  
  9. <lst><str name="q">harry</str><str name="fq">category:4</  
  10. str><str name="sort">score desc</str><str name="start">0</str><str  
  11. name="rows">20</str></lst>  
  12. </arr>  
  13. </listener>  
提交后的查询预热
[html] view plaincopy
  1. <listener event="newSearcher" class="solr.QuerySenderListener">  
  2. <arr name="queries">  
  3. <lst><str name="q">cats</str><str name="fq">category:1</  
  4. str><str name="sort">title desc,value desc,score desc</str><str  
  5. name="start">0</str><str name="rows">20</str></lst>  
  6. <lst><str name="q">cars</str><str name="fq">category:2</  
  7. str><str name="sort">title desc</str><str name="start">0</str><str  
  8. name="rows">20</str></lst>  
  9. <lst><str name="q">harry</str><str name="fq">category:4</  
  10. str><str name="sort">score desc</str><str name="start">0</str><str name="rows">20</str></lst>  
  11. </arr>  
  12. </listener>  
分片部署

指定多个片:http://localhost:8983/solr/select/?q=*:*&shards=localhost:8983/solr,localhost:8984/solr

缓存查询结果页面,相同的查询输入在一小时内会直接返回而不进行查询

[html] view plaincopy
  1. <requestDispatcher handleSelect="true">  
  2. <httpCaching lastModifiedFrom="openTime" etagSeed="Solr">  
  3. <cacheControl>max-age=3600, public</cacheControl>  
  4. </httpCaching>  
  5. </requestDispatcher>  
改进facet性能,查询的时候指定缓存

http://localhost:8983/solr/select/?q=company&facet=true&facet.field=facetCity&facet.field=facetState&f.facetCity.facet.method=enum&f.facetState.facet.method=enum
Data Import Handler加快建立索引,1分钟提交一次和50000个文档提交一次

[html] view plaincopy
  1. <updateHandler class="solr.DirectUpdateHandler2">  
  2. <autoCommit>  
  3. <maxTime>60000</maxTime>  
  4. </autoCommit>  
  5. </updateHandler>  
  6. <updateHandler class="solr.DirectUpdateHandler2">  
  7. <autoCommit>  
  8. <maxDocs>50000</maxDocs>  
  9. </autoCommit>  
  10. </updateHandler>  

尽快返回一定数目的文档,100毫秒要求返回

http://localhost:8983/solr/select?q=financial report&timeAllowed=100


多长时间提交一次:

 <autoCommit>
       <maxTime>${solr.autoCommit.maxTime:15000}</maxTime>
       <openSearcher>false</openSearcher>
  </autoCommit>

查询条件的大小:(超过会报错)

<maxBooleanClauses>3024</maxBooleanClauses>


限制返回值的大小:

  1. <!-- Request Parsing:请求解析  
  2.         这些设置说明Solr Requests如何被解析,以及对ContentStreams有什么限制。  
  3.   
  4.          enableRemoteStreaming - 是否允许使用stream.file和stream.url参数来指定远程streams。  
  5.   
  6.          multipartUploadLimitInKB - 指定多文件上传时Solr允许的最大的size。  
  7.   
  8.          formdataUploadLimitInKB - 表单通过POST请求发送的最大size  
  9.        -->   
  10.      <requestParsers enableRemoteStreaming="true"  
  11.                      multipartUploadLimitInKB="2048000"  
  12.                      formdataUploadLimitInKB="2048"/>  


0 0
原创粉丝点击