Solr集群

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。

 SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能：

1）集中式的配置信息

2）自动容错

3）近实时搜索

4）查询时自动负载均衡

1.1.1   zookeeper是个什么玩意？

顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员， Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper；Zookeeper:是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。

1.1.2  Zookeeper可以干哪些事情

1、配置管理

在我们的应用中除了代码外，还有一些就是各种配置。

2、集群管理

在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些节点会进进出出。有新的节点加入进来，也有老的节点退出集群。

2.1  Solr集群的搭建

本教程的这套安装是单机版的安装，所以采用伪集群的方式进行安装，如果是真正的生产环境，将伪集群的ip改下就可以了，步骤是一样的。

需要三个zookeeper节点

四个solr节点。

 

使用伪分布式实现solr集群。需要三个zookeeper实例，4个tomcat实例，可以在一台虚拟机上模拟。建议虚拟机1G以上内存。

3.1  Zookeeper集群的搭建

3.1.1   前台条件

三个zookeeper实例。Zookeeper也是java开发的所以需要安装jdk。

1、Linux系统

2、Jdk环境。

3、Zookeeper。

1.1.1   Zookeeper的安装步骤

第一步：把zookeeper的安装包上传到服务器

第二步：解压缩。

[root@bogon ~]# tar -zxfzookeeper-3.4.6.tar.gz

[root@bogon ~]#

第三步：在/usr/local/目录下创建一个solrcloud目录。把zookeeper解压后的文件夹复制到此目录下三份。分别命名为zookeeper1、2、3

[root@bogon ~]# mkdir /usr/local/solrcloud

[root@bogon ~]# mv zookeeper-3.4.6/usr/local/solrcloud/zookeeper1

[root@bogon ~]# cd /usr/local/solrcloud

[root@bogon solrcloud]# ll

total 4

drwxr-xr-x. 10 1000 1000 4096 Feb 20  2014 zookeeper1

[root@bogon solrcloud]# cp -r zookeeper1/zookeeper2

[root@bogon solrcloud]# cp -r zookeeper1/zookeeper3

[root@bogon solrcloud]#

第四步：配置zookeeper。

1、在每个zookeeper文件夹下创建一个data目录。

2、在data文件夹下创建一个文件名称为myid，文件的内容就是此zookeeper的编号1、2、3

[root@bogon data]# echo 1 >> myid

[root@bogon data]# ll

total 4

-rw-r--r--. 1 root root 2 Sep 17 23:43myid

[root@bogon data]# cat myid

1

[root@bogon data]#

 

在zookeeper2、3文件夹下分别创建data目录和myid文件

[root@bogon solrcloud]# mkdir zookeeper2/data

[root@bogon solrcloud]# echo 2 >> zookeeper2/data/myid

[root@bogon solrcloud]# ll zookeeper2/data

total 4

-rw-r--r--. 1 root root 2 Sep 17 23:44 myid

[root@bogon solrcloud]# cat zookeeper2/data/myid

2

[root@bogon solrcloud]# mkdir zookeeper3/data        

[root@bogon solrcloud]# echo 3 >> zookeeper3/data/myid

[root@bogon solrcloud]#

3、把zookeeper1下conf目录下的zoo_sample.cfg文件复制一份改名为zoo.cfg

4、修改zoo.cfg的配置

第五步：启动zookeeper。进入zookeeper1/bin目录下。

启动zookeeper：./zkServer.sh start

关闭：./zkServer.shstop

查看状态：./zkServer.shstatus

 

[root@bogon solrcloud]#zookeeper1/bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/solrcloud/zookeeper1/bin/../conf/zoo.cfg

Mode: follower

[root@bogon solrcloud]#zookeeper2/bin/zkServer.sh status

JMX enabled by default

Using config:/usr/local/solrcloud/zookeeper2/bin/../conf/zoo.cfg

Mode: leader

[root@bogon solrcloud]# zookeeper3/bin/zkServer.shstatus

JMX enabled by default

Using config:/usr/local/solrcloud/zookeeper3/bin/../conf/zoo.cfg

Mode: follower

[root@bogon solrcloud]# 

【注意】第一次全部安装完成后，查看状态status 显示could not find file  确定配置没有问题后， 重启linux ok

其次，查看状态，需要集群下所有zookeper都启动

2.1  Solr实例的搭建

第一步：创建4个tomcat实例，修改其端口。8080-8083

查看tomcat 运行情况 

tail -f /usr/local/solrcloud/tomcat4/logs/catalina.out

第二步：解压solr-4.10.3.tar.gz压缩包。从压缩包中复制solr.war到tomcat。

从solr dist目录下复制到tomcat webapps 下

创建一个批处理

在solrcloud目录下

[root@yang solrcloud]# vim shutdownall.sh
tomcat1/bin/shutdown.sh
tomcat2/bin/shutdown.sh
tomcat3/bin/shutdown.sh
tomcat4/bin/shutdown.sh

授权

 chmod +x shutdownall.sh

第三步：启动tomcat解压war包。把solr-4.10.3目录下example目录下的关于日志相关的jar包添加到solr工程中。

第四步：创建solrhome。修改web.xml指定solrhome的位置。

rm -rf  tomcat*/webapps/solr*          删除tomcat1 2 3 4

这里把之前配置的单机版solr复制到tomcat webapps下

 cp solr -r /usr/local/solrcloud/tomcat1/webapps/

拷贝solrhomt 

cp solrhome/ -r /usr/local/solrcloud/solrhome4

打开tomcat webapps solr WEB-INF 修改web.xml solrhome的路径

启动solr 执行startall.sh

4.1  solr集群的搭建

4.1.1   第一步

把solrhome中的配置文件上传到zookeeper集群。使用zookeeper的客户端上传。

客户端命令位置：/root/solr-4.10.3/example/scripts/cloud-scripts

执行命令

./zkcli.sh -zkhost 192.168.238.129:2181,192.168.238.129:2182,192.168.238.129:2183-cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf-confname myconf

查看配置文件是否上传成功：

进入 zookeeper

 cd /usr/local/solrcloud/zookeeper1/bin

1.1.1   第二步

修改solrhome下的solr.xml文件，指定当前实例运行的ip地址及端口号。

1.1.1   第三步

修改每一台solr的tomcat 的 bin目录下catalina.sh文件中加入DzkHost指定zookeeper服务器地址：

JAVA_OPTS="-DzkHost=192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183"

（可以使用vim的查找功能查找到JAVA_OPTS的定义的位置，然后添加）

1.1.1   第四步

重新启动tomcat。

一个主节点多个备份节点，集群只有一片。

 

1.1.1   第五步

创建一个两片的collection，每片是一主一备。

 

使用以下命令创建：

http://192.168.238.129:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

执行成功

c2是分片的 删除 c1

1.1.1   第六步

删除collection1.

http://192.168.38.129:8080/solr/admin/collections?action=DELETE&name=collection1

删除后

2   Solr集群的使用

使用solrj操作集群环境的索引库。

2.1  Solrj测试

@Test

   publicvoid testAddDoc() throws Exception {

      //创建一个和solr集群的连接

      //参数就是zookeeper的地址列表，使用逗号分隔

      StringzkHost="192.168.238.129:2181,192.168.238.129:2182,192.168.238.129:2183";

      CloudSolrServer solrServer = newCloudSolrServer(zkHost);

      //设置默认的collection

      solrServer.setDefaultCollection("collection2");

      //创建一个文档对象

      SolrInputDocumentinputDocument=newSolrInputDocument();

      //向文档中添加域

      inputDocument.setField("id","test81");

      inputDocument.setField("item_title","我是标题");

      //把文档添加到索引库

      solrServer.add(inputDocument);

      solrServer.commit();

   }

  

   @Test

   publicvoid testDelDoc() throws Exception {

      //创建一个和solr集群的连接

      //参数就是zookeeper的地址列表，使用逗号分隔

      StringzkHost="192.168.238.129:2181,192.168.238.129:2182,192.168.238.129:2183";

      CloudSolrServer solrServer = newCloudSolrServer(zkHost);

      //设置默认的collection

      solrServer.setDefaultCollection("collection2");

     

      //把文档添加到索引库

      solrServer.deleteByQuery("*:*");

      solrServer.commit();

   }

2.3 Solrj和spring集成

修改spring的配置文件，添加集群版的配置：

<!-- 集群版 -->

   <beanid="cloudSolrServer"class="org.apache.solr.client.solrj.impl.CloudSolrServer">

      <constructor-argname="zkHost"value="192.168.238.129:2181,192.168.238.129:2182,192.168.238.129:2183">

      </constructor-arg>

      <propertyname="defaultCollection"value="collection2"></property>

   </bean>