solr solrcloud 检索 搜索 zookeeper 分布式 部署

第一步:部署zookeeper 集群
以一台机器为例:
1.下载zookeeper-3.4.5.tar.gz包到目标机器上.
2.把zookeeper解压到/home/q/zookeeper/下.
3.建立zookeeper数据目录 /home/q/zookeeper/datadir.
4.建立zookeeper节点编号 /home/q/zookeeper/datadir/myid (该文件中只有一个数字,代表该机器在集群中的序号)
5.sudo vi /home/q/zookeeper/conf/zoo.cfg
修改zoo.cfg配置文件如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
# 这里指定第三步建立的目录
dataDir=/home/q/zookeeper/datadir
# the port at which the clients will connect
# 客户端(这里指solr)端口
clientPort=2181
#wq gjus gh
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#zookeeper集群中所有节点的地址,端口,第一个用来节点间通信,第二用来选举leader,server后的 .1  .2 是对应的节点号,该号从/home/q/zookeeper/datadir/myid中读取.
server.1=url1:2888:3888
server.2=url2:2888:3888

6.类似上述步骤,把集群中所有机器都配置好(不同节点配置中,只有myid不同)
7.部署完所有的节点机器后,启动zookeeper(通过zoo 提供的脚本启动)
sudo /home/q/zookeeper/bin/zkServer.sh start

分别启动各个机器上的zookeeper,注意,先启动的机器可能报错连接其它节点超时,不必理会,是因为其它节点还没启动,全部启动后,就会正常.

第二步:部署solr应用

我们的solr跑在tomcat容器中,采用公司统一目录结构,和部署方式.As follow:
项目目录 /home/q/www/solr.qunar.com/
子目录: cache/  conf/ logs/ solr/ temp/ webapps/ work/  startenv.sh
1.需要准备的JAR 包:
apache-solr-4.0.0.tgz
mysql-connector-java-5.1.22-bin.jar
IKAnalyzer2012FF_u1.jar
zookeeper-3.4.5.tar.gz

2.解压apache-solr-4.0.0.tgz,并把其中的 dist/目录下的apache-solr-4.0.0.war解压到/home/q/www/solr.qunar.com/webapps/ROOT/下
然后把预先准备好的其它三个jar放到/home/q/www/solr.qunar.com/webapps/ROOT/WEB-INF/lib/下.
3.修改启动脚本/home/q/www/solr.qunar.com/startevn.sh 如下:

#!/bin/sh

export TOMCAT_USER="tomcat"
export JAVA_OPTS="-Xms2048m -Xmx2048m -XX:NewSize=256m -XX:PermSize=256m -server -XX:+DisableExplicitGC -Dqunar.logs=$CATALINA_BASE/logs -Dqunar.cache=$CATALINA_BASE/cache -verbose:gc -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$CATALINA_BASE/logs/gc.log"
chown -R tomcat:tomcat $CATALINA_BASE/logs
chown -R tomcat:tomcat $CATALINA_BASE/cache
chown -R tomcat:tomcat $CATALINA_BASE/conf
chown -R tomcat:tomcat $CATALINA_BASE/work
chown -R tomcat:tomcat $CATALINA_BASE/temp
chown -R root:root $CATALINA_BASE/webapps
chmod -R 755 $CATALINA_BASE/webapps
export JAVA_OPTS="-Dsolr.solr.home=/home/q/www/solr.qunar.com/solr -Dbootstrap_confdir=/home/q/www/solr.qunar.com/solr/collection1/conf -Dcollection.configName=myconf  -DzkHost=url1:2181,url2:2181"


重点关注最后一行,Dsolr.solr.home变量是solr的主目录,里边存放索引文件.Dbootstrap_confdir变量指向solr的所有配置文件(注注注:会上传到zookeeper下,供所有的solr节点共用,因此,其它solr节点的启动时,startenv.sh里
就不再需要加Dbootstrap_confdir参数).

solr相关的主要有三个配置文件
/home/q/www/solr.qunar.com/solr.xml -- 配置多个core
/home/q/www/solr.qunar.com/solr/collection1/conf/data-config.xml -- 配置数据源,数据entity,dih全量导更新,和增量更新用.
/home/q/www/solr.qunar.com/solr/collection1/conf/schema.xml -- 配置自定义字段,分词器也在这里配置,以字段类型的方式配置分词器.

4.配置好全部配置文件后.启动solr

用公司统一的脚本方式启动 sudo /home/q/tools/bin/start_tomcat.sh /home/q/www/solr.qunar.com/
以类似方式配置启动所有solr节点.OK


最后,在浏览器键入solr管理后台,手动导入数据(第一次全量导入),以后由定时任务作增量更新.
常见故障1:如果在solr后台管理界面里solrCloud 视图中点击机器图标不能正确跳转的话,在/home/q/www/solr.qunar.com/webapps/ROOT/WEB-INF/web.xml中 加入如下内容:

 <servlet-mapping>
    <servlet-name>LoadAdminUI</servlet-name>
    <url-pattern>/admin.html</url-pattern>
  </servlet-mapping>

完毕.