Apache+JK+Tomcat 集群

来源：互联网发布：算法设计与分析公开课编辑：程序博客网时间：2024/04/28 18:30

最近由于工作需要学习了一下使用apache+JK+tomcat来做负载均衡和群集，下面是最近在操作过程中的一些笔记，主要是通过g和b查找整理后的一些记录

环境：

操作系统：CentOS-5.3-i386

本机IP ：172.18.21.201

JDK 1.5

apache2.2.14

tomcat6.0.20

JK 1.2.28

管理页面 http://172.18.21.201/jkstatus/?re=10

一，软件下载和安装：

apache2.2.14

http://httpd.apache.org/download.cgi

http://labs.xiaonei.com/apache-mirror/httpd/httpd-2.2.14.tar.gz

tomcat6.0.20

http://tomcat.apache.org/download-60.cgi#6.0.20

http://apache.etoak.com/tomcat/tomcat-6/v6.0.20/bin/apache-tomcat-6.0.20.tar.gz

JK 1.2.28

http://tomcat.apache.org/download-connectors.cgi

http://apache.freelamp.com/tomcat/tomcat-connectors/jk/source/jk-1.2.28/tomcat-connectors-1.2.28-src.tar.gz

Apache2.2.14编译

./configure --enable-modules=so --enable-so --enable-proxy --enable-proxy-connect --enable-proxy-http --enable-proxy-ftp --enable-proxy-ajp

# make && make install

tomcat6.0.20

绿色解压使用

JK编译

./configure --with-apxs=/usr/local/apache2/bin/apxs --with-java-home=/home/test/working/jdk/

# make && make install

二apache与JK配置

在/usr/local/apache2/modules/ 下会产生mod_jk.so

修改apache配置文件：

vim /usr/local/apache2/conf/httpd.conf

添加：Include conf/mod_jk.conf

新建mod_jk.conf

vim /usr/local/apache2/conf/mod_jk.conf

添加下面信息

#加载mod_jk Module

LoadModule jk_module modules/mod_jk.so

#指定 workers.properties文件路径

JkWorkersFile conf/workers.properties

#指定那些请求交给tomcat处理,"controller"为在workers.propertise里指定的负载分配控制器

JkMount /*.jsp controller

JkMount /*.js controller

JkMount /jkstatus/ stat1

JkMount /test/* controller

新建workers.properties 文件

vim /usr/local/apache2/conf/workers.properties

添加下面内容：

#server 列表

worker.list = controller,stat1

#========tomcat_app1========

#ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat_app1.port=8009

#tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat_app1.host=localhost

worker.tomcat_app1.type=ajp13

#server的加权比重，值越高，分得的请求越多

worker.tomcat_app1.lbfactor = 1

#========tomcat_app2========

#ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat_app2.port=9009

#tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat_app2.host=localhost

worker.tomcat_app2.type=ajp13

#server的加权比重，值越高，分得的请求越多

worker.tomcat_app2.lbfactor = 1

#========controller,负载均衡控制器========

worker.controller.type=lb

#指定分担请求的tomcat

worker.controller.balanced_workers=tomcat_app1,tomcat_app2

worker.controller.sticky_session=1

#sticky_session属性设为1，这样负载均衡器lb就会尽量保持一个session，也就是使用户在一次会话中跟同一个Tomcat进行交互。（我猜如果不能保持跟同一个Tomcat进行交互，也就不能保持一个session）

worker.stat1.type = status

三，tomcat配置

1修改/home/test/working/tomcat_app1/conf/server.xml

A．将

修改为：

B．将

修改该为：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="8">

<!--

<Manager className="org.apache.catalina.ha.session.BackupManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"

mapSendOptions="8"/> -->

<Manager className="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>

<Membership className="org.apache.catalina.tribes.membership.McastService"

address="228.0.0.4"

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="4001"

autoBind="100"

selectorTimeout="5000"

maxThreads="6"/>

</Sender>

</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=""/>

<!--

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

-->

</Cluster>

2.修改/home/test/working/tomcat_app2/conf/server.xml

A．将

修改为：

B．将

修改该为：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="8">

<!--

<Manager className="org.apache.catalina.ha.session.BackupManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"

mapSendOptions="8"/> -->

<Manager className="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>

<Membership className="org.apache.catalina.tribes.membership.McastService"

address="228.0.0.4"

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="4002"

autoBind="100"

selectorTimeout="5000"

maxThreads="6"/>

</Sender>

</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=""/>

<!--

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

-->

</Cluster>

tomcat集群各节点通过建立tcp链接来完成Session的拷贝，拷贝有同步和异步两种模式。在同步模式下，对客户端的响应必须在Session拷贝到其他节点完成后进行；异步模式无需等待Session拷贝完成就可响应。异步模式更高效，但是同步模式可靠性更高。同步异步模式由channelSendOptions参数控制，默认值是8，为异步模式，4是同步模式。在异步模式下，可以通过加上拷贝确认（Acknowledge）来提高可靠性，此时channelSendOptions设为10。

Manager用来在节点间拷贝Session，默认使用DeltaManager，DeltaManager采用的一种all-to-all的工作方式，即集群中的节点会把Session数据向所有其他节点拷贝，而不管其他节点是否部署了当前应用。当集群中的节点数量很多并且部署着不同应用时，可以使用BackupManager，BackManager仅向部署了当前应用的节点拷贝Session。但是到目前为止BackupManager并未经过大规模测试，可靠性不及DeltaManager。

Channel负责对tomcat集群的IO层进行配置。Membership用于发现集群中的其他节点，这里的address用的是组播地址（Multicast address，了解更多组播地址详情请参见http://zyycaesar.javaeye.com/admin/blogs/296501），使用同一个组播地址和端口的多个节点同属一个子集群，因此通过自定义组播地址和端口就可将一个大的tomcat集群分成多个子集群。Receiver用于各个节点接收其他节点发送的数据，在默认配置下tomcat会从4000-4100间依次选取一个可用的端口进行接收，自定义配置时，如果多个tomcat节点在一台物理服务器上注意要使用不同的端口。Sender用于向其他节点发送数据，具体实现通过Transport配置，PooledParallelSender是从tcp连接池中获取连接，可以实现并行发送，即集群中的多个节点可以同时向其他所有节点发送数据而互不影响。Interceptor有点类似下面将要解释的Valve，起到一个阀门的作用，在数据到达目的节点前进行检测或其他操作，如TcpFailureDetector用于检测在数据的传输过程中是否发生了tcp错误。关于Channel的编程模型，请参见http://tomcat.apache.org/tomcat-6.0-doc/api/org/apache/catalina/tribes/Channel.html。

Valve用于在节点向客户端响应前进行检测或进行某些操作，ReplicationValve就是用于用于检测当前的响应是否涉及Session数据的更新，如果是则启动Session拷贝操作，filter用于过滤请求，如客户端对图片，css，js的请求就不会涉及Session，因此不需检测，默认状态下不进行过滤，监测所有的响应。JvmRouteBinderValve会在前端的Apache mod_jk发生错误时保证同一客户端的请求发送到集群的同一个节点，tomcat官方文档并未解释如何实现这一点，而且笔者认为这一设置似乎并无多大实用性。

Deployer用于集群的farm功能，监控应用中文件的更新，以保证集群中所有节点应用的一致性，如某个用户上传文件到集群中某个节点的应用程序目录下，Deployer会监测到这一操作并把这一文件拷贝到集群中其他节点相同应用的对应目录下以保持所有应用的一致。这是一个相当强大的功能，不过很遗憾，tomcat集群目前并不能做到这一点，开发人员正在努力实现它，这里的配置只是预留了一个接口。

Listener用于跟踪集群中节点发出和收到的数据，也有点类似Valve的功能。

启动顺序 tomcat_app1 ---->tomcat_app2---->apache