Nginx与Tomcat 实现负载均衡

来源:互联网 发布:如何查网络摄像头 编辑:程序博客网 时间:2024/05/16 12:52

Nginx 服务器 之Nginx与tomcat实现负载均衡

 转自于 https://www.cnblogs.com/jalja/archive/2016/12/01/6118782.html

 

本文讲解我们如何使用Nginx做反向带服务器,实现nginx与tomcat服务器集群做负载均衡。

一、nginx与tomcat实现负载均衡

1、在/usr/local/ngnix/conf  创建文件 nginx-tomcat.conf

文件内容:

复制代码
user  nobody;worker_processes  2;events {       worker_connections  1024;    }http{    # upstream 配置一组后端服务器,    # 请求转发到upstream后,nginx按策略将请求指派出某一服务器    # 即配置用于负载均衡的服务器群信息    upstream tomcats{        fair;        server 121.42.41.143:8080;        server 219.133.55.36;    }    server {        listen       80;        server_name  121.42.41.143;        access_log  logs/tomcat-nginx.access.log  combined;        # 反向代理设置,将所有/路径下请求发给本机上的tomcat        location / {            #root   html;            index  index.html index.htm;            #==========Nginx提供的代理============            proxy_set_header X-Forwarded-Host $host;            proxy_set_header X-Forwarded-Server $host;            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;            proxy_pass http://tomcats;        }   }}
复制代码

2、使用该配置文件启动nginx (启动前先关闭nginx)

    [root@iZ28b4kreuaZ bin]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx-tomcat.conf

二、配置文件详解:

复制代码
worker_processes  2;events {       worker_connections  1024;    }http {    include       mime.types;    default_type  application/octet-stream;    # upstream 配置一组后端服务器,    # 请求转发到upstream后,nginx按策略将请求指派出某一服务器    # 即配置用于负载均衡的服务器群信息    upstream backends {        #=========均衡策略=============        #none 轮询(权重由weight决定)        #ip_hash  通过hash算法将用户的请求与第一次请求的服务器进行绑定,后续该用户所有的请求都将被分配到该服务器上。除非该服务器挂掉。        #==============  第三方 均衡策略===========        #fair  根据各个服务器的性能的不同,自动选择使用响应能力强的服务器。        #url_hash 根据url选择服务器。         #===============服务器集==============        server 192.168.1.62:8080;        server 192.168.1.63;                #==========weight权重策略:权重值越高负载越大==========        # server 192.168.1.64 weight=5;                #===============backup:备份机,只有非备份机都挂掉了才启用===============        server 192.168.1.64 backup;                #==============down: 停机标志,不会被访问(对临时维护的服务器设置)=============        server 192.168.1.65 down;        # max_fails:达到指定次数认为服务器挂掉;        # fail_timeout:挂掉之后过多久再去测试是否已恢复        server 192.168.1.66 max_fails=2 fail_timeout=60s;    }    server {        listen       80;        server_name  localhost;        #charset koi8-r;        #access_log  logs/host.access.log  main;        location / {            root   html;            index  index.html index.htm;        }                # 反向代理设置,将所有/proxy_test/路径下请求发给本机上的tomcat        location /proxy_test/ {            proxy_pass http://localhost:8080;        }                # 负载均衡设置,将所有jsp请求发送到upstream backends指定的服务器群上        location ~ \.jsp$ {            proxy_pass http://backends;                        # 真实的客户端IP            proxy_set_header   X-Real-IP        $remote_addr;             # 请求头中Host信息            proxy_set_header   Host             $host;             # 代理路由信息,此处取IP有安全隐患            proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;            # 真实的用户访问协议            proxy_set_header   X-Forwarded-Proto $scheme;            # 默认值default,            # 后端response 302时 tomcat header中location的host是http://192.168.1.62:8080            # 因为tomcat收到的请求是nginx发过去的, nginx发起的请求url host是http://192.168.1.62:8080            # 设置为default后,nginx自动把响应头中location host部分替换成当前用户请求的host部分            # 网上很多教程将此值设置成 off,禁用了替换,            # 这样用户浏览器收到302后跳到http://192.168.1.62:8080,直接将后端服务器暴露给浏览器            # 所以除非特殊需要,不要设置这种画蛇添足的配置            proxy_redirect default;        }                # 一个url重写的例子,浏览器请求 /page.go时,url被重写成/test/page.jsp        location ~ \.go$ {            rewrite ^(.*)\.go$ /test/$1\.jsp last;        }        #error_page  404              /404.html;        # redirect server error pages to the static page /50x.html        #        error_page   500 502 503 504  /50x.html;        location = /50x.html {            root   html;        }    }}
复制代码

 

三、fair策略的安装

fair策略:根据各个服务器的性能的不同,自动选择使用响应能力强的服务器。该策略是第三方提供的,所以要先安装。

安装步骤

1、下载 gnosek-nginx-upstream-fair-a18b409.tar.gz

2、解压  tar zxvf gnosek-nginx-upstream-fair-a18b409.tar.gz

3、将解压后的文件移动到 /usr/local目录下并 改名为 nginx-upstream-fair

4、将该模块添加到我们安装的nginx中

a、首先进入nginx-1.8.1源文件目录下在执行:

[root@iZ28b4kreuaZ nginx-1.8.1]# ./configure --prefix=/usr/local/nginx --add-module=/usr/local/nginx-upstream-fair/

b、执行:make    进行编译

c、进入 nginx-1.8.1/objs/下将最新的nginx启动项 覆盖原来的 /usr/local/nginx/sbin/nginx启动项。

    [root@iZ28b4kreuaZ objs]# cp nginx /usr/local/nginx/sbin

d、开启Nginx 看看是可以使用

 四、在分布式服务器集群中session共享问题

问题:当我们的用户在tomcat1服务器上登录后,tomcat1会保存用户的登录信息,但当用户的请求被代理服务器分配给tomcat2/tomcat3服务器时,这时就会出现tomcat2/tomcat3无法获取用户登录信息,从而导致用户需要重新登录的现象。我们有三种解决方案:

1、同一个用户的请求锁定在同一台服务器上,这样就不会存在session在不同服务器之间共享问题。这种方案简单,但缺乏容错性(一旦服务器故障,那用户的请求将被分配给其他服务器,这时就需要重新登录)

实现方式:设置集群策略为 ip_hash ;

 upstream tomcats{        ip_hash;    }

2、session复制方式: 当任何服务器中session值发生改变,他都会将该改变广播给其他服务器,当其他服务器收到广播后也做相应的改变,从而实现session在所有服务器中一直。缺点 当集群中tomcat服务器很多时会增加网络负荷,性能低下。实现方式:

a、在tomcat的server.xml中配置session广播

复制代码
      <!-- 基于网络广播的策略,一个节点session变化,其它节点同步复制,节点多或数据量大时性能低下 -->      <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster">        <Channel className="org.apache.catalina.tribes.group.GroupChannel">               <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"                        address="192.168.6.223"                        port="8080"/>         </Channel>      </Cluster>
复制代码

b、在我们的分布式应用的web.xml 中添加 <distributable/>标签

<distributable/>:作用是公告我们的应用可以处于集群环境中。

 3、通过创建额外的共享空间用来管理session,一般我们使用分布式缓存技术redis、memcached缓存技术,在这里我么使用memcached。

  a、memcached的安装:http://www.cnblogs.com/jalja/p/6121978.html

  b、memcached 的 session共享原理

   粘性共享:

  非粘性:

c、tomcat访问memcached的相关环境(我们使用的是tomcat7)

  1. 复制jar包到tomcat/lib目录,jar分三类

    1)spymemcached.jar memcached java客户端        

    2)memcached相关的包  memcached-session-manager-{version}.jar       核心包         memcached-session-manager-tc{tomcat-version}-{version}.jar   Tomcat版本相关的包

    3)序列化工具包,有多种可选方案,不设置时使用jdk自带序列化,其它可选kryo,javolution,xstream,flexjson等   msm-{tools}-serializer-{version}.jar  其它序列化工具相关包  一般第三方序列化工具不需要实现serializable接口

d、配置Context,加入处理session的Manager  MemcachedBackupSessionManager
 Context配置查找顺序:
        1)conf/context.xml 全局配置,作用于所有应用
        2) conf/[enginename]/[hostname]/context.xml.default 全局配置,作用于指定host下全部应用
        3) conf/[enginename]/[hostname]/[contextpath].xml 只作用于contextpath指定的应用
        4) 应用META-INF/context.xml 只作用于本应用
        5) conf/server.xml <Host>下 作用于Context docBase指定的应用
         如果只希望session管理作用于特定应用,最好用3,4方式设置,希望作用全体,可用1,2,5设置

 conf/context.xml的配置:

复制代码
 1 <?xml version="1.0" encoding="UTF-8"?> 2  3 <Context> 4  5     <WatchedResource>WEB-INF/web.xml</WatchedResource> 6     <WatchedResource>${catalina.base}/conf/web.xml</WatchedResource> 7  8     <!-- sticky session 最小配置--> 9     <!-- className 管理器类名 -->10     <!-- memcachedNodes memcached服务器节点,以节点名:主机:端口形式表示,其中节点名随意命名,但不同tomcat间要一致 -->11     <!-- sticky隐含默认值为true,此时为sticky session模式 -->12     <!-- failoverNodes 仅适用于sticky模式, n1表示主要将session备份到n2,如果n2不可用,再用n1-->13     <!-- 另一台服务器配置正好相反,这样保证将session保存到其它机器,避免整个机器崩溃时tomcat与session一起崩溃-->14     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"15         memcachedNodes="n1:192.168.1.62:11211,n2:192.168.1.63:11211"16         failoverNodes="n1"17     />18     19     <!-- 经常用到的生产环境sticky(粘性)模式配置 -->20     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"21         memcachedNodes="n1:192.168.1.62:11211,n2:192.168.1.63:11211"22         failoverNodes="n1"23         requestUriIgnorePattern=".*\.(jpg|png|css|js)$" 24         memcachedProtocol="binary"25         transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"26     />27     28     <!-- 经常用到的生产环境non-sticky(非粘性模式)模式配置 -->29     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"30         memcachedNodes="n1:192.168.1.62:11211,n2:192.168.1.63:11211"31         sticky="false"32         sessionBackupAsync="false"33         lockingMode="auto"34         requestUriIgnorePattern=".*\.(jpg|png|css|js)$" 35         memcachedProtocol="binary"36         transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"37     />38     39     <!--40     <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"41         memcachedNodes="n1:192.168.1.62:11211,n2:192.168.1.63:11211"42         43         #sticky模式,默认true44         sticky="false"45         46         #仅适用于sticky模式,n1表示主要将session备份到n2,如果n2不可用,再用n147         failoverNodes="n1"48         49         #忽略的请求类型,这些类型请求不处理session50         requestUriIgnorePattern=".*\.(jpg|png|css|js)$" 51         52         #例如context中设置sessionPath=/时,一个host下多个应用可能有相同session_id,53         #此时向memcached写入时会造成混乱,可通过以下方式加前缀区分不同应用54         storageKeyPrefix="static:name|context|host|webappVersion|context.hash|host.hash|多项组合,以,间隔"55         56         #设置mecached协议数据传输方式,默认text,设为binary有助力性能提升57         memcachedProtocol="binary"58         59         #是否异步存储session变化,默认true,性能好,适用于sticky模式,60         #non-sticky时建议设置为false,避免延迟造成信息不一致61         sessionBackupAsync="false"62         63         #仅适用于non-sticky模式,为避免同步编辑冲突,在修改session时锁定64         #同步编辑一种可能发生的情况是在ajax请求时,同一页多个请求同时发起,可能会访问不同后端65         #auto 读模式不锁写模式锁66         #uriPattern模式,将URI+"?"+queryString与模式Regex匹配,如果匹配则锁定67         lockingMode="none|all|auto|uriPattern:Regex"68         69         #使用第三方序列化工具,提高序列化性能70         #常用的第三方工具kryo, javolution, xstream等71         #此时需要向tomcat/lib下添加相关jar包72         transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"73         74     />75     -->76    77 </Context>
复制代码

 四、集群环境开发注意事项

1、实体类要序列化( implements Serializable)

private static final long serialVersionUID = 3349238980725146825L;

2、获取客户端请求地址的方式 。在nginx-tomcat.conf中添加如下配置:

   server {        location / {            proxy_set_header   X-Real-IP        $remote_addr; # 真实的客户端IP        }   }

java代码:

public static String  getIp(HttpServletRequest request){        String remoteIp =request.getRemoteAddr();        String headIp=request.getHeader("X-Real-IP");        return headIp==null?remoteIp:headIp;    }

3、动静分离
  把静态文件放在nginx服务器中(css、js、图片)

 

每天用心记录一点点。内容也许不重要,但习惯很重要!
原创粉丝点击