TCP长连接服务的Java实现

======================================================
注：本文源代码点此下载
======================================================

梁应宏 引言

tcp长连接服务在传统的智能网应用中扮演着重要的角色。由于其传输的高效率,在智能网scp和ip的各个模块之间,大量使用了这种服务。例如,ss7gateway与scf、scf与ines、ines与外部节点、cn与vn,等等。

相反,在各种web应用中,广泛使用tcp短连接服务。基于http承载的各种应用协议,如html,xml,soap等,多数使用tcp短连接服务。原因有二:一是这些http协议的数据包较大,传输所占的开销较大,连接建立的开销相对较小。此时使用长连接对性能的提升并不明显。二是相对于长连接而言,无论是对于客户端还是服务端,短连接的实现难度要低很多。

以网通水平业务平台spgw为例,多数对外接口采用http/xml/soap协议和短连接。然而,出于性能的考虑,还有两个接口采用tcp长连接:

l 东向接口(spgw-dsmp):sccp协议使用二进制消息。

l 南向接口(spgw-smsc):spgw与短消息网关smsc之间的sm7协议使用二进制消息。

从java开发语言的角度,短连接的使用比较简单。因为java的io库已经提供了一个httpconnection类,成熟可靠,使用方便。但是,对于tcp长连接的使用,java的io库并没有直接的支持。本文将探讨对tcp长连接服务的一般需求和我们的实现考虑。

以下也简称tcp长连接服务为tcp服务。 需求

具有网络编程经验的人都知道,tcp程序的编写是“易学难精”。很容易编写一个tcp程序,具有一定的功能并且在少数正常情况下可以运行。但是,要想让它在各种网络条件、各种负荷情况下都能稳定运行,却不是一件简单的工作。具体说来,tcp长连接服务需要满足以下条件: 高性能

实现这一点的关键是,消息的接收操作必须是异步的。以spgw与短信网关之间的消息流程为例,如下:

如上图所示,spgw可以不等待上一消息的应答消息,就发送下一个短消息。因此在同一个tcp connection上,sm7消息的接收必须是异步的,否则就会阻塞后续消息的发送。 健壮性

健壮性要求,tcp长连接服务不仅要能适应良好的网络情况和低负荷,而且要能适应差的网络情况和高负荷。实现这一点需要做到:

l 应用级心跳:自动检测网络故障。

l 应用级重连:自动排除网络故障。

l 请求分发:需要将请求消息分发到消息队列或者独立的线程中,以免阻塞接收线程的工作。

l 统计与管理:可以查询统计tcp服务模块的工作情况。也可以通过某种标准的网络管理协议(如snmp)来控制tcp连接的状态,如打开或者关闭。 应用友好性

l 同步的响应消息接收api:尽管tcp服务内部对消息的接收是异步的,但是,它需要向应用模块提供同步的响应消息接收api,以简化应用模块的开发。

l 明确的双向接口:一般的服务包只需要提供单向的api接口,由应用模块调用。但是,tcp服务包不同,除了被应用模块调用外,它还要对应用模块进行回调。例如,当接收到消息时,需要回调应用模块的方法,对消息进行定界和分发;在进行心跳检测时,需要回调应用模块的编解码方法。因此需要明确地定义tcp模块和应用模块之间的双向接口。 传统的实现方式

在我们以往的程序实现中,一般都是采用单connection,异步消息收发的方式。

extra node

application

main thread

transceive thread

message queue

整个系统的逻辑结构大致如上。application一般分为main和transceive两个线程。前者用于完成应用的逻辑,后者完成消息的收发。它们之间通过一个共享的message queue来通信。二者的流程使用伪码表示如下:

main thread:

while(true)

从message queue取输入消息

处理该消息(中间可能产生输出消息送到message queue)

transceive thread:

while(true)

if(connection 可写)

从message queue取输出消息

将该消息写到connection

if(connection 可读)

从connection读输入消息

将该消息送到message queue

对于transceive thread,判断connection是否可读写,是为了避免阻塞。这是通过socket api的select函数来完成的。

在实际的实现中,由于c语言的多线程存在移植性问题,以上两个线程一般合为一个:

single thread:

while(true)

执行main thread的操作

执行transceive thread的操作 优点

以上方式的优点是非常高效,这已经为我们以前的系统的性能表现所证明。 缺点

以上方式的缺点是main thread的编写比较麻烦。因为没有同步的消息接收api,我们需要使用fsm之类的机制将多条消息关联起来。当一条消息发出后,需要设置fsm实例的状态和定时器。当回应消息收到时,将回应消息投递到对应的fsm实例进行处理。使用fsm机制进行开发,对于一般的应用还是太复杂了。

另外,传统的实现方式不好解决tcp服务回调应用协议功能的问题,往往将应用协议的部分功能(如定界、编解码)集成到tcp模块中。结果随着应用协议类型的增加,tcp模块变得越来越臃肿和复杂。出现这一问题的部分原因是,与java不同,c/c++语言不存在interface(接口)这种语言结构,用于明确地定义两个模块之间的调用接口。 java实现 功能与结构

tcp服务模块的功能是:

1. 消息收发功能:提供了两个发送api:

l sendrecv:发送请求消息,并且同步等待响应消息。

l send:发送消息并立即返回。用于无需等待响应消息的场合。

2. 心跳功能:通过设置心跳属性,如心跳模式、心跳间隔、是否发送心跳、是否显示心跳等,tcp模块自动执行心跳检查。

3. 重连功能:对于tcp客户端,通过设置重连属性,如是否重连,重连间隔等,tcp模块在连接断开后,自动执行重连操作。

4. 请求分发:将请求消息分发到独立的线程中,并自动调用应用模块的方法进行处理。

5. 统计与管理:可以查询统计tcp服务模块的工作情况。也可以通过snmp和jmx来控制tcp连接的状态,如打开或者关闭。 线程分配

为了同时满足高性能和易用性的要求,tcp模块充分利用了java语言对多线程的良好支持。它包括如下线程:

heartbeat thread

s

tcp服务模块

s

recv thread

s

app 模块

s

send thread1

s

send thread2

s

process request thread3

s

sendrecv

s

send

s

processrequest

s

reconnect thread

s

send thread:发送线程就是应用线程。也就是说,tcp模块在应用线程中完成发送操作。

recv thread:每个tcp连接都启动一个接收线程,用于接收来自对端的消息。

heartbeat thread:每个tcp连接都启动心跳线程,用于定期向对端发送心跳消息,并检查是否及时收到响应。

reconnect thread:tcp模块启动一个重连线程,用于定期检查连接的状态,并试图重连关闭的连接。

process request thread:请求处理线程是应用线程。当接收线程收到一个请求消息,它会启动一个请求处理线程,将请求消息投递给该线程进行处理。 接口

下面简要列出tcp模块提供给应用模块的itcpservice接口:

l 打开连接:open(string ip, int port)

l 关闭连接:void close()

l 发送数据包:void send(byte[] data)

l 发送数据包并等待响应:byte[] sendrecv(byte[] data, int timeout)

l 设置应用协议接口:void settcpmessage(itcpmessage tcpmessage);

下面简要列出应用模块提供给tcp模块的itcpmessage接口:

l 判断给定的消息是否为请求消息:boolean isrequest(byte[] data)

l 判断给定的消息是否为心跳消息:boolean isheartbeat(byte[] data)

l 判断给定的消息是否有效:boolean isvalid(byte[] data)

l 取消息的长度:int getlength(byte[] data)

l 获取给定的消息的key(消息的key用于关联一对请求和响应):string getkey(byte[] data)

l 编码心跳请求消息:byte[] encodeheartbeatrequest()

l 编码心跳响应消息:byte[] encodeheartbeatresponse(byte[] request);

l 处理请求消息:void processrequest(byte[] data);

l 执行重连操作:void reconnect();

l 设置tcpservice对象:void settcpservice(itcpservice tcpservice); 消息的定界

在itcpmessage接口中,需要关注的是getlength方法:

int getlength(byte[] data) throws tcpserviceexception

这一方法非常关键。表面上的功能是取消息的长度,实际上tcp模块使用此方法对消息进行定界(delimiter)。

所有使用tcp长连接服务的应用协议都需要考虑如何对消息进行定界的问题。这是因为tcp连接上每次收到的数据包不一定正好对应一条完整的消息,可能需要对数据包进行拆分/合并操作。这个处理过程烦琐而容易出错,主要由tcp模块完成。但是应用模块需要实现合适的getlength方法,才能得到健壮的定界结果。

参数

data――迄今为止,接收到的所有未处理的数据包

所有其它方法都可以认为data参数是一个完整的消息。但是此方法不同。data中可能包含1条完整消息、1条消息的部分、或者多条消息。

返回值

返回消息的长度

正数:表示已经确定消息的长度

0:表示数据不够,不能确定消息的长度。例如,某些协议将前4个字节作为一个整数,保存消息的长度。如果数据还不满4个字节,则不能确定消息的长度;某些协议以\n作为消息

的结束字符,如果数据中没有\n,则不能确定消息的长度。

负数(-n):表示数据中的前n个字节无效,应该从第n+1个字节开始,重新定界。例如,某些协议以字节fe作为消息的开始字节,则所有fe之前的字节都是无效字节。

异常

throws tcpserviceexception 如果消息的格式不合法,则抛出此异常。

例如,如果已经确定消息的长度,但长度值为负值或者超过了应用协议规定的长度上限。这说明data数据包是无效的。

一旦抛出此异常,则tcp模块清空接收缓冲区。 总结

与对http短连接的支持相比,java的标准io库对tcp长连接的支持远远不够。我们的tcp长连接服务实现是对java的标准io库功能的一个补充。

======================================================
在最后，我邀请大家参加新浪APP，就是新浪免费送大家的一个空间，支持PHP+MySql，免费二级域名，免费域名绑定 这个是我邀请的地址，您通过这个链接注册即为我的好友，并获赠云豆500个，价值5元哦！短网址是http://t.cn/SXOiLh我创建的小站每天访客已经达到2000+了，每天挂广告赚50+元哦，呵呵，饭钱不愁了，\(^o^)/