Java程序员的现代RPC指南

来源：互联网发布：vb与vs的区别编辑：程序博客网时间：2024/05/21 07:59

Java程序员的现代RPC指南

1.前言

1.1 RPC框架简介

最早接触RPC还是初学Java时，直接用Socket API传东西好麻烦。于是发现了JDK直接支持的RMI，然后就用得不亦乐乎，各种大作业里凡是涉及到分布式通信的都用RMI，真是方便。后来用上了Spring，发现Spring提供了好多Exporter，可以无侵入地将一个POJO暴露为RPC服务。

接触了这么多RPC框架后，发现当时公司内部自己实现了一套支持压缩、加密等附加功能的RPC基础框架，于是就读了一下源码，发现原来自己实现个简单的RPC挺简单啊，选好序列化框架后用反射为服务接口生成存根就行了。核心技术就是：序列化和动态反射。

前一阵子又接触到了多语言支持的RPC框架。其实传统的方式也是能支持多种编程语言的，只要序列化框架为多种语言都提供了版本支持，那么序列化后使用相同的网络协议传输就能实现跨语言的RPC了，这也是最轻量级的自制RPC了，灵活但是手动工作量比较大。再就是重量级的SOAP WebService或简单方便的REST，后者一般采用JSON格式携带数据，最典型的场景就是前后台的服务调用，从JS到Java的RPC。

本文要重点介绍的则是另外一套RPC框架。相比一般的RPC框架来说，它能够支持多种语言间的RPC；相比WebService，它却没有SOAP那么重量级，又比轻量级的REST高效。对于组件之间需要频繁通信、又对性能要求较高的分布式系统来说，它是不错的解决方案。

1.2 Protobuf vs. Thrift

Protobuf全名为Protocol Buffer，是Google推出的支持多语言的RPC基础设施。通过自定义语言无关的IDL文件和Protoc代码生成器达到跨语言RPC通信的目的。但也正因为跨语言，与我们仅限于Java的那些RPC框架相比稍显复杂一些。之前研究Protobuf序列化性能时，也正因这一点而采用了Java简化版Protostuff，详情请见《序列化战争：主流序列化框架Benchmark》。

Thrift是Facebook推出的RPC框架，与PB相比提供了内建的RPC支持，而PB开源版里并没有RPC功能（也是后面实践时才发现的）。Thrift的RPC提供了多种网络模式和序列化的选项，可以根据不同场景来灵活搭配使用。

关于Protobuf、Thrift以及本文未涉及的Avro，在《大数据日知录》里有具体的比较，感兴趣的可以参考一下。

1.3 核心技术

前面说了传统RPC框架的核心技术，“现代”RPC为了支持多语言所以稍显复杂一点儿。核心技术主要有：IDL、代码生成器、序列化、RPC：

在IDL文件中通过不与具体编程语言相关的语法定义通信类
利用代码生成器生成出Java语言对应的代码
引入框架的运行时Jar包，获得序列化、RPC等能力

所以前两者决定了框架对不同编程语言的支持能力，而后两者决定了运行时的调用性能。

2.Maven集成

不管使用哪种框架，既然涉及到了代码生成，那就要想法与项目构建的过程结合到一起。这里以Java项目最常用的Maven为例，看一下如何将代码生成器与Maven相结合，并且有哪些注意事项。

2.1 Compile阶段

按照我们的设想，代码生成过程应该在编译阶段，这样生成的代码就能跟已有代码一起被编译、打包、发布，两者没有什么差别。一旦修改了IDL，直接编译就能看到最新生成的代码了，这就是我们想要的效果。

2.2 Ant集成插件

因为有些框架并不提供专门的插件，所以与Maven最简单通用的集成方法就是采用maven-antrun-plugin插件。此插件可以执行任意命令，标准写法如下：

    <build>        <plugins>            <plugin>                <artifactId>maven-antrun-plugin</artifactId>                <executions>                    <execution>                        <id>generate-sources</id>                        <phase>generate-sources</phase>                        <configuration>                            <tasks>                                <exec executable="xxx.exe">                                    <arg value="arg1 arg2 ..."/>                                </exec>                            </tasks>                            <sourceRoot>target/generated-sources</sourceRoot>                        </configuration>                        <goals>                            <goal>run</goal>                        </goals>                    </execution>                </executions>            </plugin>        </plugins>    </build>

3.Protobuf实战

3.1 编写IDL

语法非常简单，其中java_generic_services选项决定是否生成Service类，默认不生成，据说是不建议使用。

package com.test;option java_generic_services = true;message Request{    required int32 type = 1;}message Response{    required int32 cpu = 1;    required int32 memorySize = 2;}service AgentService{    rpc detectHardware(Request) returns (Response);}

3.2 Protoc编译

Windows版预编译好的protoc.exe支持C++，Java，Python三种最常用的语言，如果你只使用这几种语言的话那就很简单了。之所以把Protobuf相关文件都放到src/protobuf而非src/main/resources下是因为：src/main/resources里东西默认会被包含到最终的jar里。如果我们不想把protoc.exe和一堆.proto文件打到jar包里发布的话，要么加一个Maven的拷贝filter，或者像本文的方法将Protobuf相关文件都放到src/protobuf下。

    <build>        <plugins>            <plugin>                <artifactId>maven-antrun-plugin</artifactId>                <executions>                    <execution>                        <id>generate-sources</id>                        <phase>generate-sources</phase>                        <configuration>                            <tasks>                                <exec executable="src/protobuf/protoc.exe" failonerror="true">                                    <arg value="--java_out=src/main/java"/>                                    <arg value="src/protobuf/idl/*.proto"/>                                </exec>                            </tasks>                            <sourceRoot>target/generated-sources</sourceRoot>                        </configuration>                        <goals>                            <goal>run</goal>                        </goals>                    </execution>                </executions>            </plugin>        </plugins>    </build>

3.3 使用源码

以下是利用Protobuf生成的代码进行序列化和反序列化的示例。由于缺少RPC功能，所以也只能测试一下序列化功能了。

public class PbRpcTest {    public static void main(String[] args) throws InvalidProtocolBufferException {        // Build request        Agent.Request.Builder reqBuilder = Agent.Request.newBuilder();        reqBuilder.setType(1);        Agent.Request req = reqBuilder.build();        System.out.println(req);        // Parse from bytes        byte[] bytes = req.toByteArray();        Agent.Request req2 = Agent.Request.parseFrom(bytes);        System.out.println(req2.getType());    }}

4.Thrift

4.1 编译IDL

与Protobuf的IDL相似，Thrift的IDL也很简单。

namespace java com.testservice AgentService {    string detectHardware()}

4.2 Java

Thrift支持多种网络和序列化模式，这里采取最简单的同步阻塞和二进制序列化的方式。

public class RpcClientTest {    public static void main(String[] args) throws TException {        TSocket transport = new TSocket("127.0.0.1", 8090);        TProtocol protocol = new TBinaryProtocol(transport);        AgentService.Client client = new AgentService.Client(protocol);        transport.open();        System.out.println(client.detectHardware());    }}public class RpcServerTest {    public static void main(String[] args) throws TTransportException {        AgentService.Processor<AgentService.Iface> processor = new AgentService.Processor<AgentService.Iface>(                new AgentServiceImpl()        );        TServerSocket transport = new TServerSocket(8090);        TServer.Args tArgs = new TServer.Args(transport);        tArgs.processor(processor);        tArgs.protocolFactory(new TBinaryProtocol.Factory());        TServer server = new TSimpleServer(tArgs);        server.serve();    }}public class AgentServiceImpl implements AgentService.Iface {    @Override    public String detectHardware() throws TException {        return "hello";    }}

4.3 Python

Python要想运行时支持Thrift，也需要安装相应的插件。我是在Windows下的Cygwin中完成安装的，然后在cmd中执行却报错还是没找到thrift模块，结果发现是cmd和Cygwin默认执行的Python版本不一样。汗，之前可能2和3都装了忘记了，生成的代码用Python 3运行的话会有问题：

$ tar -xzvf thrift-0.9.3.tar.gz$ cd thrift-0.9.3/$ python setup.py install

注意一定要指定IP地址，否则Java客户端调用Python服务端时会报”Connection refused”错误，详见Stackoverflow上的问题解答。

import sys, globsys.path.append('gen-py')#sys.path.insert(0, glob.glob('../../lib/py/build/lib*')[0])from agent import AgentServicefrom agent.ttypes import *from thrift import Thriftfrom thrift.transport import TSocketfrom thrift.transport import TTransportfrom thrift.protocol import TBinaryProtocolfrom thrift.server import TServerclass AgentServiceHandler:    def __init__(self):        print('init')    def detectHardware(self):        print('detect!')        return 'hello~~~'handler = AgentServiceHandler()processor = AgentService.Processor(handler)transport = TSocket.TServerSocket(host="127.0.0.1", port=8090)tfactory = TTransport.TBufferedTransportFactory()pfactory = TBinaryProtocol.TBinaryProtocolFactory()server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)print('Starting the server...')server.serve()print('done.')

这就是目录结构，现在就可以启动服务端，客户端仍然用之前的Java客户端，调用成功！

$ tree py-demo/ -I "*.pyc"py-demo/|-- agent.thrift|-- gen-py|   |-- __init__.py|   `-- agent|       |-- __init__.py|       |-- __pycache__|       |-- AgentService.py|       |-- AgentService-remote|       |-- constants.py|       `-- ttypes.py|-- server.py`-- thrift-0.9.3.exe$ python server.pyinitStarting the server...detect!

4.总结

与直接使用Java其他RPC框架相比的确麻烦了一些，例如Spring中就自带了一些Exporter可以无侵入的实现RPC服务。但熟悉了Protobuf和Thrift以后发现实际上还是挺方便的，而且Windows版预编译好的Protoc支持C++，Java，Python三种最常用的语言，Thrift则支持几乎主流的各种语言，足够我们使用了。

参考资料：

Protobuf语言指南
Thrift入门及Java实例演示

1 0