js中应用protocol buffer

前段时间公司项目需要用到protocol buffer数据传输协议，这是什么东西，根本没接触过，好好的json干嘛不用？怀着好奇心去了解学习，最后顺利运用。下面是一些是经验，希望能帮到一些人。

首先我们要知道什么是protocol buffer

protocolbuffer(以下简称PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。类似于XML，JSON这样的数据表示语言，ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法，格式有点类似XML，可以自己定义数据格式，它是一种二进制格式允许你使用规范的语言定义一个模式。

基本语法

普通消息

message SearchRequest {
required string query = 1;
optional int32 page_number = 2;
optional int32 result_per_page = 3;
}

指定字段规则

所指定的消息字段修饰符必须是如下之一：

²  required：一个格式良好的消息一定要含有1个这种字段。表示该值是必须要设置的；

²  optional：消息格式中该字段可以有0个或1个值（不超过1个）。

²  repeated：在一个格式良好的消息中，这种字段可以重复任意多次（包括0次）。重复的值的顺序会被保留。表示该值可以重复，相当于java中的List。

l  标量数值类型

一个标量消息字段可以含有一个如下的类型——该表格展示了定义于.proto文件中的类型，以及与之对应的、在自动生成的访问类中定义的类型：

.proto类型Java 类型C++类型备注doubledoubledouble floatfloatfloat int32intint32使用可变长编码方式。编码负数时不够高效——如果你的字段可能含有负数，那么请使用sint32。int64longint64使用可变长编码方式。编码负数时不够高效——如果你的字段可能含有负数，那么请使用sint64。uint32int[1]uint32Uses variable-length encoding.uint64long[1]uint64Uses variable-length encoding.sint32intint32使用可变长编码方式。有符号的整型值。编码时比通常的int32高效。sint64longint64使用可变长编码方式。有符号的整型值。编码时比通常的int64高效。fixed32int[1]uint32总是4个字节。如果数值总是比总是比228大的话，这个类型会比uint32高效。fixed64long[1]uint64总是8个字节。如果数值总是比总是比256大的话，这个类型会比uint64高效。sfixed32intint32总是4个字节。sfixed64longint64总是8个字节。boolbooleanbool stringStringstring一个字符串必须是UTF-8编码或者7-bit ASCII编码的文本。bytesByteStringstring可能包含任意顺序的字节数据。

Optional的字段和默认值

optional int32 result_per_page = 3 [default = 10];

导入定义

import "myproject/other_protos.proto";详情连接：http://www.cnblogs.com/dkblog/archive/2012/03/27/2419010.html

优势

支持向后兼容和向前兼容

消息字段修饰符required,optional,repeated

性能好，效率高

protobuf在序列化化后数据大小上，同一条消息protobuf序列化后的大小是json的10分之一，xml格式的20分之一，是二进制序列化的10分之一，同样的带宽，protobuf的效率明显不是其他格式能比拟的。

下面是thrift和protobuf性能对比

由于thrift功能较protobuf丰富，因此单从序列化机制上进行性能比较，按照序列化后字节数、序列化时间、反序列化时间三个指标进行，对thrift的二进制、压缩、protobuf三种格式进行对比。

测试方法：取了15000+条样本数据，分别写了三个指标的测试程序，在我自己的电脑上执行，其中时间测试循环1000次，总的序列化/反序列化次数1500W+。

平均字节数：

thrift二进制535thrift压缩473protobuf477

序列化（1500W次）时间（ms）：

thrift二进制306034thrift压缩304256protobuf177652

反序列化（1500W次）时间（ms）：

thrift二进制287972thrift压缩315991protobuf157192

thrift的时间测试可能不是很准，由于thrift产生代码的复杂性，编写的测试代码为了适应其接口，在调用堆栈上可能有一些额外开销。

js应用

首先我们需要下载对应的三方库，去github上下载https://github.com/dcodeIO/protobuf.js或者npm install protobufjs安装

主要用到的js有3个，引入到项目中即可

<script src="js/proto/Long.min.js"></script>         <script src="js/proto/bytebuffer.js"></script> <script src="js/proto/protobuf.js"></script> 

协议用的是websocket 需要设置

wWebsocket.binaryType = "arraybuffer" ; 

ajax的话设置

这里以一个简单的秘钥交换exchange_key.proto举例

//package protocol;option java_package = "com.xingdian.seeyou.net.protocol";enum ENCRYPT_TYPE {RC4 = 1;};message ExchangeKeyReq {required bytes N = 1;required int32 E = 2;}message ExchangeKeyRes {required bytes key = 1;required ENCRYPT_TYPE type = 2;}message ExchangeKey {optional ExchangeKeyReq exchange_key_req = 1;optional ExchangeKeyRes exchange_key_res = 2;}

这里要package protocol这个东西，后台给过来的protobuf文件中可能有这一行，我们是加载不了message的，这段文字我们一定要注释掉。对于这个message对于js比较棘手一点的可能是bytes这个数据类型了，下面会说明

//create ProtoBufif (typeof dcodeIO === 'undefined' || !dcodeIO.ProtoBuf) {throw (new Error("ProtoBuf.js is not present. Please see www/index.html for manual setup instructions."));}var ProtoBuf = dcodeIO.ProtoBuf;ExchangeKey = loadProto("exchange_key.proto","ExchangeKey");FrontendPk = ProtoBuf.loadProtoFile("proto/frontend.proto").build("FrontendPk");/** * @param  {string} * @param  {string} * @return {protoBuf object} */function loadProto(fileName,objectName){return ProtoBuf.loadProtoFile("proto/"+fileName).build(objectName);}/**序列化 * @return {buff} */function createExchangeKeyReq(){crypt = new JSEncrypt( {default_key_size: 1024} );var crKey = crypt.getKey();var bytesN = crKey.n.toByteArray();var ExchangeKeyReq = loadProto("exchange_key.proto","ExchangeKeyReq");var exchangeKeyReq = new ExchangeKeyReq();exchangeKeyReq.setE(crKey.e);// 129byteexchangeKeyReq.setN((new Int8Array(bytesN,1)).buffer);var exchangeKey = new ExchangeKey();exchangeKey.setExchangeKeyReq(exchangeKeyReq);// console.log("ExchangeKey ProtoBuf对象数据：");// console.log(exchangeKey);var msgDec = exchangeKey.toBuffer();var length = msgDec.byteLength;var dataView = new DataView(new ArrayBuffer(length+8));var msgDecView = new DataView(msgDec);//setdataView.setUint32(0,length,false);dataView.setUint32(4,10000,false);for(var i  = 0;i< length;i++){dataView.setUint8(i+8,msgDecView.getUint8(i));}return dataView.buffer;}/**反序列化 * @param  {[xhr.response]} * @return {[string]} */ function parseRc4(evt){ var resBuffer = evt.data.slice(8); var resExchangeKey = ExchangeKey.decode(resBuffer); var exchangeKeyRes = resExchangeKey.getExchangeKeyRes(); var rc4Key = exchangeKeyRes.getKey(); var rc4KeyBase64 = rc4Key.toBase64(); rc4key = crypt.decrypt(rc4KeyBase64); // console.log("decrypt RC4 Secret: "+RC4key); return rc4key; }

对于经常要使用到的message对象 我们抽取出来，每次都去load很影响性能。上面提到了对于bytes类型的数据js怎么处理，这里需要用到js中的buff对象去匹配，不然其他的数据类型都会异常

exchangeKeyReq.setN((new Int8Array(bytesN,1)).buffer);

序列化，后面代码是因为消息需要添加8个字节的包头，不然可以直接返回exchangeKey.toBuffer()，

后台返回的数据反序列化后结果