【Netty入门】几种序列化协议的介绍

序列化概述

1.序列化定义

• 序列化（serialization）就是将对象序列化为二进制形式（字节数组），一般也将序列化称为编码（Encode），主要用于网络传输、数据持久化等；

• 反序列化（deserialization）则是将从网络、磁盘等读取的字节数组还原成原始对象，以便后续业务的进行，一般也将反序列化称为解码（Decode），主要用于网络传输对象的解码，以便完成远程调用。

2.序列化的“鼻祖”

我知道的第一种序列化协议就是Java默认提供的序列化机制，需要序列化的Java对象只需要实现 Serializable / Externalizable 接口并生成序列化ID，这个类就能够通过 ObjectInput 和 ObjectOutput 序列化和反序列化，若对Java默认的序列化协议不了解，或是遗忘了，请参考：序列化详解

但是Java默认提供的序列化有很多问题，主要有以下几个缺点：

• 无法跨语言：我认为这对于Java序列化的发展是致命的“失误”，因为Java序列化后的字节数组，其它语言无法进行反序列化。；

• 序列化后的码流太大:：相对于目前主流的序列化协议，Java序列化后的码流太大；

• 序列化的性能差：由于Java序列化采用同步阻塞IO，相对于目前主流的序列化协议，它的效率非常差。

3.影响序列化性能的关键因素

• 序列化后的码流大小（网络带宽的占用）；

• 序列化的性能（CPU资源占用）；

• 是否支持跨语言（异构系统的对接和开发语言切换）。

几种流行的序列化协议比较

1、XML

（1）定义：

XML（Extensible Markup Language）是一种常用的序列化和反序列化协议， 它历史悠久，从1998年的1.0版本被广泛使用至今。

（2）优点

• 人机可读性好

• 可指定元素或特性的名称

（3）缺点

• 序列化数据只包含数据本身以及类的结构，不包括类型标识和程序集信息。

• 类必须有一个将由 XmlSerializer 序列化的默认构造函数。

• 只能序列化公共属性和字段

• 不能序列化方法

• 文件庞大，文件格式复杂，传输占带宽

（4）使用场景

• 当做配置文件存储数据

• 实时数据转换

2、JSON

（1）定义：

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集， JSON采用与编程语言无关的文本格式，但是也使用了类C语言（包括C， C++， C#， Java， JavaScript， Perl， Python等）的习惯，简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。

（2）优点

• 前后兼容性高

• 数据格式比较简单，易于读写

• 序列化后数据较小，可扩展性好，兼容性好

• 与XML相比，其协议比较简单，解析速度比较快

（3）缺点

• 数据的描述性比XML差

• 不适合性能要求为ms级别的情况

• 额外空间开销比较大

（4）适用场景（可替代ＸＭＬ）

• 跨防火墙访问

• 可调式性要求高的情况

• 基于Web browser的Ajax请求

• 传输数据量相对小，实时性要求相对低（例如秒级别）的服务

3、Fastjson

（1）定义

Fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致。

（2）优点

• 接口简单易用

• 目前java语言中最快的json库

（3）缺点

• 过于注重快，而偏离了“标准”及功能性

• 代码质量不高，文档不全

（4）适用场景

• 协议交互

• Web输出

• Android客户端

4、Thrift

（1）定义：

Thrift并不仅仅是序列化协议，而是一个RPC框架。它可以让你选择客户端与服务端之间传输通信协议的类别，即文本(text)和二进制(binary)传输协议, 为节约带宽，提供传输效率，一般情况下使用二进制类型的传输协议。

（2）优点

• 序列化后的体积小, 速度快

• 支持多种语言和丰富的数据类型

• 对于数据字段的增删具有较强的兼容性

• 支持二进制压缩编码

（3）缺点

• 使用者较少

• 跨防火墙访问时，不安全

• 不具有可读性，调试代码时相对困难

• 不能与其他传输层协议共同使用（例如HTTP）

• 无法支持向持久层直接读写数据，即不适合做数据持久化序列化协议

（4）适用场景

• 分布式系统的RPC解决方案

5、Avro

（1）定义：

Avro属于Apache Hadoop的一个子项目。 Avro提供两种序列化格式：JSON格式或者Binary格式。Binary格式在空间开销和解析性能方面可以和Protobuf媲美，Avro的产生解决了JSON的冗长和没有IDL的问题

（2）优点

• 支持丰富的数据类型

• 简单的动态语言结合功能

• 具有自我描述属性

• 提高了数据解析速度

• 快速可压缩的二进制数据形式

• 可以实现远程过程调用RPC

• 支持跨编程语言实现

（3）缺点

• 对于习惯于静态类型语言的用户不直观

（4）适用场景

• 在Hadoop中做Hive、Pig和MapReduce的持久化数据格式

6、Protobuf

（1）定义

protocol buffers 由谷歌开源而来，在谷歌内部久经考验。它将数据结构以.proto文件进行描述，通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。

（2）优点

• 序列化后码流小，性能高

• 结构化数据存储格式（XML JSON等）

• 通过标识字段的顺序，可以实现协议的前向兼容

• 结构化的文档更容易管理和维护

（3）缺点

• 需要依赖于工具生成代码

• 支持的语言相对较少，官方只支持Java 、C++ 、Python

（4）适用场景

• 对性能要求高的RPC调用

• 具有良好的跨防火墙的访问属性

• 适合应用层对象的持久化

7、其它

• protostuff 基于protobuf协议，但不需要配置proto文件，直接导包即

• Jboss marshaling 可以直接序列化java类， 无须实java.io.Serializable接口

• Message pack 一个高效的二进制序列化格式

• Hessian 采用二进制协议的轻量级remoting onhttp工具

• kryo 基于protobuf协议，只支持java语言,需要注册（Registration），然后序列化（Output），反序列化（Input）

8、性能对比图解

时间

空间

分析上图知：

• XML序列化（Xstream）无论在性能和简洁性上比较差。

• Thrift与Protobuf相比在时空开销方面都有一定的劣势。

• Protobuf和Avro在两方面表现都非常优越。

9、选型建议

不同的场景适用的序列化协议：

• 对于公司间的系统调用，如果性能要求在100ms以上的服务，基于XML的SOAP协议是一个值得考虑的方案。

• 基于Web browser的Ajax，以及Mobile app与服务端之间的通讯，JSON协议是首选。对于性能要求不太高，或者以动态类型语言为主，或者传输数据载荷很小的的运用场景，JSON也是非常不错的选择。

• 对于调试环境比较恶劣的场景，采用JSON或XML能够极大的提高调试效率，降低系统开发成本。

• 当对性能和简洁性有极高要求的场景，Protobuf，Thrift，Avro之间具有一定的竞争关系。

• 对于T级别的数据的持久化应用场景，Protobuf和Avro是首要选择。如果持久化后的数据存储在Hadoop子项目里，Avro会是更好的选择。

• 由于Avro的设计理念偏向于动态类型语言，对于动态语言为主的应用场景，Avro是更好的选择。

• 对于持久层非Hadoop项目，以静态类型语言为主的应用场景，Protobuf会更符合静态类型语言工程师的开发习惯。

• 如果需要提供一个完整的RPC解决方案，Thrift是一个好的选择。

• 如果序列化之后需要支持不同的传输层协议，或者需要跨防火墙访问的高性能场景，Protobuf可以优先考虑。

本人才疏学浅，若有错，请指出，谢谢！
如果你有更好的建议，可以留言我们一起讨论，共同进步！
衷心的感谢您能耐心的读完本篇博文。

参考资料：美团点评技术团队——序列化和反序列化