protobuf中的Base 128 Varints类型分析
来源:互联网 发布:b站发展史知乎 编辑:程序博客网 时间:2024/06/11 20:16
Google Protobuf里面提出了“Base 128 Varints”编码,这是一种变字节长度的编码,官方描述为:varints是用一个或多个字节序列化整形的一种方法。我理解要点有三个(1)操作是序列化(2)操作对象是整形(3)变长编码。重点是最后一点,他是如何编码的呢?
(1)除了最后一个字节,varint中的每个字节的最高位设为1,表示后面还有字节出现
(2)每个字节的低7位看成是一个组(group),这个组和他相邻的下一个7位组共同存储某个整形的“组合表示”,最低有效组在前面。
上面的定义可能比较生硬,我没看具体例子之前,也没搞明白,我们来看https://developers.google.com/protocol-buffers/docs/encoding?hl=en#varints中的例子:
(1)一个字节。下面只有一个字节,所以最高位是0,表示十进制1
0000 0001
(2)两个字节。
1010 1100 0000 0010
由于第一个字节后面还有一个字节,所以第一个字节的最高位设置为1,表示后面还有后继字节,第二个字节的最高位为0。去掉每个字节的最高位,我们对两个字节进行分组。第一个7位组:0101100,第二个7位组:0000010,组合起来就是:0101100 0000010,由于最低有效组在前面,所以两个7位组进行调换,结果为:0000010 0101100,中间的空格是为了大家区分,去掉前面的0,也就是:100101100,十进制为1*2^8 + 1*2^5 + 1*2^3 + 1*2^2 = 256 + 32 + 8 + 4 = 300。
(3)三个字节。我们换种方式,给定某个整形,要求写出他的varint表示,这里当然是落在需要3个字节表示的整形。16380可以吗?不可以!因为16380 < 2^14,所以2个字节足以,我们就以27491为例,27491的二进制表示为:
0110 1011 0110 0011
注意这里是高字节之前,低字节在后,和varint的编码规则相反,首先按照7位一组划分为:0000001 1010110 1100011,然后反转为:1100011 1010110 0000001,最后将末尾的7位组前面补0组成一个字节,两个7位组都补1分别组成一个字节:
11100011 11010110 00000001
(4)更多字节。聪明的你可能发现,varint编码中4个字节最大表示的数为2^28,非常正确,同时说明了天下没有免费的午餐,有得有失。Protobuf引入了fixed32解决这个问题的,如果某个字段经常大于2^28,应当优选fixed32,他是固定长度为32位的。
三.String和bytes
string和bytes的表示形式一致,都是“长度+值”,其中长度采用varint编码,值为字符序列或者二进制码流
- protobuf中的Base 128 Varints类型分析
- protobuf中的Base 128 Varints类型分析
- Base 128 Varints 编码
- Protobuf中的变长编码:Varints
- google的Base 128 Varints编码
- protobuf【2】Varints方法编码
- 给Protobuf中的repeated类型变量添加子项
- Google Protobuf 协议分析
- protobuf c++ 接口分析
- ProtoBuf中的编码
- protobuf中的数据类型定义
- ProtoBuf中的编码
- protobuf java中的使用
- ProtoBuf 中的反射机制
- [Muduo网络库源码分析] (8) base/StringPiece.h_字符串参数传递类型
- [Muduo网络库源码分析] (11) base/Types.h_基本类型声明
- crytoppp库分析-base
- protobuf repeated类型的使用
- Servlet入门
- JS参数传递
- python opencv入门 图像平滑(12)
- PHP增加$_ENV变量
- Xamarin XAML语言教程模板页面TemplatedPage
- protobuf中的Base 128 Varints类型分析
- 常用sql语句及案例(oracle)
- css基础之块级与行级元素
- 测试遇到的那些奇葩问题
- Eclipse-运行node时候控制台输出的中文乱码解决
- base64格式图片转换成二进制流并生成图片文件
- 使用ECharts实现各种数据统计图(饼图,柱状图,折线图)在javaWeb中的应用
- php-socket通信演示
- Strictly Positive Matrix CodeForces