Python中对字节流/二进制流的操作:struct模块简易使用教程

前言

前段时间使用Python解析IDX文件格式的MNIST数据集，需要对二进制文件进行读取操作，其中我使用的是struct模块。查了网上挺多教程都写的挺好的，不过对新手不是很友好，所以我重新整理了一些笔记以供快速上手。

注：教程中以下四个名词同义：二进制流、二进制数组、字节流、字节数组

快速上手

在struct模块中，将一个整型数字、浮点型数字或字符流（字符数组）转换为字节流（字节数组）时，需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型，比如整型数字是'i'，浮点型数字是'f'，一个ascii码字符是's'。

def demo1():    
# 使用bin_buf = struct.pack(fmt, buf)将buf为二进制数组bin_buf    
# 使用buf = struct.unpack(fmt, bin_buf)将bin_buf二进制数组反转换回buf    
# 整型数 -> 二进制流    
buf1 = 256    
bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'    
ret1 = struct.unpack('i', bin_buf1)    
print bin_buf1, '  <====>  ', ret1    
# 浮点数 -> 二进制流    
buf2 = 3.1415    
bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'    
ret2 = struct.unpack('d', bin_buf2)    
print bin_buf2, '  <====>  ', ret2    
# 字符串 -> 二进制流    
buf3 = 'Hello World'  
bin_buf3 = struct.pack('11s', buf3) # '11s'代表长度为11的'string'字符数组    
ret3 = struct.unpack('11s', bin_buf3)    
print bin_buf3, '  <====>  ', ret3    
# 结构体 -> 二进制流    
# 假设有一个结构体    
# struct header {    
#   int buf1;    
#   double buf2;    
#   char buf3[11];    
# }    
bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)    
ret_all = struct.unpack('id11s', bin_buf_all)    
print bin_buf_all,'  <====>  ', ret_all

输出结果如下：

demo1输出结果

详解struct模块

主要函数

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

# 按照给定的格式化字符串，把数据封装成字符串(实际上是类似于c结构体的字节流)string = struct.pack(fmt, v1, v2, ...)# 按照给定的格式(fmt)解析字节流string，返回解析出来的 tupletuple = unpack(fmt, string)# 计算给定的格式(fmt)占用多少字节的内存offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表：

FormatC TypePython字节数xpad byteno value1ccharstring of length 11bsigned charinteger1Bunsigned charinteger1?_Boolbool1hshortinteger2Hunsigned shortinteger2iintinteger4Iunsigned intinteger or lon4llonginteger4Lunsigned longlong4qlong longlong8Qunsigned long longlong8ffloatfloat4ddoublefloat8schar[]string1pchar[]string1Pvoid *long

注1：q和Q只在机器支持64位操作时有意思
注2：每个格式前可以有一个数字，表示个数
注3：s格式表示一定长度的字符串，4s表示长度为4的字符串，但是p表示的是pascal字符串
注4：P用来转换一个指针，其长度和机器字长相关
注5：最后一个可以用来表示指针类型的，占4个字节

为了同c中的结构体交换数据，还要考虑有的c或c++编译器使用了字节对齐，通常是以4个字节为单位的32位系统，故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下：

CharacterByte orderSize and alignment@nativenative            凑够4个字节=nativestandard        按原字节数<little-endianstandard        按原字节数>big-endianstandard       按原字节数!network (= big-endian)standard       按原字节数

使用方法是放在fmt的第一个位置，就像'@5s6sif'

参考

[1] Python使用struct处理二进制（Python使用struct处理二进制 - Gala - 博客园  http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html）

原文链接：http://www.jianshu.com/p/5a985f29fa81

查阅更为简洁方便的分类文章以及最新的课程、产品信息，请移步至全新呈现的“LeadAI学院官网”：

www.leadai.org

请关注人工智能LeadAI公众号，查看更多专业文章

大家都在看

LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理（一）

最全常见算法工程师面试题目整理（二）

TensorFlow从1到2 | 第三章 深度学习革命的开端：卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础