Python和二进制(1)

     

       一直对这个二进制以及python的处理方式有些模糊。综合查找到资料，理了一遍，清楚了很多。

什么是二进制数据？二进制文件？二进制文件和文本文件的区别

解释1：

这里谈谈文本文件与二进制文件以及C语言读写这两种文件的标准接口。

【具体到物理保存时都是二进制的，关键是保存前对数据的编码有区别。】

文本文件与二进制文件在计算机文件系统中的物理存储都是二进制的，也就是在物理存储方面没有区别都是01码，这个没有异议，他们的区别主要在逻辑存储上，也就是编码上。

1)文本文件格式存储时是将值作为字符然后存入其字符编码的二进制，文本文件用‘字符’作为单位来表示和存储数据，比如对于1这个值，文本文件会将其看做字符‘1’然后保存其ASCII编码值（这里假定是ASCII编码），这样在物理上就是0x31这个二进制值.

2)若是二进制保存1，则直接保存其二进制值，比如如果程序中是处理1为整数则保存的二进制值就是 0x00000001 (4字节）。

当然如果程序本来就是按字符保存的 也就是 char ch ='1' ; 则二进制保存后值就是其ASCII码，因为该变量的二进制本来就是其ASCII码。可以总结出二进制文件就是值本身的编码，那么就是不定长的编码了，因为值本身就是不等字节的，如整数4个字节那么保存在二进制文件就是这四个字节的原生二进制值。

综上，可以知道文本文件与二进制文件就是编码方式不一样而已，而这个是用户行为，把一个数据以什么样的编码（字符还是值本身）存入文件是由用户主动选择的，也就是写入的接口选择，如果以二进制接口方式写入文件那么就是一个二进制文件，如果以字符方式写入文件就是一个文本文件了。既然有写入时候的编码也就会有读出的编码，只有两个编码对应才能读出正确的结果，如用记事本打开一个二进制文件会呈现乱码的，这里稍微提一下后缀名，后缀名并不能确定其是否就是文本文件，二进制文件也可以是txt后缀名，后缀名只是用来关联打开程序，给用户做备注用的，与文件的具体编码没有关系。

可以使用字符接口读写二进制文件，只需要做些处理即可，所以所谓的二进制文件，文本文件主要体现在读写方式这里。
此外windows有一个明显的区别是对待文本文件读写的时候，会将换行 \n自动替换成 \r\n。

解释2：

C语言中文本文件与二进制文件：

1）计算机的存储在物理上是二进制的，所以文本文件与二进制文件的区别并不是物理上的，而是逻辑上的。这两者只是在编码层次上有差异。

2）简单来说，文本文件是基于字符编码的文件，常见的编码有ASCII编码，UNICODE编码等等。

3)二进制文件是基于值编码的文件，可以根据具体应用，指定某个值是什么意思（这样一个过程，可以看作是自定义编码）。

4)因为文本文件与二进制文件的区别仅仅是编码上不同，所以他们的优缺点就是编码的优缺点，这个找本编码的书来看看就比较清楚了。

5)文本文件编码基于字符定长，译码容易些；二进制文件编码是变长的，所以它灵活，存储利用率要高些，译码难一些（不同的二进制文件格式，有不同的译码方式）。关于空间利用率，想想看，二进制文件甚至可以用一个比特来代表一个意思(位操作)，而文本文件任何一个意思至少是一个字符。

解释3：

从文件编码的方式来看，文件可分为ASCII码文件和二进制码文件两种。

1）ASCII文件也称为文本文件，这种文件在磁盘中存放时每个字符对应一个字节，用于存放对应的ASCII码。例如，数5678的存储形式为：
ASC码： 00110101 00110110 00110111 00111000
             5↓      6↓       7↓       8↓
十进制码： 5678 共占用4个字节。ASCII码文件可在屏幕上按字符显示， 例如源程序文件就是ASCII文件，用DOS命令TYPE可显示文件的内容。 由于是按字符显示，因此能读懂文件内容。

2）二进制文件是按二进制的编码方式来存放文件的。 例如， 数5678的存储形式为： 00010110 00101110只占二个字节。二进制文件虽然也可在屏幕上显示， 但其内容无法读懂。C系统在处理这些文件时，并不区分类型，都看成是字符流，按字节进行处理。 输入输出字符流的开始和结束只由程序控制而不受物理符号(如回车符)的控制。 因此也把这种文件称作“流式文件”。

一个文件可以以文本模式或二进制模式打开，这两种的区别是：在文本模式中回车被当成一个字符'/n'，而二进制模式认为它是两个字符0x0D,0x0A；如果在文件中读到0x1B，文本模式会认为这是文件结束符，也就是二进制模型不会对文件进行处理，而文本方式会按一定的方式对数据作相应的转换。

Python的处理方式

Python是一门非常简洁的语言，对于数据类型的表示，不像其他语言预定义了许多类型（如：在C#中，光整型就定义了8种），它只定义了六种基本类型：字符串，整数，浮点数，元组，列表，字典。通过这六种数据类型，我们可以完成大部分工作。但当Python需要通过网络与其他的平台进行交互的时候，必须考虑到将这些数据类型与其他平台或语言之间的类型进行互相转换问题。打个比方：C++写的客户端发送一个int型(4字节)变量的数据到Python写的服务器，Python接收到表示这个整数的4个字节数据，怎么解析成Python认识的整数呢？ Python的标准模块struct就用来解决这个问题。

Python中没有二进制类型，但是可以使用string字符串类型来存储二进制数据，然后使用struct模块来对二进制数据进行处理。

Python标准库：

Struct模块包括一些在字节串与内置Python数据类型（如数字和字符串）之间完成转换的函数。

{

字节串的解释

1)字符:人们使用的记号，抽象意义上的一个符号。 '1', '中', 'a', '$', '￥', …… 
2)字节:计算机中存储数据的单元，一个8位的二进制数，是一个很具体的存储空间。0x01, 0x45,0xFA, …… 
3)ANSI字符串:在内存中，如果“字符”是以ANSI编码形式存在的，一个字符可能使用一个字节或多个字节来表示，那么我们称这种字符串为ANS 字符串或者多字节字符串。"中文123"（占7字节）
4)UNICODE字符串:在内存中，如果“字符”是以在 UNICODE 中的序号存在的，那么我们称这种字符串为 UNICODE 字符串或者宽字节字符串。 L"中文123"（占10字节）

}

Struct的具体用法

1. Struct解释

有时候需要用python处理二进制数据，比如，存取文件，socke’t操作时。这时候，可以使用python的stuct模块来完成。可以用struct来处理c语言中的结构体。Struct模块能够构造并解析打包的二进制数据。从某种意义上说，它是另一个数据转换工具，它能够把文件中的字符串解读为二进制数据。

Struct模块中最重要的三个函数是pack()，unpack(),calcsize()

1）pack：按照给定的格式（fmt），把数据封装成字符串（实际上是类似于c结构体的字节流）：Pack(fmt,v1,v2.....)

struct.pack用于将Python的值根据格式符，转换为字符串（因为Python中没有字节 (Byte)类型，可以把这里的字符串理解为字节流，或字节数组，可以在网络上传输）。

2）unpack：按照给定的格式（fmt）解析字节流string，返回解析出来的tuple

Unpack(ftm,string)

3）calcsize()：计算给定的格式（fmt）占用多少字节的内存

Calcsize(fmt)

上述fmt中，支持的格式为：

FORMAT

C TYPE

PYTHON TYPE

STANDARD SIZE

NOTES

x

pad byte

no value

 

 

c

char

string of length 1

1

 

b

signed char

integer

1

(3)

B

unsigned char

integer

1

(3)

?

_Bool

bool

1

(1)

h

short

integer

2

(3)

H

unsigned short

integer

2

(3)

i

int

integer

4

(3)

I

unsigned int

integer

4

(3)

l

long

integer

4

(3)

L

unsigned long

integer

4

(3)

q

long long

integer

8

(2), (3)

Q

unsigned long long

integer

8

(2), (3)

f

float

float

4

(4)

d

double

float

8

(4)

s

char[]

string

 

 

p

char[]

string

 

 

P

void *

integer

 

(5), (3)

注1.q和Q只在机器支持64位操作时有意思

注2.每个格式前可以有一个数字，表示个数

注3.s格式表示一定长度的字符串，4s表示长度为4的字符串，但是p表示的是pascal字符串

注4.P用来转换一个指针，其长度和机器字长相关

注5.最后一个可以用来表示指针类型的，占4个字节

为了同c中的结构体交换数据，还要考虑有的c或c++编译器使用了字节对齐，通常是以4个字节为单位的32位系统，故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下：

CHARACTER

BYTE ORDER

SIZE

ALIGNMENT

@

native

native

native

=

native

standard

none

<

little-endian

standard

none

>

big-endian

standard

none

!

network (= big-endian)

standard

none

使用方法是放在fmt的第一个位置，就像’@5s6sif’

1. 具体例子

1）使用struct.pack把一个整数值打包成字符串：

输出结果：

此时，t为一个字符串，字符串中的内容与整数a的二进制存储的内容相同。

2）将t解包

b的值：

3）打包和解包多个数据：