字节序

来源：互联网发布：大数据技术应用难吗编辑：程序博客网时间：2024/05/01 08:40

一、引子
　　在各种计算机体系结构中，对于字节、字等的存储机制有所不同，因而引发了
计算机通信领域中一个很重要的问题，即通信双方交流的信息单元（比特、字节、
字、双字等等）应该以什么样的顺序进行传送。如果不达成一致的规则，通信双方
将无法进行正确的编/译码从而导致通信失败。目前在各种体系的计算机中通常采
用的字节存储机制主要有两种：
big-edian和little-endian。本文简要描述这两种存储机制的来历、特点和区别。
　　
　　为了叙述方便，下面先对本文中将要用到的两个术语做简单的定义。
　　1、MSB
　　MSB是Most Significant Bit/Byte的首字母缩写，通常译为最重要的位或者最
重要的字节。它通常用来表明在一个bit序列（如一个byte是8个bit组成的一个序
列）或者一个byte序列（如word是两个byte组成的一个序列）中对整个序列取值影
响最大的那个bit/byte。
　　2、LSB
　　LSB是Least Significant Bit/Byte的首字母缩写，通常译为最不重要的位或
者最不重要的字节。它通常用来表明在一个bit序列（如一个byte是8个bit组成的
一个序列）或者一个byte序列（如word是两个byte组成的一个序列）中对整个序
列取值影响最小的那个bit/byte。

二、endian的由来
　　endian: The ordering of bytes in a multi-byte number.
定义：在计算机系统体系结构中用来描述在多字节数中各个字节的存储顺序。

三、各种endian
　　1、big-endian
　　A computer architecture in which, within a given multi-byte numeric
representation, the most significant byte has the lowest address (the
word is stored "big-end-first").　　
Most processors, including the IBM 370 family, the PDP-10, the
Motorola microprocessor families, and most of the various RISC designs
current in mid-1993, are big-endian. [From: Free On-Line Dictionary Of
Computing or Jargon File]
　　big-endian：计算机体系结构中一种描述多字节存储顺序的术语，在这种机制
中最重要字节（MSB）存放在最低端的地址上。采用这种机制的处理器有IBM3700系
列、PDP-10、Mortolora微处理器系列和绝大多数的RISC处理器。

+------+
| 0x34 |<-- 0x00000021
+------+
| 0x12 |<-- 0x00000020
+------+
图1：双字节数0x1234以big-endian的方式存在起始地址0x00000020中

　　在Big-Endian中，对于bit序列中的序号编排方式如下（以双字节数0x8B8A为
例）：
bit    0   1   2   3   4   5   6   7     8   9   10 11 12 13 14 15
     +--------------------------------------------------+
val | 1   0   0   0   1   0   1   1   | 1   0   0   0   1   0   1   0 |
     +--------------------------------------------------+
     ^ 0x8B                                         0x8A ^
MSB LSB
图2：Big-Endian的bit序列编码方式

　　注1：通常在TCP/IP协议栈所说的网络序(Network Order)就是遵循Big-Endian
规则。在TCP/IP网络通信中，通信双方把消息按照如图2的方式进行编码，然后按
从MSB(Bit0)到LSB的顺序在网络上传送。
　　2、little-endian
　　 A computer architecture in which, within a given
16- or 32-bit word,bytes at lower addresses have lower significance (the
word is stored "little-end-first"). The PDP-11 and VAX families of
computers and Intel microprocessors and a lot of communications and
networking hardware are little-endian.
　　The term is sometimes used to describe the ordering of units other
than bytes; most often, bits within a byte. [From: Free On-Line Dictionary
Of Computing or Jargon File]
　　little-endian：计算机体系结构中一种描述多字节存储顺序的术语，在这种机
制中最不重要字节（LSB）存放在最低端的地址上。采用这种机制的处理器有PDP-11、
VAX、Intel系列微处理器和一些网络通信设备。该术语除了描述多字节存储顺序外
还常常用来描述一个字节中各个比特的排放次序。

+------+
| 0x12 |<-- 0x00000021
+------+
| 0x34 |<-- 0x00000020
+------+
　　图3：双字节数0x1234以little-endian的方式存在起始地址0x00000020中

　　在Little-Endian中，对于bit序列中的序号编排和Big-Endian刚好相反，其方
式如下（以双字节数0x8B8A为例）：

bit    15 14 13 12 11 10 9   8     7   6   5   4   3   2   1   0
     +--------------------------------------------------+
val | 1   0   0   0   1   0   1   1   | 1   0   0   0   1   0   1   0 |
     +--------------------------------------------------+
     ^ 0x8B                                         0x8A ^
MSB LSB
图4：Little-Endian的bit序列编码方式

　　注2：通常我们说的主机序（Host Order）就是遵循Little-Endian规则。所以
当两台主机之间要通过TCP/IP协议进行通信的时候就需要调用相应的函数进行主机
序（Little-Endian）和网络序（Big-Endian）的转换。
注3：正因为这两种机制对于同一bit序列的序号编排方式恰恰相反，所以《现
代英汉词典》中对MSB的翻译为“最高有效位”欠妥，故本文定义为“最重要的bit
/byte”。

　　3、middle-endian：
　　 Neither big-endian nor little-endian. Used of
perverse byte orders such as 3-4-1-2 or 2-1-4-3, occasionally found in
the packed decimal formats of some minicomputer manufacturers.[From:
Free On-Line Dictionary Of Computing or Jargon File]
　　middle-endian：除了big-endian和little-endian之外的多字节存储顺序就是
middle-endian，比如以4个字节为例：象以3-4-1-2或者2-1-4-3这样的顺序存储的
就是middle-endian。这种存储顺序偶尔会在一些小型机体系中的十进制数的压缩格
式中出现。
四、收尾
　　要详细解释这两种编码顺序已经超出本文所涉及的内容，如果你有兴趣的话可
以参考上面提及的Danny Cohen的论文（"On Holy Wars and a Plea for Peace"），
该论文详细的描述了这两种编码顺序的历史、所基于的数学理论和各自拥护者争论
的焦点等知识，绝对可以大饱你打破沙锅问到底的内心需要。

五、References & WebLinks
1. Free On-Line Dictionary Of Computing
[http://foldoc.doc.ic.ac.uk/foldoc/index.html]
2. Jargon File [http://info.astrian.net/jargon/]
3. Gulliver's Travels《格利佛游记》
[http://www.jaffebros.com/lee/gulliver/]
4. On Holy Wars and a Plea for Peace
[http://khavrinen.lcs.mit.edu/wollman/ien-137.txt]

原文地址：http://www.eygle.com/digest/2007/01/whats_mean_endian.html

---------------------------------------------------------------------------

关于大字节序和小字节序

大字节序：把高有效位放在低地址段，例如在按字节寻址的存储器中往地址 0x0001 存放值 0x12345678，在存储器中为
     地址          数值
     0x0004        0x78
     0x0003        0x56
     0x0002        0x34
     0x0001        0x12

小字节序：把低有效位放在低地址段，例如在按字节寻址的存储器中往地址 0x0001 存放值 0x12345678，在存储器中为
     地址          数值
     0x0004        0x12
     0x0003        0x34
     0x0002        0x56
     0x0001        0x78

     在传输半字，字，双字的时候，读取地址时总是由低往高，通常 x86 等指令集用的是小字节序，RISC 等其他指令集用大字节序。在同一指令集中进行数据传输不需要进行字节序转换，在不同的指令集之间进行传输时需要进行字节序转换，如进行网络传输。网络传输用的都是大字节序。

历史：网络由 University of California Berkeley 开发，当时用的是 RISC 指令集。为大字节序，从此以后网络传输为大字节序。

---------------------------------------------------------------------------

对 C 编程的影响

参考下例 (编译运行于 32 位 x86 机器，小字节序)：

#include <stdio.h>

typedef struct
{
     union
     {
         unsigned char str[3];
         unsigned long a;
         unsigned short b;
     };
} test;

int main(int argc, char * argv[])
{
     test m;
     m.a = 0x002233ff;
     printf("%p %p %p/n", m.str, &m.a, &m.b);
     printf("0x%x/n", m.b);
     printf("%u %u/n", m.str[0], m.str[3]);

     return 0;
}

输出结果为：(其中第一行的值可能会变化，但不管怎么变，三个值肯定是相同的)
0xbfd4d1d0 0xbfd4d1d0 0xbfd4d1d0
0x33ff
255 0

一次Sun SPARC到Intel X86的平台移植让我们的程序遭遇了“字节序问题”，既然遇到了也就不妨深入的学习一下。

一、字节序定义
字节序，顾名思义字节的顺序，再多说两句就是大于一个字节类型的数据在内存中的存放顺序(一个字节的数据当然就无需谈顺序的问题了)。

其实大部分人在实际的开发中都很少会直接和字节序打交道。唯有在跨平台以及网络程序中字节序才是一个应该被考虑的问题。

在所有的介绍字节序的文章中都会提到字节序分为两类：Big-Endian和Little-Endian。引用标准的Big-Endian和Little-Endian的定义如下：
a) Little-Endian就是低位字节排放在内存的低地址端，高位字节排放在内存的高地址端。
b) Big-Endian就是高位字节排放在内存的低地址端，低位字节排放在内存的高地址端。
c) 网络字节序：TCP/IP各层协议将字节序定义为Big-Endian，因此TCP/IP协议中使用的字节序通常称之为网络字节序。

其实我在第一次看到这个定义时就很糊涂，看了几个例子后也很是朦胧。什么高/低地址端？又什么高低位？翻阅了一些资料后略有心得。

二、高/低地址与高低字节
首先我们要知道我们C程序映像中内存的空间布局情况：在《C专家编程》中或者《Unix环境高级编程》中有关于内存空间布局情况的说明，大致如下图：
----------------------- 最高内存地址 0xffffffff
| 栈底
.
. 栈
.
栈顶
-----------------------
|
|
\|/

NULL (空洞)

/|\
|
|
-----------------------
堆
-----------------------
未初始化的数据
----------------(统称数据段)
初始化的数据
-----------------------
正文段(代码段)
----------------------- 最低内存地址 0x00000000

以上图为例如果我们在栈上分配一个unsigned char buf[4]，那么这个数组变量在栈上是如何布局的呢[注1]？看下图：
栈底（高地址）
----------
buf[3]
buf[2]
buf[1]
buf[0]
----------
栈顶（低地址）

现在我们弄清了高低地址，接着我来弄清高/低字节，如果我们有一个32位无符号整型0x12345678(呵呵，恰好是把上面的那4个字节buf看成一个整型)，那么高位是什么，低位又是什么呢？其实很简单。在十进制中我们都说靠左边的是高位，靠右边的是低位，在其他进制也是如此。就拿0x12345678 来说，从高位到低位的字节依次是0x12、0x34、0x56和0x78。

高低地址和高低字节都弄清了。我们再来回顾一下Big-Endian和Little-Endian的定义，并用图示说明两种字节序：
以unsigned int value = 0x12345678为例，分别看看在两种字节序下其存储情况，我们可以用unsigned char buf[4]来表示value：
Big-Endian: 低地址存放高位，如下图：
栈底（高地址）
---------------
buf[3] (0x78) -- 低位
buf[2] (0x56)
buf[1] (0x34)
buf[0] (0x12) -- 高位
---------------
栈顶（低地址）

Little-Endian: 低地址存放低位，如下图：
栈底（高地址）
---------------
buf[3] (0x12) -- 高位
buf[2] (0x34)
buf[1] (0x56)
buf[0] (0x78) -- 低位
---------------
栈顶（低地址）

在现有的平台上Intel的X86采用的是Little-Endian，而像Sun的SPARC采用的就是Big-Endian。

三、例子
测试平台: Sun SPARC Solaris 9和Intel X86 Solaris 9
我们的例子是这样的：在使用不同字节序的平台上使用相同的程序读取同一个二进制文件的内容。
生成二进制文件的程序如下:

int main() {
        FILE    *fp = NULL;
        int     value = 0x12345678;
        int     rv = 0;

        fp = fopen("temp.dat", "wb");
        if (fp == NULL) {
                printf("fopen error\n");
                return -1;
        }

        rv = fwrite(&value, sizeof(value), 1, fp);
        if (rv != 1) {
                printf("fwrite error\n");
                return -1;
        }

fclose(fp);
return 0;
}

读取二进制文件的程序如下：
int main() {
        int             value   = 0;
        FILE         *fp     = NULL;
        int             rv      = 0;
        unsigned        char buf[4];

        fp = fopen("temp.dat", "rb");
        if (fp == NULL) {
                printf("fopen error\n");
                return -1;
        }

        rv = fread(buf, sizeof(unsigned char), 4, fp);
        if (rv != 4) {
                printf("fread error\n");
                return -1;
        }

memcpy(&value, buf, 4); // or value = *((int*)buf);
printf("the value is %x\n", value);

fclose(fp);
return 0;
}

测试过程：
(1) 在SPARC平台下生成temp.dat文件
在SPARC平台下读取temp.dat文件的结果：
the value is 12345678

在X86平台下读取temp.dat文件的结果：
the value is 78563412

(1) 在X86平台下生成temp.dat文件
在SPARC平台下读取temp.dat文件的结果：
the value is 78563412

在X86平台下读取temp.dat文件的结果：
the value is 12345678

[注1]
buf[4]在栈的布局我也是通过例子程序得到的：
int main() {
unsigned char buf[4];

printf("the buf[0] addr is %x\n", buf);
printf("the buf[1] addr is %x\n", &buf[1]);

return 0;
}
output:
SPARC平台：
the buf[0] addr is ffbff788
the buf[1] addr is ffbff789
X86平台：
the buf[0] addr is 8047ae4
the buf[1] addr is 8047ae5

两个平台都是buf[x]所在地址高于buf[y] (x > y)。

2.3 Middle-Endian

除了Big-Endian和Little-Endian之外的多字节存储顺序就是Middle- Endian，比如以4个字节为例：象以3-4-1-2或者2-1-4-3这样的顺序存储的就是Middle-Endian。这种存储顺序偶尔会在一些小型机体系中的十进制数的压缩格式中出现。

嵌入式系统开发者应该对Little-endian和Big-endian模式非常了解。采用 Little-endian模式的CPU对操作数的存放方式是从低字节到高字节，而Big-endian模式对操作数的存放方式是从高字节到低字节。 32bit宽的数0x12345678在Little-endian模式CPU内存中的存放方式（假设从地址0x4000开始存放）为：

内存地址0x40000x40010x40020x4003存放内容0x780x560x340x12

而在Big- endian模式CPU内存中的存放方式则为：

内存地址0x40000x40010x40020x4003存放内容0x120x340x560x78

三、Big-Endian和Little-Endian优缺点

Big-Endian优点：靠首先提取高位字节，你总是可以由看看在偏移位置为0的字节来确定这个数字是正数还是负数。你不必知道这个数值有多长，或者你也不必过一些字节来看这个数值是否含有符号位。这个数值是以它们被打印出来的顺序存放的，所以从二进制到十进制的函数特别有效。因而，对于不同要求的机器，在设计存取方式时就会不同。

Little-Endian优点：提取一个，两个，四个或者更长字节数据的汇编指令以与其他所有格式相同的方式进行：首先在偏移地址为0的地方提取最低位的字节，因为地址偏移和字节数是一对一的关系，多重精度的数学函数就相对地容易写了。

如果你增加数字的值，你可能在左边增加数字（高位非指数函数需要更多的数字）。因此，经常需要增加两位数字并移动存储器里所有Big-endian顺序的数字，把所有数向右移，这会增加计算机的工作量。不过，使用Little-Endian的存储器中不重要的字节可以存在它原来的位置，新的数可以存在它的右边的高位地址里。这就意味着计算机中的某些计算可以变得更加简单和快速。

四、如何检查处理器是Big-Endian还是Little-Endian?

由于联合体union的存放顺序是所有成员都从低地址开始存放，利用该特性就可以轻松地获得了CPU对内存采用Little- endian还是Big-endian模式读写。例如：
int checkCPUendian(){
union {
unsigned int a;
unsigned char b;
}c;
c.a = 1;
return (c.b == 1);

} /*return 1 : little-endian, return 0:big-endian*/

五、Big-Endian和Little-Endian转换

现有的平台上Intel的X86采用的是Little-Endian，而像 Sun的SPARC采用的就是Big-Endian。那么在跨平台或网络程序中如何实现字节序的转换呢？这个通过C语言的移位操作很容易实现，例如下面的宏：

#if defined(BIG_ENDIAN) && !defined(LITTLE_ENDIAN)

#define htons(A)   (A)
#define htonl(A)     (A)
#define ntohs(A)   (A)
#define ntohl(A)    (A)

#elif defined(LITTLE_ENDIAN) && !defined(BIG_ENDIAN)

#define htons(A) ((((uint16)(A) & 0xff00) >> 8) | \
(((uint16)(A) & 0x00ff) << 8))
#define htonl(A) ((((uint32)(A) & 0xff000000) >> 24) | \
(((uint32)(A) & 0x00ff0000) >> 8) | \
(((uint32)(A) & 0x0000ff00) << 8) | \
(((uint32)(A) & 0x000000ff) << 24))
#define ntohs htons
#define ntohl htohl

#else

#error "Either BIG_ENDIAN or LITTLE_ENDIAN must be #defined, but not both."

网络字节顺序
1、字节内的比特位不受这种顺序的影响
比如一个字节 1000 0000 （或表示为十六进制 80H)不管是什么顺序其内存中的表示法都是这样。

2、大于1个字节的数据类型才有字节顺序问题
比如 Byte A，这个变量只有一个字节的长度，所以根据上一条没有字节顺序问题。所以字节顺序是“字节之间的相对顺序”的意思。

3、大于1个字节的数据类型的字节顺序有两种
比如 short B，这是一个两字节的数据类型，这时就有字节之间的相对顺序问题了。
网络字节顺序是“所见即所得”的顺序。而Intel类型的CPU的字节顺序与此相反。
比如上面的 short B=0102H(十六进制，每两位表示一个字节的宽度）。所见到的是“0102”，按一般数学常识，数轴从左到右的方向增加，即内存地址从左到右增加的话，在内存中这个 short B的字节顺序是：
01 02
这就是网络字节顺序。所见到的顺序和在内存中的顺序是一致的！
假设通过抓包得到网络数据的两个字节流为：01 02

而相反的字节顺序就不同了，其在内存中的顺序为：02 01

如果这表示两个 Byte类型的变量，那么自然不需要考虑字节顺序的问题。如果这表示一个 short 变量，那么就需要考虑字节顺序问题。根据网络字节顺序“所见即所得”的规则，这个变量的值就是：0102

假设本地主机是Intel类型的，那么要表示这个变量，有点麻烦：
定义变量 short X，字节流地址为：pt，按顺序读取内存是为x=*((short*)pt);
那么X的内存顺序当然是 01 02按非“所见即所得”的规则，这个内存顺序和看到的一样显然是不对的，所以要把这两个字节的位置调换。调换的方法可以自己定义，但用已经有的API还是更为方便。

网络字节顺序与主机字节顺序
NBO与HBO 网络字节顺序NBO（Network ByteOrder）：按从高到低的顺序存储，在网络上使用统一的网络字节顺序，可以避免兼容性问题。主机字节顺序（HBO，Host ByteOrder）：不同的机器HBO不相同，与CPU设计有关计算机数据存储有两种字节优先顺序：高位字节优先和低位字节优先。Internet上数据以高位字节优先顺序在网络上传输，所以对于在内部是以低位字节优先方式存储数据的机器，在Internet上传输数据时就需要进行转换。

htonl()
简述：
    将主机的无符号长整形数转换成网络字节顺序。
    #include <winsock.h>
    u_long PASCAL FAR htonl( u_long hostlong);
    hostlong：主机字节顺序表达的32位数。
注释：
    本函数将一个32位数从主机字节顺序转换成网络字节顺序。
返回值：
    htonl()返回一个网络字节顺序的值。

inet_ntoa()
简述：
将网络地址转换成“.”点隔的字符串格式。
#include <winsock.h>
char FAR* PASCAL FAR inet_ntoa( struct in_addr in);
in：一个表示Internet主机地址的结构。
注释：
本函数将一个用in参数所表示的Internet地址结构转换成以“.”间隔的诸如“a.b.c.d”的字符串形式。请注意inet_ntoa()返回的字符串存放在WINDOWS套接口实现所分配的内存中。应用程序不应假设该内存是如何分配的。在同一个线程的下一个WINDOWS套接口调用前，数据将保证是有效。
返回值：
若无错误发生，inet_ntoa()返回一个字符指针。否则的话，返回NULL。其中的数据应在下一个WINDOWS套接口调用前复制出来。

网络中传输的数据有的和本地字节存储顺序一致，而有的则截然不同，为了数据的一致性，就要把本地的数据转换成网络上使用的格式，然后发送出去，接收的时候也是一样的，经过转换然后才去使用这些数据，基本的库函数中提供了这样的可以进行字节转换的函数，如和htons( ) htonl( ) ntohs() ntohl( )，这里n表示network，h表示host，htons( ) htonl()用于本地字节向网络字节转换的场合，s表示short，即对2字节操作，l表示long即对4字节操作。同样ntohs( )ntohl()用于网络字节向本地格式转换的场合。