ASCII、UNICODE、二进制的前世今生

来源：互联网发布：c语言用户权限管理编辑：程序博客网时间：2024/06/04 17:43

ASCII 是美国定义的字符标准，用数值0~~7F（即一个字节的低7位）表示常见的英文字符和一些常见的符号，10进制的范围就是0-127了，比如我们常见的大写字母A ，ASCII值就是65（10进制）；之后扩展了一半（即一个字节的8位全部用上），10进制的范围就是128-255，大于128的部分是一些特殊符号。因为表示的字符并不多，所以只用一个字节就可以表示了。而我们说的一个字节是8个二进制位（如：1111 1111，此数的10进制是255，16进制是FF），而7F的二进制形式为（0111 1111）所以说的7位就指有效的7位。
Unicode是足够编码地球上所有的语言了，所以ASCII中所能表示的，Unicode当然全部包括了。Unicode本身是只有2个字节的，这种方法允许分派 65,536 个可能的唯一的字符。之所以出现UTF-8 ,UTF-16等等之类，那是为了针对不同的应用环境，提高整体编码效率，比如如果某篇文章里绝大部分是英语（单字节就能表示），就比较适合使用utf-8，而如果绝大部分是中文（需要双字节），可能就utf-16比较合适了。

     可以通过下面函数实现他们的转换。
MultiByteToWideChar
The MultiByteToWideChar function maps a character string to a wide-character (Unicode) string. The character string mapped by this function is not necessarily from a multibyte character set.

int MultiByteToWideChar(
UINT CodePage, // code page
DWORD dwFlags, // character-type options
LPCSTR lpMultiByteStr, // string to map
int cbMultiByte, // number of bytes in string
LPWSTR lpWideCharStr, // wide-character buffer
int cchWideChar // size of buffer
);
      至于ascii文件和二进制文件的区别，简单的说：看记事本能不能打开。
      能正常打开的，就是ASCII。
      打开后是乱码的，就是二进制的。

ASCII文件也称为文本文件，这种文件在磁盘中存放时每个字符对应一个字节，用于存放对应的ASCII码。例如，数5678的存储形式为：5 6 7 8

二进制文件是按二进制的编码方式来存放文件的。例如，数5678的存储形式为： 00010110 00101110只占二个字节。二进制文件虽然也可在屏幕上显示，但其内容无法读懂。C系统在处理这些文件时，并不区分类型，都看成是字符流，按字节进行处理。输入输出字符流的开始和结束只由程序控制而不受物理符号(如回车符)的控制。因此也把这种文件称作“流式文件”。

====================================================

附件：（声明：转抄别处）

也谈文本文件与二进制文件　2009-01-01 22:32

分类：默认分类

字号：大中小小

网上关于文本文件与二进制文件的文章很多，但遗憾的是，这些文章讲得都比较
散。下面我将结合所查到的资料，从多个角度谈谈文本文件与二进制文件。

一、文本文件与二进制文件的定义

大家都知道计算机的存储在物理上是二进制的，所以文本文件与二进制文件的区
别并不是物理上的，而是逻辑上的。这两者只是在编码层次上有差异。

简单来说，文本文件是基于字符编码的文件，常见的编码有ASCII编码，UNICOD
E编码等等。二进制文件是基于值编码的文件，你可以根据具体应用，指定某个值是什么
意思（这样一个过程，可以看作是自定义编码）。

从上面可以看出文本文件基本上是定长编码的，基于字符嘛，每个字符在具体编
码中是固定的，ASCII码是8个比特的编码，UNICODE一般占16个比特。而二进制文件可看
成是变长编码的，因为是值编码嘛，多少个比特代表一个值，完全由你决定。大家可能
对BMP文件比较熟悉，就拿它举例子吧，其头部是较为固定长度的文件头畔ⅲ?字节
用来记录文件为BMP格式，接下来的8个字节用来记录文件长度，再接下来的4字节用来记
录bmp文件头的长度。。。大家可以看出来了吧，其编码是基于值的（不定长的，2、4、
8字节长的值都有），所以BMP是二进制文件。

二、文本文件与二进制文件的存取

文本工具打开一个文件的过程是怎样的呢？拿记事本来说，它首先读取文件物理
上所对应的二进制比特流（前面已经说了，存储都是二进制的），然后按照你所选择的
解码方式来解释这个流，然后将解释结果显示出来。一般来说，你选取的解码方式会是
ASCII码形式（ASCII码的一个字符是８个比特），接下来，它8个比特8个比特地来解释
这个文件流。例如对于这么一个文件流"01000000_01000001_01000010_01000011"(下划
线''_''，是我为了增强可读性，而手动添加的)，第一个8比特''01000000''按ASCII码来解
码的话，所对应的字符是字符''A''，同理其它3个8比特可分别解码为''BCD''，即这个文件
流可解释成“ABCD”，然后记事本就将这个“ABCD”显示在屏幕上。

事实上，世界上任何东西要与其他东西通信会话，都存在一个既定的协议，既
定的编码。人与人之间通过文字联络，汉字“妈”代表生你的那个人，这就是一种既定
的编码。但注意到这样一种情况，汉字“妈”在日本文字里有可能是你生下的那个人，
所以当一个中国人Ａ与日本Ｂ之间用“妈”这个字进行交流，出现误解就很正常的。用
记事本打开二进制文件与上面的情况类似。记事本无论打开什么文件都按既定的字符编
码工作（如ASCII码），所以当他打开二进制文件时，出现乱码也是很必然的一件事情了
，解码和译码不对应嘛。例如文件流''00000000_00000000_00000000_00000001''可能在二
进制文件中对应的是一个四字节的整数int 1，在记事本里解释就变成了"NULL_NULL_NU
LL_SOH"这四个控制符。

　　文本文件的存储与其读取基本上是个逆过程，不再累述。而二进制文件的存取显然
与文本文件的存取差不多，只是编／解码方式不同而已，也不再叙述。

三、文本文件与二进制文件的优缺点

　　因为文本文件与二进制文件的区别仅仅是编码上不同，所以他们的优缺点就是编码
的优缺点，这个找本编码的书来看看就比较清楚了。一般认为，文本文件编码基于字符
定长，译码容易些；二进制文件编码是变长的，所以它灵活，存储利用率要高些，译码
难一些（不同的二进制文件格式，有不同的译码方式）。关于空间利用率，想想看，二
进制文件甚至可以用一个比特来代表一个意思(位操作)，而文本文件任何一个意思至少
是一个字符．

　　很多书上还认为，文本文件的可读性要好些，存储要花费转换时间(读写要编译码)
，而二进制文件可读性差，存储不存在转换时间（读写不要编解码，直接写值）．这里
的可读性是从软件使用者角度来说的，因为我们用通用的记事本工具就几乎可以浏览所
有文本文件，所以说文本文件可读性好；而读写一个具体的二进制文件需要一个具体的
文件解码器，所以说二进制文件可读性差，比如读BMP文件，必须用读图软件．而这里的
存储转换时间应该是从编程的角度来说的，因为有些操作系统如windows需要对回车换行
符进行转换(将''/n''，换成''/r/n''，所以文件读写时，操作系统需要一个一个字符的检查
当前字符是不是''/n''或''/r/n'').这个在存储转换在Linux操作系统中并不需要，当然，当
在两个不同的操作系统上共享文件时，这种存储转换又可能出来(如Linux系统和Window
s系统共享文本文件)。关于这个转换怎样进行，我将在下一篇文章《Linux文本文件与W
indows文本文件间的转换》给出^_^

四、Ｃ的文本读写和二进制读写

　　应该说Ｃ的文本读写与二进制的读写是一个编程层次上的问题，与具体的操作系统
有关，所以＂用文本方式读写的文件一定是文本文件，用二进制读写的文件一定是二进
制文件"这类观点是错误的．下面的讲述非明确指出操作系统类型，都暗指windows．

　　Ｃ的文本方读写与二进制读写的差别仅仅体现在回车换行符的处理上．文本方式写
时，每遇到一个''/n''(0AH换行符)，它将其换成''/r/n''(0D0AH，回车换行)，然后再写入
文件；当文本读取时，它每遇到一个''/r/n''将其反变化为''/n''，然后送到读缓冲区．正
因为文本方式有''/n''－－''/r/n''之间的转换，其存在转换耗时．二进制读写时，其不存
在任何转换，直接将写缓冲区中数据写入文件．

　　　总地来说，从编程的角度来说，Ｃ中文本或二进制读写都是缓冲区与文件中二进
制流的交互，只是文本读写时有回车换行的转换．所以当写缓冲区中无换行符''/n''(0AH
)，文本写与二进制写的结果是一样的，同理，当文件中不存在''/r/n''(0DH0AH)时，文本
读与二进制读的结果一样．

　　　下面给出一个小程序来证明前面的观点．

1、编写如下程序．该程序将字符串"12/n3"分别以文本方式和二进制方式写入test1和t
est2，然后再以文本方式

读test1，以二进制方式读test2.

#include<stdio.h>

int main()

{

FILE * fp_text,* fp_binary;

char write_buf[4]={''1'',''2'',''/n'',''3''};

char read_buf_text[6],read_buf_binary[6];

int read_count_text,read_count_binary;

//未检测打开是否失败

fp_text=fopen("test1","wt+");

fp_binary=fopen("test2","wb+");

fwrite(write_buf,4,1,fp_text);

fwrite(write_buf,4,1,fp_binary);

//fflush(fp_text);

//fflush(fp_binary);

fseek(fp_text,0L,SEEK_SET);//fseek附带了fflush功能

fseek(fp_binary,0L,SEEK_SET);//

read_count_text=fread(read_buf_text,sizeof(char),5,fp_text);

read_count_binary=fread(read_buf_binary,sizeof(char),5,fp_binary);

//加''/0''，便于打印字符串

read_buf_text[read_count_text]=''/0'';

read_buf_binary[read_count_binary]=''/0'';

printf("In Text Mode:read_count=%d,string=%s/n",read_count_text,read_buf
_text);

printf("In Binary Mode:read_count=%d,string=%s/n",read_count_binary,read
_buf_binary);

fclose(fp_text);

fclose(fp_binary);

return 0;

}

2、该程序在VC6.0下编译运行，显示结果如下(追忆"//"及其右边内容是我手动加的注释
)：

　In Text Mode:read_count=4,string=12

3 //文本方式读test1，读到的字符与原先写入test1的
字符一样

In Binary Mode:read_count=4,string=12

3 //二进制方式读test1，读到的字符与原先写入test1
的字符一样

３．用记事本打开test1和test2，结果如下：

test1的内容：

3 //文本方式写入的，有换行效果，参看下面的4

test2的内容

123 //二进制方式写入的，

无换行效果(记事本对"/r/n"之外的控制字符串无
显示效果)，参看下面的４

4、用vc6.0以Binary方式(二进制方式)打开test1和test2，结果如下（用其他二进制读
写软件也可以）　

test1的内容

31 32 0D 0A 33//十六进制，５个字节，比写入缓冲区多了一个字节，在''/n''(0AH)前
插了一个''/r''(0DH)

test2的内容

31 32 0A 33//十六进制，４个字节，与写入缓冲区的值一致．

5、总结

从4可以看出，文本方式写时，存在''/n''->''/r/n''的转换，而二进制方式无转换．
又从2和４可以推出,文本方式读时存在''/r/n''->至''/n''的转换，而二进制方式无转换．
有兴趣的读者可以，以二进制方式读test1或以文本方式读test2，看会出现什么效果

6．补充说明

　　　上述说明仅适用于windows，在linux中文本方式的读写与二进制方式的读写无差
别，不存在回车换行间的转换．这样当直接在windows和linux中共享文件时，将会出现
与回车换行相关的问题．