换行符乱谈(文本文件vs二进制文件)
来源:互联网 发布:淘宝 军品 编辑:程序博客网 时间:2024/06/05 14:50
搜一些资料的时候偶然看到了这篇博文(http://blog.csdn.net/dbzhang800/article/details/6430280),觉得讲的挺好的,故收藏下~ 另外,文章的排版和颜色都弄的挺好的,让人看着很舒服,学习~~
使用 C 语言的 fopen 打开文件时,可以指定的 mode 有 12 个,其中 6 个包含 "b"
使用 C++ 的 fstream 打开文件时,可用的模式组合有 24 个(?),其中 12 个包含 "binary"
使用 python 的 open 打开文件,除了可以使用 C 中的 12 个模式外,还可以使用 "U" 或 "rU"
使用 Qt 库的 QFile 打开文件时,可以指定 QIODevice::Text 或不指定
- ...
如此种种,看起来是如此的复杂,难怪很多刚接触编程的网友都不相信(或者不想相信):
这一切仅仅是为了一个小小的换行符!
是啊,一个小小的换行符值得如此大动干戈么?
- 当使用 windows 下弱智的记事本时,会不会遇到:本该换行的地方,它显示一个黑色方块?
- 当使用高级点的编辑器时,是不是都提供设置换行符的功能?
- 当使用跨平台的工具 (比如windows下git) ,是不是需要特别注意换行符设置?
- ...
文本 vs 二进制
哎,等等...
你前面提的C中的"b",C++中的"fstream::binary",Qt的"QFile::Text",我都知道啊:不是区分文本和二进制操作的么?和换行符有什么关系?!
那么我们有必须要看看:
什么是文本文件(Text File)?
所有的文件都是二进制文件(Binary File)
- 如果一个二进制文件的内容全是可打印的字符和空白字符(空格、Tab、回车、换行等)组成,可称其为文本文件。
换句话说:本来就不存在 文本文件 这个独立类别,文本文件属于二进制文件。
如果这样,为何C、C++等等打开文件是都提供文本和二进制两种模式么?(暂不解释^_^)
考虑一个例子:打开文件(不管后缀名等等),分别写入:
"/x10/x11/x12/x13/x14"
不可见字符
"/x30/x31/x32/x33/x34"
"01234"
而后者由于全部是可打印字符,你可能就会称其为文本文件。
文件 vs 模式
注意区分两个概念:当我们提C、C++打开文件的方式时,我们一直在说 文本模式 和二进制模式,而不是说打开 文件文件 和二进制文件。这中间有很微妙的区别。
任何一个文件,你都可以用文本或二进制模式打开。但是对于 *.png 等这些东西,你用文本模式打开读进来的往往不是你期望的结果。
考虑这样一个文件 hello.txt,其内容:
line1/r/nline2/r/n
如果在windows下:你用文本模式打开,读进来多少个字符?用二进制模式打开,又是多少个字符?为何同一个文件,读进来的不一样?
换个角度考虑考虑
我们前面提到(C、C++、Python、还有不该和语言并列Qt)的文件操作,都是需要通过系统调用对文件进行操作的。具体一点:
- 在Windows下,不管通过哪种方式,最终都需要使用
HANDLE WINAPI CreateFile( __in LPCTSTR lpFileName, __in DWORD dwDesiredAccess, __in DWORD dwShareMode, __in_opt LPSECURITY_ATTRIBUTES lpSecurityAttributes, __in DWORD dwCreationDisposition, __in DWORD dwFlagsAndAttributes, __in_opt HANDLE hTemplateFile);
参数很多,每一个参数又有很多标记位组成(具体看MSDN)。但是你可以发现:对它来说,不存在文本文件和二进制文件的区别,你也无法设置text或binary等标记位!!
- 在posix 系统下,文件操作需要
int open(const char *pathname, int flags);int open(const char *pathname, int flags, mode_t mode);int creat(const char *pathname, mode_t mode);
同样,这儿可以设置flags和mode,可以设置的标记很多。但是就是没有提供text和binary相关的东西!!
是不是很有意思?
- 系统的文件操作接口压根就没有二进制和文本的区别!
- 使用这些接口的C、C++、Python 却提供了二进制和文本两种模式
换行符
是时候谈 换行符 了:
- newline
- line break
- EOL (end-of-line)
想象一下,一个文本编辑器打开一个"文本文件",遇到哪个字符开始换行呢?
- 想想Windows下的记事本,遇到遇到"/r/n"它处理成换行,遇到'/n'它就只会显示黑方框。
应用程序和操作系统通常用1到2个字符代表换行:
CR+LF
Windows、DOS、Symbian、Palm ...
LF
GNU/Linux、Mac OS X、FreeBSD ...
CR
Mac OS 9(之前)...
LF+CR
Acom BBC
RS
QNX 在posix之前
NEL
z/OS、i5/OS ...
...
...
这些之中,其实我们也只对 CR+LF 与 LF 这两种换行符感兴趣。
有什么问题么?
本来一切很正常的:
在Windows下:
调用 CreateFile 打开文件
HANDLE hFile = CreateFile (TEXT("twoline.txt"), GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
调用 WriteFile 写入两行
DWORD dwBytesWritten;WriteFile (hFile, "line1/r/nline2/r/n", 14, &dwBytesWritten, NULL);
调用CloseHandle关闭文件
CloseHandle(hFile);
在Posix系统下
- 调用open打开文件
int fd = open("twolines.txt", O_WRONLY|O_CREAT);
- 调用write写入两行
write(fd, "line1/nline2/n", 12);
- 调用close关闭文件
close(fd);
各个平台相安无事,windows下你想换行就用'/r/n',posix下想换行就用'/n'
如何就出问题了呢?
各个平台的换行符不一致,一旦涉及跨平台问题就出来了。
考虑一下,如果使用C语言的binary模式的话,我们想生成一个像前面一样包含两行代码的文件,该怎么办?
- 根据平台不同,用#if #else 进行预处理?
#ifdef _WIN fwrite("line1/r/nline2/r/n"); #else fwrite("line1/nline2/n"); #endif
- 还是采用某种方式,同一行代码:在不同平台下生成不同的东西
fwrite("line1/nline2/n");
应该就是为了这个吧,引入了一个"文本模式"
- 写入时,遇到'/n'就转换成平台相关的换行符(对与windows就是"/r/n");
- 读入时,遇到平台相关的换行符(比如windows下的"/r/n"),转换成'/n'
- 注意:对与posix系统,'/n'就是系统换行符,不存在转换
- 所以我们经常听说:linux下文本文件和二进制文件没有区别。
正是为了这个换行符,所以C、C++、Python等语言提供的文件操作函数才都有了Text、Binary两种模式:
C、C++、Qt
C语言的文件操作
#include <stdio.h>FILE *fopen(const char * restrict filename, const char * restrict mode);
除了文件名之外,还要传递一个 mode 的字符串作为标记。而这些标记分为带b和不带b两类:
文本
二进制
r
rb
只读或只写
文件必须存在
w
wb
文件存在则清空、不存在则创建
a
ab
追加;文件不存在则创建
r+
r+b 或 rb+
读写
同r和rb
w+
w+b或 wb+
同w和wb
a+
a+b或 ab+
同a和ab
C++的文件操作时
explicit fstream ( const char * filename,ios_base::openmode mode = ios_base::in | ios_base::out );
除了文件名之外,我们需要传递一个 mode:
app
(app end) 每次写操作前找到文件尾
ate
(at e nd) 打开文件后立即将文件定位到文件尾
binary
(binary ) 以二进制模式进行IO操作
in
(in put) 允许读操作
out
(out put) 允许写操作
trunc
(trunc ate) 打开文件时清空文件流
这样看似乎没神马意思哈?一般都是组合使用的:
- in、out、app、trunc的有效组合如下
out
只写
清空文件内容
out|app
追加
out|trunc
等同out
in
只读
in|out
读写
in|out|trunc
清空文件内容
- 6个标记这儿只提了4个,其他两个和这儿的可以随意组合,不受限制(我对此不太确定,dbzhang800 2011.5.18)
也就是:带binary和不带binary的组合数目一样多的
Qt的文件操作
bool QFile::open ( OpenMode mode )
这儿是mode又是什么东西?
QIODevice::NotOpen
QIODevice::ReadOnly
QIODevice::WriteOnly
QIODevice::ReadWrite
QIODevice::Append
QIODevice::Truncate
QIODevice::Text
QIODevice::Unbuffered
其他
现在国内用linux的似乎越来越多了,很多人有这个问题:
linux下创建了一个包含中文的文件,拷贝到windows下面。 用记事本打开看 ==> 汉字正确,换行的地方出现了黑方块 用写字板打开看 ==> 换行正确,汉字乱码
很有意思?可是如何解决?
- 找个支持utf8编码和'/n'换行的编辑器即可解决问题。
- 在linux采用"/r/n"换行和gb18030编码保存文件,也可以解决问题
如果就用windows系统自带的记事本 和写字板 怎么办?看好了:
- 先用写字板打开文件,不用管乱码问题,直接保存。
- 再用记事本打开。(恩,此时一切正常)
参考
- C99标准 (ISO/IEC 9899 7.19.5.3 The fopen function)
- C++ Primer (8.4.2 文件模式)
http://www.cplusplus.com/reference/iostream/fstream/fstream/
- Python2.7 manual
- Qt4.7 manual
- Windows核心编程(10.1 打开和关闭设备)
http://en.wikipedia.org/wiki/Newline
- 换行符乱谈(文本文件vs二进制文件)
- 小小换行符乱谈(文本文件vs二进制文件)
- 小小换行符乱谈(文本文件vs二进制文件) .
- 小小换行符乱谈(文本文件vs二进制文件)
- 小小换行符乱谈(文本文件vs二进制文件)
- 小小换行符乱谈(文本文件vs二进制文件)
- 二进制文件 VS 文本文件
- 迷惑解答之文本文件VS二进制文件
- 【VS开发】fopen 文本文件与二进制文件区别
- 回车换行符(CRLF)与文本文件和二进制文件
- 文本文件 二进制文件
- 文本文件二进制文件
- 文本文件 二进制文件
- 计算机史话 —— 回车和换行 与 文本文件和二进制文件
- 详解二进制文件和文本文件的区别暨换行和回车详解
- 二进制文件与文本文件
- 文本文件和二进制文件
- 文本文件和二进制文件
- Linux常用服务配置之nfs服务配置
- 数据库移植工作——建库脚本移植
- Metro风格用户界面设计原则
- Eclipse+svn+subclipse配置
- JSP解析成Servlet
- 换行符乱谈(文本文件vs二进制文件)
- TLD(Tracking-Learning-Detection)学习与源码理解之(六) .
- 8*8点阵
- D-Target 1
- Android:Context.startService/Context.bindService的区别
- windows xp 安装sql server 2000提示‘以前的某个程序安装已在安装计算机上创建挂起的文件操作。运行安装程序之前请重新启动计算机’
- jquery常用选择器
- 给证件照换背景颜色
- php-serial