python codecs.open视\u2028字符为换行符

使用codecs.open逐行读取文件时，发现有一行数据被分成了两行，原因是使用codecs.open打开后再逐行读取时会将字符\u2028视为换行，原来该字符是javascript中的转义字符点击打开链接，在一些从网页上抓取的文本中常见，同理还有\u2029，示意代码如下：

import codecstxt = u'aa\nbb\u2028cc'fd = open('a.txt', 'wb')fd.write(txt.encode('utf-8'))fd.close()print('=======open方式========')fd_1 = open('a.txt', 'rb')for line in fd_1.readlines():    print('---------------')    print linefd_1.close()print('\n\n=======codecs.open方式========')fd_2 = codecs.open('a.txt', 'rb', 'utf-8')for line in fd_2.readlines():    print('---------------')    print linefd_2.close()

输出：

=======open方式========---------------aa---------------bb
cc=======codecs.open方式========---------------aa---------------bb
---------------cc

结论：

1 使用codecs.open逐行读取文件时遇到\u2028,\u2029时会拆分成两行；

2 还有注意使用for line in fd_1.readlines():读取一行时，其一行内容中是包含了换行符的，所以要使用strip()去掉；