正则匹配时遇到的编码问题(unicode,gbk,utf-8,中文)
来源:互联网 发布:购票软件排行 编辑:程序博客网 时间:2024/06/07 17:51
啦啦啦好久没写好懒,这次先不写数据库这个小表砸~其实这个问题好久好久之前的了,现在才写也是懒= =
用python写爬虫经常涉及到编码问题,本人用pycharm写代码,基本上都写这里了
一.几种常用的编码
1.utf-8
UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言(如英文,日文,韩文)。
pycharm下默认print显示的是utf-8,所以如果爬了一篇编码正确的文章存进了一个list里,用for逐项打印出来,是能print出中文来的.但是如果没有逐条打印是会打印出一堆乱码的.
但是pycharm写代码时默认的不是utf-8,所以如果加中文注释会报错.所以写代码之前,要在全文最前面先写上:
#coding=utf-8
也有写法是 #*-coding:utf-8-*-
如果爬文章时遇到非utf-8想print出来,先转码
2.GBK与GB2312
GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符,是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大.
很多时候字符串(string)的编码是GBK.上面说的print整个列表,类型就是string.要换成utf-8,要先换成unicode.
3.unicode
Unicode码扩展自ASCII字元集。在严格的ASCII中,每个字元用7位元表示,或者电脑上普遍使用的每字元有8位元宽;而Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode最初打算作为ASCII的补充,可能的话,最终将代替它。考虑到ASCII是电脑中最具支配地位的标准,所以这的确是一个很高的目标。
ASCII和Unicode算基础的编码吧,要转换其他编码要通过Unicode来转换.
二.查询编码及类型
例如:
a=1b='bbb'c=u'ccc'd='普通中文'e=u'unicode中文'
查询类型就是用 type( )了,默认自带.输出结果为
a
a = u"这是个中文a" b = re.compile(u"这(.*?)文") c = b.findall(a)
匹配结果是”是个中”
另外,用sub函数时,用于代替的字段也记得换成unicode(一般python函数出来的结果都需要转码),否则会出错.
以上为看了n个博客和文档自己总结出来的东西,不保证完全理解正确,年代有点久远没法把原博客链接添上,在此谢过~
- 正则匹配时遇到的编码问题(unicode,gbk,utf-8,中文)
- 中文编码问题(Unicode UTF-8 GBK ...)
- 中文编码问题(Unicode UTF-8 GBK ...) .
- Python中GBK, UTF-8和Unicode的编码问题
- Python中GBK, UTF-8和Unicode的编码问题
- UNICODE, GBK, UTF-8编码的转换
- 编码:utf-8,unicode,gbk....
- GBK、UTF-8、Unicode 编码
- 汉字编码(【Unicode】 【UTF-8】 【Unicode与UTF-8之间的转换】 【汉字 Unicode 编码范围】【中文标点Unicode码】【GBK编码】【批量获取汉字UNICODE码】)
- 中文字符编码:GB2312、GBK、ANSI、Unicode、UTF-8
- php utf-8编码 正则匹配中文
- JavaWeb会遇到的GBK、UTF-8、Unicode编码方式知识小结
- ANSI,UNICODE,UTF-8,GB2312,GBK)编码问题(转)
- 字符串编码问题(Ascii、Unicode、UCS-2、GBK、UTF-8)
- java中编码Unicode及utf-8,gbk问题
- 字符编码问题,UNICODE\UTF-8\UTF-16\UTF-32\UCS\ANSI\GBK\GB2312等乱七八糟的名词
- 字符编码问题,UNICODE\UTF-8\UTF-16\UTF-32\UCS\ANSI\GBK\GB2312等乱七八糟的名词
- Unicode、GBK、UTF-8、ASCII的编码简介
- HDU 5073 Galaxy (贪心)
- poj2780Linearity【共线】
- 屏幕适配的那些坑
- Maven打包可执行jar,包含依赖jar包
- 数据结构实习二2
- 正则匹配时遇到的编码问题(unicode,gbk,utf-8,中文)
- [NOIP初赛复习]插空法与插板法解排列组合问题
- LeetCode-Contains Duplicate 217
- 用例设计
- 使用IComparable和IComparer接口对集合进行排序
- Fragment小技巧
- Python学习二
- Ubuntu12.04 使用Host Only模式配置samba,妈妈再也不用担心我断网了
- HDU2838 Cow Sorting 树状数组