编码常见问题及解决方式
来源:互联网 发布:软件设计师视频下载 编辑:程序博客网 时间:2024/05/18 03:42
1、问题:UnicodeEncodeError: 'ascii' codec can't encode characters in position
方法:字符集的问题,在文件前加两句话
reload(sys)
sys.setdefaultencoding( "utf-8" )
2、中文常见编码问题:
python中正则表达式string = re.sub(ur"[^\u4e00-\u9fa5]", " ",string),前面的u不能去掉(python3解释器可能不受影响)
encode就是把参数编码转换成二进制编码,如:word=word.encode("utf8"),就是把utf8转成了二进制编码。
unicode(sen, "utf8")就是把sen转成utf8编码
decode就是按照参数转码成unicode如message.decode('utf8'),所以若参数是utf-8,则功能与上句话相同。
有个讲得比较清楚的网站
3 、'utf8' codec can't decode bytes in position 0-1: invalid continuation byte
解决方法:1、确实是输入编码和读的编码不一致;2、重启试试; 3文件里面还有非法字符.decode("utf-8","ignore")
补充:
1/《python自然语言理解》这本书上有讲decode与encode之间的关系,大概意思就是各种各样的编码格式(“GBK”,“UTF-8”)——>(decode("GBK"))成unicode——>(encode("GBK"))成各种各样的编码格式。
2/codecs指定编码打开就已经转成unicode了,与line=line.decode("utf-8")的效果一样
3/try语句的使用。有时会遇到乱码问题,这时应该用try语句。try: word=word.decode("utf-8") except:continue
0 0
- 编码常见问题及解决方式
- docker常见问题及解决方式
- 华为VPN常见问题及解决方式
- 使用AsyncTask的常见问题及解决方式
- 使用AsyncTask的常见问题及解决方式
- ubantu常见问题解决方式
- CheckStyle报错的常见问题及解决方式
- WMI常见问题及解决
- AutoCAD常见问题及解决
- Tomcat常见问题及解决
- eclipse常见问题及解决
- WMI常见问题及解决
- Genymotion常见问题及解决
- Eclipse常见问题及解决
- ubuntu常见问题及解决
- Selenium常见问题及解决
- cmake 常见问题及解决
- php常见问题及解决
- 新版福昕阅读器(Foxit Reader)启动速度慢解决办法
- 打开MySQL数据库远程访问的权限
- Show slave status 详解
- timezone 0.4.3
- vim - Run python code in vim editor
- 编码常见问题及解决方式
- mysql批量删除指定后缀名的数据表
- 怎么能让div标签里面的p自动换行 [问题点数:30分,结帖人alleni123]
- SQLServer性能优化之 nolock,大幅提升数据库查询性能
- Freemarker 内置函数 数字、字符串、日期格式化用法介绍
- 下拉列表框Spinner
- JS字符串大小写转换实现方式
- Android 6.0变化之休眠模式
- codeforces 589 C. Polycarp's Masterpiece