抓取sogou新闻中的编码问题
来源:互联网 发布:mysql 进入数据库 编辑:程序博客网 时间:2024/05/22 13:33
问题:
我们的新闻经常和百度搜狗等新闻进行对比,于是有个自动化评测的平台。但是我们在抓sogou的页面的时候发现其编码明明写了GBK,但是在python中却用GBK不能解码!
解决方案:
在python使用GB18030编码解码出来,然后再编码成UTF-8传给我们的ParserService做解析。
response = urllib2.urlopen(req).read().decode("GB18030").encode('utf-8')
原因:
在中文编码上面,有如下几个编码集:GB2312 < GBK < GB18030,后者兼容前者。
但是sogou的页面在meta中声称自己是GBK编码,事实上页面中用了超出GBK编码集范围的字符,一些解码工具可以自己尝试去切换编码,但是这个python的decode显然不行。
所以我们指定正确的编码即可解码成功。
阅读全文
0 0
- 抓取sogou新闻中的编码问题
- 抓取新闻
- python抓取网页编码问题
- sogou.com的问题
- NodeJs抓取新闻正文和正文中的图片
- 网页抓取中遇到的编码问题
- urllib2抓取网页出现中文编码问题
- sogou
- Sogou的语料库的问题
- 新闻分类抓取 一期
- 继续 新闻抓取
- java新闻抓取程序代码
- 自动新闻抓取系统
- java多线程抓取新闻
- AAuto - 抓取网页新闻
- AAuto - 抓取VOA 新闻
- java多线程抓取新闻
- 用HtmlCleaner抓取新闻
- GitChat · 人工智能 | 如何零基础用 Keras 快速搭建实用深度学习模型
- Laravel框架数据库CURD操作、连贯操作总结
- 工业机器人来了,是淘汰还是新生?
- python基础入门一
- eclipse中使用JPA根据数据库表自动生成注解实体类
- 抓取sogou新闻中的编码问题
- java开发命名规则和格式要求
- Ubuntu
- http://www.cnblogs.com/dennisit/p/3184225.html
- PHP如何将log信息写入服务器中的log文件
- 解决$.ajax()在IE10以下失效的问题
- 指针测试
- 阿里云申请免费的https证书ssl
- Android Studio中Make Project,Clean Project,Rebuild Project区别