用Python处理HTML转义字符的5种方式
来源:互联网 发布:redis同步数据库c# 编辑:程序博客网 时间:2024/05/14 22:57
写爬虫是一个发送请求,提取数据,清洗数据,存储数据的过程。在这个过程中,不同的数据源返回的数据格式各不相同,有 JSON 格式,有 XML 文档,不过大部分还是 HTML 文档,HTML 经常会混杂有转移字符,这些字符我们需要把它转义成真正的字符。
什么是转义字符
在 HTML 中 <
、>
、&
等字符有特殊含义(<,> 用于标签中,& 用于转义),他们不能在 HTML 代码中直接使用,如果要在网页中显示这些符号,就需要使用 HTML 的转义字符串(Escape Sequence),例如 <
的转义字符是 <
,浏览器渲染 HTML 页面时,会自动把转移字符串换成真实字符。
转义字符(Escape Sequence)由三部分组成:第一部分是一个 & 符号,第二部分是实体(Entity)名字,第三部分是一个分号。 比如,要显示小于号(<),就可以写<
。
Python 反转义字符串
用 Python 来处理转义字符串有多种方式,而且 py2 和 py3 中处理方式不一样,在 python2 中,反转义串的模块是 HTMLParser
。
# python2
import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'
Python3 把 HTMLParser 模块迁移到 html.parser
# python3
>>> from html.parser import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'
到 python3.4 之后的版本,在 html 模块新增了 unescape 方法。
# python3.4
>>> import html
>>> html.unescape('a=1&b=2')
'a=1&b=2'
推荐最后一种写法,因为 HTMLParser.unescape 方法在 Python3.4 就已经被废弃掉不推荐使用,意味着之后的版本有可能会被彻底移除。
另外,sax 模块也有支持反转义的函数
>>> from xml.sax.saxutils import unescape
>>> unescape('a=1&b=2')
'a=1&b=2'
当然,你完全可以实现自己的反转义功能,不复杂,当然,我们崇尚不重复造轮子。
阅读全文
0 0
- 用Python处理HTML转义字符的5种方式
- Python处理HTML转义字符
- Python处理HTML转义字符
- python 处理HTML转义字符
- python处理HTML转义字符
- html中转义字符的处理 前端和后端两种处理方式
- python处理html中的转义字符
- C#转义字符的两种处理方式
- C#转义字符的两种处理方式
- C#转义字符的两种处理方式
- Python unicode转义字符\u的处理
- Python unicode转义字符\u的处理
- HTML的转义字符
- html的转义字符
- HTML中转义字符如何处理,常见的转义字符有哪些?
- 将HTML特殊转义为实体字符的两种实现方式
- 将HTML特殊转义为实体字符的两种实现方式
- 将HTML特殊转义为实体字符的两种实现方式
- bzoj 3131: [Sdoi2013]淘金 数位dp+堆
- QUZRTZ的使用
- 特征工程与数据预处理
- Java的File类常用API应用
- 卷积的理解
- 用Python处理HTML转义字符的5种方式
- ubuntu16.04开机蓝屏解决方案,亲测有用
- 5个数求最值问题
- opencv之图像直方图
- a simple GP based C++
- CSS基础(11.hover实用实例)
- 关于学习的网站
- Android 网络请求(HTTP、Socket)出错
- Javasctipt学习笔记(this关键字)