scrapy 一次性提取多层嵌套标签的所有文本

来源:互联网 发布:魔兽盒子mac版 编辑:程序博客网 时间:2024/05/22 06:55

怎样才能一次性提取多层嵌套标签的所有文本,而不是通过循环判断来进行拼接呢。详细如下:

假如页面如下:

<p id='test'>hello<b>world!</b></p>

我要的提取结果是:helloworld!

这里就需要注意text()的使用了:

首先设置sel = Selector(text=doc, type='html')

#如果text()前面使用一个反斜杠:sel.xpath("//p[@id='test']/text()").extract()

得到的结果是:[u'hello']

#如果text()前面使用两个反斜杠:sel.xpath("//p[@id='test']//text()").extract()

这样提取出来的是一个列表,得到的结果是:[u'hello', u'world!']

然后再将列表循环拼接即可得到想要的结果:helloworld!。



转自:http://www.cnblogs.com/qlshine/p/5926101.html

原创粉丝点击