xpath提取多个标签下的text
来源:互联网 发布:c语言修改文件内容 编辑:程序博客网 时间:2024/06/06 18:16
title: xpath提取多个标签下的text
author: 青南
date: 2015-01-17 16:01:07
categories: [Python]
tags: [xpath,Python,xml,scrapy]
---
本文首发在http://kingname.info
在写爬虫的时候,经常会使用xpath进行数据的提取,对于如下的代码:
<div id="test1">大家好!</div>
使用xpath提取是非常方便的。假设网页的源代码在selector中:
data = selector.xpath('//div[@id="test1"]/text()').extract()[0]
就可以把“大家好!”提取到data变量中去。
然而如果遇到下面这段代码呢?
<div id="test2">美女,<font color=red>你的微信是多少?</font><div>
如果使用:
data = selector.xpath('//div[@id="test2"]/text()').extract()[0]
只能提取到“美女,”;
如果使用:
data = selector.xpath('//div[@id="test2"]/font/text()').extract()[0]
又只能提取到“你的微信是多少?”
可是我本意是想把“美女,你的微信是多少?”这一整个句子提取出来。
这还不是最糟糕的,还有第三段代码:
<div id="test3">我左青龙,<span id="tiger">右白虎,<ul>上朱雀,<li>下玄武。</li></ul>老牛在当中,</span>龙头在胸口。<div>
而且内部的标签还不固定,如果我有一百段这样类似的html代码,又如何使用xpath表达式,以最快最方便的方式提取出来?
我差一点就去用正则表达式替换了。还好我去Stack Overflow上面提了问。于是很快就有人给我解答了。
使用xpath的string(.)
以第三段代码为例:
data = selector.xpath('//div[@id="test3"]')info = data.xpath('string(.)').extract()[0]
这样,就可以把“我左青龙,右白虎,上朱雀,下玄武。老牛在当中,龙头在胸口”整个句子提取出来,赋值给info变量。
独立技术博客请戳->http://kingname.info两个博客内容相同。转载请注明出处。
0 0
- xpath提取多个标签下的text
- xpath提取多个标签下的text
- xpath提取多个标签下的text
- xpath提取多个标签下的text
- scrapy xpath提取标签
- 解决:xpath取出指定多标签内所有文字text
- xpath取出指定多标签内所有文字text
- scrapy xpath取包含某些特定文字的选择器,获取一个标签下的所有text(包括自身和子孙)
- 解决Linux 下sublime text 同一窗口打开多个标签
- dom4j下的XPATH
- XPath 多个条件查询
- 用Beautifusoup提取某个标签下的只包含子标签的节点
- 使用Xpath 实现查找标签的内容
- xpath提取网页内容
- 多个前缀号码的提取方法。
- select标签下option标签里value属性有什么用以及和text的区别
- scrapy xpath text拼接
- Python爬虫---数据的提取---正则/Xpath/beautifulsoup--正则
- Android学习之路之Android基本知识
- 欢迎使用CSDN-markdown编辑器
- Linux的基础
- AngularJS学习笔记
- airflow安装
- xpath提取多个标签下的text
- mysql数据库主从同步复制原理
- [LA2965][建模][Meet in the middle]侏罗纪
- 南阳oj 6 喷水装置(一)
- Struts2标签-select实用方法
- JavaScript条件语句的性能问题
- Dijkstra(迪杰斯特)算法求单源最短路径
- 大学里软件工程专业学习的主要课程
- BSOJ:1116 皇宫看守--树的最小支配集(带权)