Scrapy爬虫局部Selector的选取办法
来源:互联网 发布:淘宝试用申请成功 编辑:程序博客网 时间:2024/05/29 10:26
本人由于工作原因需要爬取齐家网的论坛信息,一个比较小众的论坛,需要爬楼主信息以及评论内容,然后遇到了一个比较烦人的问题
我需要取每一条评论,按正常的思路是把每一楼当作一个selector,然后从中遍历每一个sel,选取xpath,
for sel in Selector:
print sel.xpath(‘//xxxxxxx’).extract()
如果你这么写,就恭喜你,我这么写是错的
这是为什么呢?
这里用到了xpath的一些独特的规则,就是“//”默认会取整个selector的部分,如果要从局部取,可以试一下
for sel in Selector:
print sel.xpath(‘.//xxxxxxx’).extract()
对,就是这样,我加了一个点,但就是这个点,想了四天,才把它解决掉
写的有点乱,如果又遇到类似的问题可以联系我,咱们在讨论哈。这里不再赘述
阅读全文
0 0
- Scrapy爬虫局部Selector的选取办法
- scrapy.Selector的使用探索
- 选取EditText的局部文字
- Scrapy爬虫的尝试
- 爬虫框架Scrapy学习记录II--Selector学习
- Scrapy爬虫(九):scrapy的调试技巧
- Scrapy:Python的爬虫框架
- 基于scrapy的小爬虫
- 使用scrapy编写的爬虫
- Python的爬虫框架 Scrapy
- scrapy爬虫框架的使用
- Scrapy:Python的爬虫框架
- 基于scrapy的简单爬虫
- 一个简单的scrapy爬虫
- scrapy 爬虫遇到的坑
- scrapy爬虫的几个案例
- scrapy的第一个爬虫
- scrapy爬虫
- 5.同步互斥机制
- Socket 长连接 短连接 心跳 JAVA SOCKET编程
- DRBD详解
- 使用少量数据构建强大图像分类模型
- app自动化测试6--常用的api
- Scrapy爬虫局部Selector的选取办法
- 循环语句
- MVC原理和MVC模式的优缺点
- 变量的声明、定义、extern、static总结
- B
- JFreeChart 制作折线图分析数据
- 大型网站架构(二)万无一失:网站的高可用架构
- iOS 提供一种检测新版本的方法
- shell的基本语法以及shell进度条的编写