Scrapy爬虫局部Selector的选取办法

来源:互联网 发布:淘宝试用申请成功 编辑:程序博客网 时间:2024/05/29 10:26

本人由于工作原因需要爬取齐家网的论坛信息,一个比较小众的论坛,需要爬楼主信息以及评论内容,然后遇到了一个比较烦人的问题
这里写图片描述
我需要取每一条评论,按正常的思路是把每一楼当作一个selector,然后从中遍历每一个sel,选取xpath,
for sel in Selector:
print sel.xpath(‘//xxxxxxx’).extract()

如果你这么写,就恭喜你,我这么写是错的
这是为什么呢?
这里用到了xpath的一些独特的规则,就是“//”默认会取整个selector的部分,如果要从局部取,可以试一下
for sel in Selector:
print sel.xpath(‘.//xxxxxxx’).extract()
对,就是这样,我加了一个点,但就是这个点,想了四天,才把它解决掉

写的有点乱,如果又遇到类似的问题可以联系我,咱们在讨论哈。这里不再赘述