Scrapy使用的一些技巧

来源:互联网 发布:java 异常处理 编辑:程序博客网 时间:2024/06/05 02:10
  1. 如果在某个xpath对象下继续使用xpath规则提取, 当提取某个对象下的所有某个对象所有tr标签.
    html = response.xpath("/html/body")
    tr = html.xpath(".//tr") #搜索body下的所有tr必须加上'.', 否则搜索的是整个文档的所有tr

  2. 如下面代码所示,生成的数据是unicode对象,不能再进行xpath:

pic = sel.xpath("//div[@class='picContent']//img").extract()[0]

如果想继续使用,需要把尾部的.extract()[0]去掉即可,既是str对象。

0 0
原创粉丝点击