Scrapy抓取W3C

因为web要开卷考试，准备把W3C上的东西爬下来去考试
用最简单的方法：
spider.py:

# -*- coding:utf-8 -*-import scrapyclass W3CSpider(scrapy.Spider):    name='W3C'    start_urls=[            'http://www.w3school.com.cn/html/index.asp',    ]    def parse(self,response):        for href in response.xpath('//div[@id="navsecond"]/div[@id="course"]/ul/li/a/@href'):            yield response.follow(href,self.parse_content)    def parse_content(self,response):        yield{            'content':response.xpath('//div[@id="maincontent"]').xpath('normalize-space(string(.))').extract()[0],        }

注意以下几点：
1.parse函数是提取课程表下的所有链接

2.normalize-space（）是去除所有空格和换行
3.提出所有文本

data = response.xpath('//div[@id="example"]')info = data.xpath('string(.)').extract()[0]

info就是<div id="example">标签下所有的文本