scrapy环境搭建

在ubuntu16.04下搭建scrapy环境

• 安装pip

sudo apt-get install python-pip

• 安装Scrapy需要的依赖库

sudo apt-get install python-devsudo apt-get install libevent-devsudo apt-get install libssl-dev

• 安装Scrapy

sudo pip install scrapyscrapy version

使用scrapy创建项目

scrapy startproject douban

在spiders目录下创建”doubanspider.py”文件，内容如下：

# -*- coding: utf-8 -*-import scrapyclass firstSpider(scrapy.Spider):    name = "douban" # 爬虫的名字，执行时候使用    start_urls = [        "https://www.baidu.com" #需要爬去的url    ]        def parse(self, response):        bodycontent = response.body # response获取网站的返回内容        filename = response.url.split("/")[-1] + ".html"        # 将bodycontent写入文件        print 'Curent URL => ', filename        file = open(filename, "w")        file.write(bodycontent)        file.close()

执行scrapy项目

在scrapy.cfg的同级目录下创建main.py,用来执行该scrapy项目，内容如下：

# coding:utf-8from scrapy import cmdlinecmdline.execute("scrapy crawl douban".split())

在pycharm中执行main.py，此时控制台输出如下：

另外，在该项目根目录下，也可以看到下载好的网页内容文件

好了，搭建好scrapy环境之后，就可以正式考试我们的爬虫之旅了。 好运，好运，好运