基于python3.5的scrapy框架搭建(三)

来源:互联网 发布:java图形界面编程代码 编辑:程序博客网 时间:2024/06/15 18:36

搭建好scrapy框架,我们需要给框架添加使用MySql数据库的工具,下载mysqlclient库,以便于管理。

使用时:

import MySQLdb

就可以很好的控制mysql数据库。


正式开始使用scrapy:

在工作目录创建main.py文件:

# -*-  coding: utf-8 -*-from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))# execute(["scrapy","crawl","num","--nolog"])execute(["scrapy","crawl","num"])
想要运行爬虫,只需要运行main.py就可以了