爬虫框架--Scrapy学习笔记二
来源:互联网 发布:java web开发进阶 编辑:程序博客网 时间:2024/06/08 18:27
Scrapy项目文件目录简述
前言:通过学习笔记一的总结,大致上已经对Scrapy框架的数据流程以及组件的分工有了了解。这次来真正的创建一个Scrapy项目,来具体的看一看这些组件都被放置在哪些py文件中。(ps:就是找找它们住的地方!)
创建一个Scrapy项目
scrapy startproject Scrapy_web
在终端输入上述命令后,会创建一个名字叫Scrapy_web的scrapy项目。接着输入cd Scrapy_web
进入该项目目录运行下面的命令来创建一个新的spider scrapy genspider dmoz_spider doubanmovie
解释下名词:在这个 dmoz_spider 是你的py文件的名字,后面的doubanmovie 是 spider 的name,当你用scrapy crawl ***
命令来运行爬虫时,* 就是你这里输入的doubanmovie
真是生成的Scrapy文件与Scrapy 项目图 对比
将运行命令后生成的Scrapy文件,与文章刚开始贴出来的项目图做,对比,鲜明的了解下一个Scrapy项目吧。(ps:spiders文件夹下生成的是一个名字叫dmoz_spider.py的爬虫测试dome,与项目文件图中的jd_spider.py不同,它们就是你要些的爬虫了!:)
结束语
简单的看过scrapy的项目文件过后,是不是对Scrapy框架多了一层了解了。接下来我会写一个关于scrapy框架测试的小dome,来爬取豆瓣top250的电影,来对Scrapy的实现运用做下测试。
阅读全文
0 0
- 爬虫框架--Scrapy学习笔记二
- Scrapy框架学习笔记二
- python爬虫框架scrapy学习笔记
- python爬虫框架scrapy学习笔记
- 爬虫框架--Scrapy学习笔记一
- Scrapy爬虫框架笔记
- Scrapy爬虫框架学习笔 二 CrawlSpider的使用
- python爬虫 scrapy框架学习
- Python爬虫框架Scrapy学习二记——Scrapy开发环境配置
- 爬虫学习笔记-Scrapy初识
- 爬虫学习笔记-Scrapy散记
- Scrapy框架学习笔记
- Scrapy爬虫笔记【1-基本框架】
- python爬虫笔记 --------scrapy框架(1)
- python爬虫笔记 --------scrapy框架(2)
- python爬虫笔记 --------scrapy框架(3)
- python爬虫笔记 --------scrapy框架(4)
- Python网络爬虫框架scrapy的学习
- UVa 271
- java中List集合的使用
- IE8和360兼容模式下页面排版出问题的解决办法
- 51nod1119 机器人走方格 v2 费马小定理求逆元
- epoll使用详解(精髓)
- 爬虫框架--Scrapy学习笔记二
- 科大讯飞 错误的码对应说明
- 实战:MySQL Sending data导致查询很慢的问题详细分析
- ServletContext 与application的异同
- leetcode 227. Basic Calculator II
- lua 字符串替换
- android 标题栏创建方法
- linux 回环网卡 实验
- leetcode[Construct String from Binary Tree]//待整理多种解法