知乎爬虫相关问题存到mongoDB中
来源:互联网 发布:ltescdma是什么网络 编辑:程序博客网 时间:2024/05/17 01:41
http://blog.csdn.net/lxb1022/article/details/75258021
按照这个博主的文章成功爬取到了知乎的内容,只是中间有两处改动。
1.输入验证码的地方raw_input改为了input
我们来看input的源码
def input(prompt): return eval(raw_input(prompt))
so,input等价于eval(raw_input(prompt))
其实input也是调用了raw_input,只是做了eval处理,而eval有什么作用呢?
eval函数是将字符串str当成有效Python表达式来求值,并返回计算结果。
input:会根据用户的输入来做类型的转换
raw_input:将所有输入作为字符串看待,不管用户输入什么类型的都会转变成字符串。
input和raw_input的区别:http://blog.csdn.net/dq_dm/article/details/45665069
python3中已经没有raw_input我用的python3,所以换成input没有问题
2.在第三篇结束要注意pipeline.py中的注释
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
Don’t forget to add your pipeline to the ITEM_PIPELINES setting
在setting.py中设置ITEM_PIPELINES:
这个settings是为了激活pipeline组件,整数值决定了他们运行的顺序,具体看注释中提供的文档地址。
ITEM_PIPELINES = { 'zhihu.pipelines.ZhihuPipeline': 300,}
这样才能运行正确,让爬下来的数据存储到excel中。
表示自己后来又找方法存到了mongoDB中:便于数据的使用。修改了pipeline如下
class MongoPipeline(object): collection_name='test' def __init__(self,mongo_uri,mongo_db): self.mongo_uri=mongo_uri self.mongo_db=mongo_db @classmethod def from_crawler(cls,crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE') ) def open_spider(self,spider): self.client=pymongo.MongoClient(self.mongo_uri) self.db=self.client[self.mongo_db] def close_spider(self,spider): self.client.close() def process_item(self,item,spider): self.db[self.collection_name].insert_one(dict(item)) return item
并在settings.py中设置
ITEM_PIPELINES = { 'zhihu.pipelines.MongoPipeline':300,}
阅读全文
0 0
- 知乎爬虫相关问题存到mongoDB中
- python Requests 知乎问题图片爬虫
- python3 爬虫日记(二) 将数据存到Mongodb
- 爬虫 爬内容存到txt中
- 知乎爬虫
- 知乎爬虫
- python 爬虫 知乎
- 知乎爬虫
- python爬虫知乎
- 知乎图片爬虫
- JAVA知乎爬虫
- 知乎爬虫
- 爬虫登录知乎
- 如何看待代码中滥用HashMap?-知乎问题读后感和相关研究
- python 爬虫(二) 爬虫知乎 制作成电子书发送到kindle
- 知乎爬虫(一)
- 知乎爬虫(二)
- 登录知乎的爬虫
- 自媒体头条号关于图文、视频、图集原创标准细则
- [分布式监控CAT] Server端源码解析——消息消费\报表处理\展示
- Linux进阶之 find 命令的参数详解
- facepp python接入工具
- lambad
- 知乎爬虫相关问题存到mongoDB中
- SqlServer 两表更新问题
- 云数据库 Redis 版使用教程
- windows下Python版本切换使用方法
- bzoj3391 [Usaco2004 Dec]Tree Cutting网络破坏(dfs)
- 华为2017年9月校招芯片类面试经验
- 不定宽高的盒子模型水平垂直居中问题。
- java压缩和解压文件(支持中文文件名)
- win10安装ubantu16.04遇到的一些问题