为什么pyspider+mongodb只存了一部分数据到数据库,而其他大量数据并没有写入数据库!
来源:互联网 发布:淘宝鞋子穿过还能退吗 编辑:程序博客网 时间:2024/06/08 03:25
什么也不说,先上图!
在pyspider,抓到的数据是这样的
而查看数据库却是这样!
去查看爬虫代码,debug一下,结果才发现原来是因为_id 的数据在网页没有显示出来,导致数据全部重复!
我只能说**网站这坑货!!哥,冒险不用代理爬的11万数据,你居然给我来这限制!还好发现得早,不然等被你禁了ip才发现,那我去不是亏大发了
唉,总结一下,抚慰我受伤的心,希望不会有人犯和我一样的错误!
知识点:
mongodb数据库默认是通过 _id 来说写入的每个数据进行建立索引的,也就是说,通过
>db.person.update({'_id':id}, data, True)
或者
>db.person.insert(data)
这两种方式的话,只要_id是相同的,那么就不会写入数据库!!这就是哥我犯错的地方!
所以啊,在写入数据库的时候一定要找好唯一 的值赋给 _id,不行的话,_id 就不要赋值,数据库会默认加上的。
Game Over!
有时间再把自己摸索了一段时间的pyspider和mongodb以及rabbitmq的结果做个记录。。
0 0
- 为什么pyspider+mongodb只存了一部分数据到数据库,而其他大量数据并没有写入数据库!
- sqlplus使用update操作完数据,不要忘记commit,不然并没有写入到数据库中去
- android 大量数据写入数据库的优化
- Pyspider实例之抓取数据并保存到MySQL数据库
- 关于大量数据写入数据库的性能问题
- 一个三维的数据存到数据库
- executemany存万得数据到数据库
- Access数据库写入数据正确了
- 插入大量数据至MongoDB数据库的速度问题分析
- .Net读取Excle数据写入到数据库
- Sqlite3批量写入数据到数据库中
- 使用JDBC写入blob数据到数据库以及读取数据
- 使用 Bulk Copy 将大量数据复制到数据库
- 使用 Bulk Copy 将大量数据复制到数据库
- 使用 Bulk Copy 将大量数据复制到数据库
- php写入数据库的数据为什么要转义
- 【python 数据库写入】python把数据框数据写入mongodb、mysql
- yii 添加,操作成功,但数据并没有插入到数据库中
- 黑马程序员
- 学生管理系统项目演示
- Python学习(一)——随机数
- 使用scrollto实现slidemenu
- linux 下安装 composer
- 为什么pyspider+mongodb只存了一部分数据到数据库,而其他大量数据并没有写入数据库!
- GDIPlus使用的时候锁定本地文件
- hdoj-1232 畅通工程【并查集】
- hdu 4282 A very hard mathematic problem
- java类的特性(一)
- 文件加密(一) 凯撒加密(Caesar cipher)
- 形参和实参调用方法
- POJ3187Backward Digit Sums【dfs 暴搜水题】
- 苹果开发 笔记(60)UIRefreshControl