Python开源网络爬虫或网络蜘蛛scrapy入门遇到问题
来源:互联网 发布:etap电气仿真软件 编辑:程序博客网 时间:2024/06/05 19:57
踏过千山万水,峰回路转,终于装上了scrapy爬虫构架。接着参照网上写一个demo。
中文demo:http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html
英文原创demo:http://doc.scrapy.org/en/0.16/intro/tutorial.html
由于疏忽,在spider目录下的蜘蛛程序中,有那么一段代码:
filename = response.url.split("/")[-2]敲入时少了后面的 [-2],于是
filename = response.url.split("/")然后运行,问题就来了
一下子被吓倒了,貌似问题出现在Twisted模块,是不是装Twisted版本不对导致的。Google一下,找到有类似的问题,按网上做,还是没解决。此时已经严重怀疑是Twisted版本问题导致的,不过这时还不想重装Twisted,毕竟太麻烦了。于是到英文scrapy.org网站找scrapy demo例子。照搬下来,居然可以正常运行了!!!此时证明不是Twisted版本问题,发现自己代码少了[-2]的缘故。分析一下,可能是open()这个函数是继承Twisted的open(),从而错误提示指向Twisted模块。这种错误提示没什么价值,反而有很大的误导性。
所以啊,有时候程序的错误提示并不是问题的真正所在。
- Python开源网络爬虫或网络蜘蛛scrapy入门遇到问题
- 网络爬虫(蜘蛛)Scrapy,Python安装!
- 网络爬虫(蜘蛛)Scrapy,Python安装!
- 网络爬虫(蜘蛛)Scrapy,Python安装!
- python 网络爬虫开源框架scrapy
- 网络蜘蛛爬虫 Scrapy - 简介&Demo
- 网络爬虫Scrapy框架入门
- Python网络爬虫框架:Scrapy
- windows 7 下 网络爬虫(蜘蛛)Scrapy 安装
- 网络蜘蛛爬虫原理
- 蜘蛛网络爬虫多线程
- 开源python网络爬虫框架Scrapy
- python Scrapy 轻松定制网络爬虫
- 开源python网络爬虫框架Scrapy
- 开源python网络爬虫框架Scrapy
- 开源python网络爬虫框架Scrapy
- 开源python网络爬虫框架Scrapy(转)
- 开源python网络爬虫框架Scrapy
- 如何配jdk的环境变量
- 由浅入深理解索引的实现
- POJ 2723 Get Luffy Out(2-SAT + 二分)
- Python字符编码详解
- java架构师之路:JAVA程序员必看的15本书的电子版下载地址
- Python开源网络爬虫或网络蜘蛛scrapy入门遇到问题
- 《单例模式》之双重检查加锁DCL(结合SQLiteOpenHelper实例)
- IPad读写U盘的解决方案
- jsp学习(一)
- 浅谈linux字符设备注册
- iOS crash log report tools
- hdu 2579 BFS
- 解决聚合函数的问题(一)
- 一个无聊的递归冒泡排序程序