写爬虫过程中的一个问题
来源:互联网 发布:网络渠道销售授权书 编辑:程序博客网 时间:2024/04/30 20:50
这几天在写python爬虫。python2.7+selenium+Chrome(为了在测试时实现可视化而使用Chrome,后期换成phantomjs-2.1.1),IDE为pyCharm
爬虫已经写好了,这是开始的一部分代码:
from selenium import webdriverimport osimport timeimport reimport urllibimport threadingdriver = webdriver.Chrome()url = "hhhhhh"driver.get(url)
……
然后突然来了灵感,感觉是pyCharm在导入第三方库时出现问题。于是针对此问题进行了测试:
一、在IDE中输入以下代码:
import timestart = time.clock()from selenium import webdriverprint "haha"end = time.clock()print end-start
其运行结果是:
二、在IDE中输入以下代码:
import timestart = time.clock()print "haha"end = time.clock()print end-start
其运行结果是:
分析一、二:
在同样有语句“print "haha" ”的情况下,一比二多一句导入selenium的语句,二者的时间竟相差n个数量级。
也就是说,正是导入selenium模块的操作,费了时间,而在cmd命令行下,并不存在此问题。
为了检验是否为pyCharm版本的问题,特意在原有pyCharm4.5的基础上,又下载安装了2016.03版本,问题仍然存在。
因此,出现费时问题的原因是使用pyCharm导入selenium模块时的速度及其慢。
问题找到了,但是出现这个现象的原因、背后的道理以及相应的解决方法还未找到。还望看到此文的各位,有任何想法或者解决方法,多多交流和指点。
0 0
- 写爬虫过程中的一个问题
- 写爬虫过程中的一些总结
- java写一个爬虫
- 【爬虫】十分钟写一个简单爬虫
- 用c/c++语言写的一个小的“爬虫”程序学习过程总结
- 。NET在安装过程中的一个问题
- myeclips安装过程中的一个小问题
- Timer事件过程中的一个问题
- 正则表达式使用过程中的一个问题
- 一个存储过程中的小问题
- 通配符使用过程中的一个问题:wildcard
- kafka启动过程中的一个小问题
- 云掌通使用过程中的一个小问题
- python写爬虫1-写一个简单爬虫
- 用Python写一个网络爬虫爬取网页中的图片
- 《自己动手写操作系统》bochs配置过程中的问题
- 两个ListBox中的itme相互转移过程中的一个问题
- 一个C#写的爬虫程序
- 单例设计模式
- ProgressBar的样式及用法
- kmp 快速模式串匹配
- 微软认知服务 人脸识别 API 之 概述
- 练习题
- 写爬虫过程中的一个问题
- mac 设置代理做抓包调试
- 突破github的100M单个大文件上传限制
- Android内存优化总结
- NYoj811变态最大值
- codeforces 621E Wet Shack and blocks dp+矩阵幂优化!
- python 组织菜谱
- centos7 foxit reader占用CPU过高问题解决方案
- Android_JNI实例