python3.4爬虫——urllib等模块的引用
来源:互联网 发布:js去掉前面的空格 编辑:程序博客网 时间:2024/05/17 23:58
用python写爬虫程序的时候经常使用的库肯定是urllib,除此之外,还有urllib2和cookielib等,但是由于python版本的更新,在一些库和方法的使用上python3并不能向下兼容。所以在写爬虫程序时并不能按照python2的引用方法。现将urllib等方法的引用方法归纳如下(以python3.4为例,是否会适用python3.2等版本不可知):
首先,python3.4中,而是将urllib2、urlparse、robotparser并入了urllib模块,并且修改了urllib模块,其中包含了5个子模块,每个子模块中的常用方法如下:
urllib.error: ContentTooShortError;URLError;HTTPError
urllib.parse:urlparse;_splitparams;urlsplit;urlunparse;urlunsplit;urljoin;urldefrag;
unquote_to_bytes;unquote;parse_qs;parse_qsl;unquote_plus;quote;
quote_plus;quote_from_bytes;urlencode;to_bytes;unwrap;splittype;splithost;splituser;splitpasswd;splitport等;
urllib.request: urlopen; install_opener; urlretrieve; urlcleanup; request_host; build_opener; _parse_proxy; parse_keqv_list; parse_http_list; _safe_gethostbyname; ftperrors; noheaders; getproxies_environment; proxy_bypass_environment; _proxy_bypass_macosx_sysconf; Request
urllib.response: addbase; addclosehook; addinfo;addinfourl;
urllib.robotparser: RobotFileParser
以上方法并没有列举完全,具体的每个子块的所有类和方法可以在python安装包里的Lib/urllib下查询(如果不是python3.4.3版本的python版本,可以到这个目录下面查询相应的方法。)
另外,python2中的cookielib,在python3.4中重命名为http.cookiejar. 引用时直接import http.cookiejar 即可。
最后,由于python3严格区分bytes和str类型,并且这两种类型不能以任意隐式方式使用,但是urllib中的有些方法对于str和bytes有严格的规定,比如下面这段代码:
- python3.4爬虫——urllib等模块的引用
- python3使用urllib模块制作网络爬虫
- Python3爬虫学习笔记1.1——urllib官方库的使用
- 【笔记】3、初学python3网络爬虫——urllib库的使用
- urllib模块爬虫在Python2在Python3中的使用
- python3的urllib的request模块
- python3 基于urllib模块的网络编程
- Python3学习笔记 urllib模块的使用
- Python3 urllib模块使用
- Python3 urllib库爬虫 基础
- python3 urllib 爬虫乱码问题解决
- python3 urllib爬虫抓取记录
- python3.x中的urllib模块
- python3.x中的urllib模块
- Python3学习笔记(urllib模块的使用)
- 【Pyhton网络爬虫】网络请求使用的urllib模块
- Python3 的urllib实例
- python——urllib模块
- 网易2017校园招聘笔试题:回文序列
- win7下装win10双系统
- 【神经网络与深度学习】学习笔记:AlexNet&Imagenet学习笔记
- 计算机网络
- 【第三周】第三章习题3.7
- python3.4爬虫——urllib等模块的引用
- 求单链表的长度(可能有环)
- 38. Count and Say
- GDB调试
- 线性表的归并排序
- Tomcat version 6.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 Web modules
- 【神经网络与深度学习】卷积神经网络-进化史:从LeNet到AlexNet
- OC-检测UITextView输入内容字数加限制
- 道客web前端开发实习生,电话面试问题