python爬虫入门-发送请求
来源:互联网 发布:小黄鸭淘宝客筛选软件 编辑:程序博客网 时间:2024/06/06 08:25
py 3.x版本后,处理爬虫相关的几个包合并成了一个urllib包
(按help(urllib)的文档,包内包含了 error,parse, request,response,robotparser
这5个部分,其中robotparser是一种由网站管理者编写的控制爬虫爬取时限制的规范)
访问百度并直接输出网页代码,如下:
#!usr/bin/pythonimport urllib.request as requesturl = "http://www.baidu.com"data = request.urlopen(url).read()data = data.decode('UTF-8')print(data)
输出效果:
在此基础上,试着添加查询字并返回查询结果,代码如下:
#!usr/bin/pythonimport urllibimport urllib.request data={}data['word']='VAN' url_values=urllib.parse.urlencode(data)url="http://www.baidu.com/s?"full_url=url+url_values data=urllib.request.urlopen(full_url).read()data=data.decode('UTF-8')print(data)
这样最基础的访问操作就完成了 = =
之后要做的还有很多....
参考链接:
py urllib
http://blog.csdn.net/hxsstar/article/details/17240975
抓取网页所有url
http://www.iplaypy.com/crawler/152.html
正则表达式
http://www.oschina.net/question/12_9507
BeautifulSoap
http://cuiqingcai.com/1319.html
阅读全文
0 0
- python爬虫入门-发送请求
- Python爬虫入门2--请求(HTTP)
- Python 爬虫入门(三) HTTP协议请求方式
- Python爬虫 | Python爬虫入门
- 【python 爬虫】python如何以request payload形式发送post请求
- python爬虫入门简单爬虫
- python发送HTTP请求
- python发送HTTP请求
- python发送HTTP请求
- python发送post请求
- python发送post请求
- python发送http请求
- python 发送http请求
- python发送HTTP请求
- python发送get请求
- python 发送post请求
- python-网络爬虫初学一:获取网页源码以及发送POST和GET请求
- python网络爬虫-Email发送
- 北京大学可视化发展前沿研究生暑期学校Day5
- PCB layout学习路线
- AngularJS指令参数详解
- HDU 5942 Just a Math Problem(莫比乌斯)
- 循环链表的插入删除实现
- python爬虫入门-发送请求
- ZOJ1029-Moving Tables
- Python--Lambda
- 【树状数组-区间更新】hdu1556 Color the ball
- Hadoop 历史
- 《OpenCL异构并行计算:原理、机制与优化实践》笔记(二):进入OpenCL的世界(矢量加法)
- 希尔排序(+冒泡排序)
- VMware中Ubuntu连不上网的解决方案
- object recognition(ZFNet)