Python 爬虫——requests库
来源:互联网 发布:上海通用在线编程网址 编辑:程序博客网 时间:2024/06/17 04:20
爬虫第一步安装requests库
具体的安装方法 cmd 模式下 pip install requests
request库中的具体方法:
requests.request() 构造一个请求
requests.get() 获取HTML网页的主要方法,对应与HTTP 的Get
requests.head() 获取HTML网页头信息的方法,对应Http的head
requests.post() 向Html网页提交Post 的请求方法,对应HTTP的post
requests.put() 向Html的网页提交put请求,对应Http的put
requests.patch() 向Html网页提交局部修改,对应Http的PATCH
requests.delete() 向HTML网页提交删除的请求,对应HTTP 的delete
抓取百度页面
# 引用request库
import requests
#使用get 方法请求http://www.baidu.com
r=requests.get('http://www.baidu.com')
# 状态码
status_num=r.status_code
#进行页面转码
r.encoding=r.apparent_encoding
#打印页面
print(r.text)
#打印响应头
print(r.headers)
get:
Help on function get in module requests.api:
get(url, params=None, **kwargs)
Sends a GET request.
:param url: URL for the new :class:`Request` object.
:param params: (optional) Dictionary or bytes to be sent in the query string for the :class:`Request`.
:param \*\*kwargs: Optional arguments that ``request`` takes.
:return: :class:`Response <Response>` object
:rtype: requests.Response
解析理解:
向页面发送Request请求返回Response
r=requests.get(ur,params=None,**kwargsl)
url:拟获取页面的url连接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数
r:相当于返回一个包含服务器资源的response对象
get:构造一个向服务请求资源的request对象
Response对象的属性:
r.status_code Http请求返回状态,200返回成功
r.text Http请求响应内容的字符串形式,即url对应的页面内容
r.encoding 从Http header 中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出响应的内容编码格式
r.content 从HTTP 响应的内容二进制形式 #目录
r.headers 获取请求头信息
例子:
# 引用request库
import requests
#使用get 方法请求http://www.baidu.com
r=requests.get('http://www.baidu.com')
# 状态码
status_num=r.status_code
#进行页面转码
r.encoding=r.apparent_encoding
#打印页面
print(r.text)
#打印响应头
print(r.headers)
- Python 爬虫——requests库
- python爬虫-Requests库
- Python爬虫 --requests库
- Python爬虫学习一——requests库
- Python网络爬虫——Requests第三方库
- python爬虫requests库详解
- python爬虫之一:requests库
- 【Python】【爬虫】关于requests库
- python爬虫学习笔记——使用requests库编写爬虫(1)
- Python 网络爬虫与信息获取(一)—— requests 库的网络爬虫
- python网络爬虫系列教程——python中requests库应用全解
- Python爬虫实例——基于BeautifulSoup和requests实现
- python爬虫开发(6)—爬虫入门--Requests爬虫(cookie)
- python爬虫开发(6)—爬虫入门--Requests爬虫(session)
- python——爬虫学习——requests库的使用-(1)
- python爬虫系列(2)—— requests和BeautifulSoup库的基本用法
- Python网络爬虫(一)——Http协议及Requests库
- Python 3爬虫网易云(一)—— Requests库用法
- canvas实现雨滴效果
- 交换两变量的值
- 人脸检测之MTCNN训练自己的数据
- 一个简易的allocator
- LinkedBlockingQueue阻塞队列offer()操作抛出中断异常
- Python 爬虫——requests库
- 超级账本PBFT(拜占庭容错)算法详解
- eclipse+pydev环境搭建(jdk环境配置相关)
- python学习之异常与多线程
- C 语言位操作
- 语料与词汇资源
- android的web浏览器配置属性
- Binder机制研究
- Sublime快捷键