Requests库入门——first CSDN blog(don‘t know how to write)
来源:互联网 发布:视频慢动作软件 编辑:程序博客网 时间:2024/05/22 15:55
r = requests.get(url)
构造了两个对象
构造一个向服务器请求资源的Request对象(此处Request大小写敏感)
返回一个包含服务器资源的Response对象
requests.get完整使用方法:
requests.get(url,params=None,**kwargs)params:url的额外参数,字典或字节流格式
**kwargs:12个控制访问的参数
get方法其实使用了request方法来封装,request库的7个方法,除了request方法,其他的都是在调用该方法
Response对象包含爬虫返回的内容
r.status_code 返回的状态码为200 则可以继续使用Response对象的其他属性
当r.encoding不能准确解析编码方式时,可以换用apparent_encoding进行更准确的解析
r.raise_for_status() 如果不是200,会产生requests.HTTPError
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r.requests.get(url,timeout = 30)
r.raise_for_status() #状态如果不是200,则引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ = "__main__":
url = "http://baidu.com"
print(getHTMLText(url))
head方法:
r = requests.head("url")r.headers
用很少流量获得网络资源的概要信息
post方法:而字符串会自动编码为data
put()方法与post类似,但会将原有数据覆盖掉
阅读全文
0 0
- Requests库入门——first CSDN blog(don‘t know how to write)
- don’t know how to make ‘TargetCompilePass’
- GDB: don't know how to run
- don't know how to make错位原因
- Don't know how to make "cardserv.lib" 的解决办法
- NMAKE : U1073: don't know how to make 'TargetCompilePass'
- 部分 U1073: don't know how to make ****的原因
- Freebsd8.1:make:don't know how to make
- wince6.0 don't know how to make**错误
- 部分 U1073: don't know how to make ****错误
- I don't know how to get a real life
- 重装PB后第一次编译BSP出错的解决办法(don't know how to make)
- First time to write blog on csdn
- don't know how to make 'D:/WINDDK/2600/lib/wxp/i386/ntstrsafe.lib' 解决办法
- make 'FORCE' does not exist - don't know how to make it 解决
- CE R3 : 关于don't know how to make atlsd.lib 错误
- 编译WINCE时出再“don’t know how to make “/””错误 的解决
- don't know how to make 'D:/WINCE500/public/directx/oak/lib/x86/debug/l3aud32s.lib'
- 清除前端缓存
- 你若安好,一切都好
- office常用技巧总结
- 排序算法(六)——希尔排序
- java 编程之命令运行程序
- Requests库入门——first CSDN blog(don‘t know how to write)
- Cookie
- 如何解决“504 Gateway Time-out”错误
- windows下jenkins环境部署一
- 排序算法(七)——堆排序
- jquery点击事件写法
- Java数据结构之HashMap(五)
- c++ 内存池
- Caffe均值文件binaryproto转npy