python学习笔记：使用requests库发送get与post请求

最近看的爬虫视频是用的python2的，之前的urlib2在Python3中已不支持，一般用的都是requests库。

对于普通网页的静态数据，直接使用beautifulsoup与requests库就可以进行提取，而对于某些动态数据，需要用别的方法，今天说的是发送post请求获取表单数据。

网站url：http://shuju.wdzj.com/plat-info-91.html

在点击右边栏时会在网页中间显示柱形数据图：

分析网络活动发现请求是以post形式提交的：

提交的表单数据：

代码如下

import requestsurl='http://shuju.wdzj.com/plat-info-target.html'#使用requests发送get请求,一般用于静态内容wb_data=requests.get(url)from bs4 import BeautifulSoupsoup=BeautifulSoup(wb_data.text,'lxml')print(soup)#此处以get请求只能得到空网页#使用requests发送post请求,一般用于动态内容form_data={'wdzjPlatId':91,'type':3,'target1':17,'target2':1}data=requests.post(url,form_data).textprint(data)