爬知乎了解BeautifulSoup用法

import requestsfrom bs4 import BeautifulSoupimport timedef captcha(captcha_data):with open("captcha.jpg","wb") as f:f.write(captcha_data)text=raw_input(("请输入验证码:").encode("gb18030"))return textdef zhihu():sess=requests.Session()#请求报头headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}#首先获取登录页面，找到需要post的数据(_xsrf),同时会记录当前网页的cookie值html=sess.get("https://www.zhihu.com/#signin",headers=headers).text#调用lxml解析库bs=BeautifulSoup(html,'lxml')#获取之前get的页面里的_xsrf值#_xsrf作用是防止CSRF（跨站请求伪造），通常叫跨站攻击，是一种利用网站对用户的一种信任机制来做坏事#跨站攻击通常通过伪装成网站信任的用户的请求（cookie），盗取用户信息，欺骗微博服务器#所以网站会通过设置一个隐藏的字段来存取这个md5码字符串，这个字符串用来校验用户cookie和服务器session的一致性_xsrf=bs.find("input",attrs={"name":"_xsrf"}).get("value")#bixpath好用点，更容易获取html中我们需要的数据captcha_url="https://www.zhihu.com/captcha.gif?r=%d&type=login"%(time.time()*1000)captcha_data=sess.get(captcha_url,headers=headers).content#发送图片请求，获取二进制数据流#获取验证码需要手动输入text=captcha(captcha_data)data={"_xsrf":_xsrf,"email":"*******@qq.com","password":"******","captcha":text}response=sess.post("https://www.zhihu.com/login/email",data=data,headers=headers)# print response.text.encode("gb18030")#打印登录成功的页面#登录页面获取到cookie后，可以访问任何地方，比如访问个人主页html=sess.get("https://www.zhihu.com/people/*********/activities",headers=headers).textprint htmlif __name__=="__main__":zhihu()

我们要先通过抓包工具获取form里面需要登录的条件，比如知乎需要获取隐藏的字段_xsrf，还有账号，密码，验证码，所以先要在登录页面找到_xsrf的value值，账户，密码，验证码获取的方法，需要获取验证码的数据流，然后保存在本地，打开验证码图片，手动输入，最终加入data中，通过post方法向服务器发送请求登录页面，sess保存cookie值，最终我们可以通过cookie值get任何地方。