python学习之6 requests模拟浏览器抓数据
来源:互联网 发布:网络神学院网站 编辑:程序博客网 时间:2024/06/07 20:44
python学习之6 requests模拟浏览器抓数据
在爬网站时,有时候会遇到返回500,被服务器拒绝的情况。
需要做的是,模拟浏览器登录。
即增加,headers
headers = { 'Host': 'blog.csdn.net', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3', 'Accept-Encoding': 'gzip, deflate', 'Referer': 'http://www.baidu.com', 'Connection': 'keep-alive', 'Cache-Control': 'max-age=0',}
其中referer比较重要,即来源网站。用百度谷歌,一般就可以。
使用时候如下,
练习源码
#coding = utf-8##################################################### coding by 刘云飞####################################################import requestsresponse = requests.get(blog, headers=headers)print(response.status_code)
0 0
- python学习之6 requests模拟浏览器抓数据
- Python数据采集之Requests
- Python 学习之<Requests入门>
- python学习之 requests库
- Python学习之Requests库
- python模块之requests学习
- Python requests 模拟登陆
- python requests模拟登陆github
- python requests 模拟网站登录
- 使用 python requests 模拟登陆
- python爬虫:selenuim+phantomjs模拟浏览器操作,用BeautifulSoup解析页面,用requests下载文件
- Python模块学习 - Requests
- python requests 模块学习
- python学习5:requests
- Python Requests 学习笔记
- python学习(6):python爬虫之requests和BeautifulSoup的使用
- Python之requests库
- Python爬虫之requests
- Xcode中修改变量名、类名及字符串的替换操作
- CMMotionActivity+Extension
- 0--基于域名的虚拟主机
- 位、字节、字、KB、MB关系
- JDK动态代理和CGLIB代理的区别
- python学习之6 requests模拟浏览器抓数据
- 安装sbt并用sbt编译第一个应用
- 一篇给迷茫者看的JavaScript 引擎指南
- HDU 3802 Ipad,IPhone
- 20160126.CCPP体系详解(0005天)
- 深入浅出RPC——浅出篇
- Tomcat搭建solr伪集群(solr5.2.1+tomcat8.0.23+zookeeper3.4.6)
- 关于NSInteger 类型 如何打印不出警告的解决方案
- Android BLE与终端通信(四)——实现服务器与客户端即时通讯功能