Python -bs4反爬虫解决方法
来源:互联网 发布:毛衣店铺推荐知乎 编辑:程序博客网 时间:2024/06/07 01:00
爬虫有时会遭遇两种情况,导致无法正常爬取
(1)IP封锁,(貌似美团会出现)
(2)禁止机器人爬取,(比如Amazon)
解决方法:
我们以下面文章里的爬虫代码为例
http://blog.csdn.net/co_zy/article/details/77150544
其中的getHTMLText()函数,更改如下,添加fakeHeaders ,proxies
这里的可以通过ip测试网站进行验证是否成功使用了代理 http://ip.chinaz.com/
def getHTMLText(self,url): fakeHeaders = {'user-agent':'Mozilla/5.0'} proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } try: r = requests.get(url,headers = fakeHeaders , proxies=proxies,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""
阅读全文
0 0
- Python -bs4反爬虫解决方法
- Python爬虫(bs4)-1
- Python爬虫(bs4)-2
- Python爬虫(bs4)-3
- Python爬虫之bs4库
- requests和bs4的python爬虫入门
- 【Python】反爬虫
- 一.python 反爬虫
- [Python]BS4 与 一个KDS 美图爬虫
- Python网络爬虫requests、bs4爬取空姐网图片
- 从零开始写Python爬虫 --- 1.3 BS4库的解析器
- python爬虫笔记day1 BS4库的使用
- Python反爬虫系列方法
- 521反爬虫解决方法之java篇
- 爬虫Selenium&bs4 + Miku分享
- 爬虫系列10.BS4简介
- Python爬虫(urllib2+bs4)+分析找出谁是水贴王(1)--数据收集
- Python爬虫(urllib2+bs4)+分析找出谁是水贴王(2)--数据分析
- Swift实现代理,通知,闭包传值
- 尺取法
- Ubuntu 15下 Apache修改网站根目录及默认网页
- 十七、标签及字符串格式化
- +-字符串
- Python -bs4反爬虫解决方法
- 视频会议的混音算法
- application.getAttribute()作用域
- 1.27Android 学习+进度之二十七-视频聊天(硬编解码)
- poj1905Expanding Rods
- PHP中16进制和8进制
- 如何搭建自己的Maven远程私仓
- Linux CPU mask含义
- Java多线程指定资源可以被多少个线程同时访问