判断使用的代理IP是否有用

来源：互联网发布：热血江湖人工智能披风编辑：程序博客网时间：2024/06/04 19:54

IP地址查询网站

要想判断所使用的代理IP是否有用，只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地信息进行比较即可。

这里写图片描述

这是未使用代理IP时得到的IP信息

下面使用代理IP

去网站上找一些免费代理IP

这里写图片描述

接下来利用requests库的Proxies功能使用代理IP

from bs4 import BeautifulSoupimport requestsurl = 'http://ip.chinaz.com/'proxies = {    'http': 'http://60.167.23.213:27339',    }r = requests.get(url, proxies=proxies)soup = BeautifulSoup(r.text, 'lxml')parent_node = soup.find(class_="IpMRig-tit")for i in parent_node.find_all('dd'):    print(i.get_text())

得到结果

60.167.23.213安徽省芜湖市 电信(纠错)UnknownUnknown 0.0 python-requests/2.18.4

代理IP可用

输出的最后一行是User-Agent即用户代理

当未用requests库时输出为

<dd><strong>Chrome</strong> Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36</dd>

这也从另一个方面说明了为什么不修改User-Agent有些爬虫就会被限制访问

阅读全文

0 0