python验证IP代理是否可用

网络爬虫往往会碰到IP被封的尴尬场面，但通过IP代理可以得到解决，但往往免费的IP不稳定，所以使用之前需要验证代理的可用性，现将自己查阅相关资料总结的方法及代码记录以备日后查阅，也供有需要的朋友参阅：

思路如下：

1、在相关免费IP代理的网站获取可用的代理IP以及端口号，存在数据库或者文本，也可不存直接抓取验证使用

2，从抓取的文件或者数据库钟读取IP及端口号和协议

3，使用resqustes.get()设置代理，去尝试访问要抓取的网站，进行验证。

代码如下：

import pandas as pdimport reimport requestsdf = pd.read_csv("prox.csv")t = 0for i in df.iterrows():    # print(i[1][0])    protocol = "https"    ip = i[1][0]    port = i[1][1]    server = ip + ':' + str(port)           try:        r = requests.get('https://www.ipip.net/', proxies={"https": server}, timeout=2)    except:        print('connect failed' + ip)    else:        # print('success' + server)         t += 1        print('success' + str(re.findall('
(.*?)
', str(r.text))))        print(str(t))