写爬虫时一些可以用的代理

来源:互联网 发布:百度学术知乎 编辑:程序博客网 时间:2024/05/05 19:17

最近在写python爬虫,想利用多个ss服务器端的代理来避免ip访问过多的问题。如果在客户端使用了ss客户端连接到代理a,那么爬虫的ip就是代理a的ip了。用脚本直接变更ss连接的服务器,那么就可以实现变更ip的目的了,linux环境下很容易实现。

有个备选方案,可以开多个虚拟机,每个虚拟机连接不同的 ss 服务器,然后爬虫利用 http 代理来使用虚拟机上的 ss。

其实还有lantern以及xx-net可以用来作为现成的代理来使用,他们偶尔会改变ip。