WebMagic 0.7.1以后代理池方法

来源:互联网 发布:高性能mysql 百度云 编辑:程序博客网 时间:2024/06/05 18:51

        使用代理时如果download错误,为spider添加的listener依旧会返回success,所以要为Downloader添加listener

        Proxy[] ips=null;

        ips = new Proxy[result.size()];
        for (int i = 0; i < result.size(); i++) {
            Vector lineof = (Vector) result.get(i);
            ips[i] = new Proxy((String) lineof.get(1), (Integer) lineof.get(2));
        }
        final HttpClientDownloaderAd httpClientDownloaderad = new HttpClientDownloaderAd(listener);
        httpClientDownloaderad.setProxyProvider(SimpleProxyProvider.from(ips));
原创粉丝点击