Jsoup使用代理ip爬虫
来源:互联网 发布:java转嵌入式 编辑:程序博客网 时间:2024/05/17 22:48
Jsoup本身没有设置代理ip的功能,但是可以通过httpsUrlConnection设置代理ip获取页面内容,
然后用jsoup转为Document结构,代码如下:
public void getDocByJsoup(String href){
String ip = "221.237.155.64";
int port = 9797;
try {
Proxy proxy = new Proxy(Proxy.Type.HTTP,new InetSocketAddress(ip, port));
URL url = new URL(href);
HttpsURLConnection urlcon = (HttpsURLConnection)url.openConnection(proxy);
urlcon.connect(); //获取连接
InputStream is = urlcon.getInputStream();
BufferedReader buffer = new BufferedReader(new InputStreamReader(is));
StringBuffer bs = new StringBuffer();
String l = null;
while((l=buffer.readLine())!=null){
bs.append(l);
}
System.out.println(bs.toString());
Document doc = Jsoup.parse(bs.toString());
} catch (Exception e) {
e.printStackTrace();
}
}
- Jsoup使用代理ip爬虫
- HttpClient +JSOUP 代理 爬虫
- 如何使用ip代理爬虫
- java爬虫(使用jsoup设置代理,抓取网页内容)
- Jsoup爬虫使用记录
- Scrapy爬虫框架使用IP代理池
- 【爬虫学习6】爬虫自动获取并使用代理ip
- 爬虫代理ip设置
- 爬虫代理ip设置
- 爬虫代理IP
- Python 爬虫IP代理
- 爬虫 IP代理策略
- 使用jsoup爬虫抓取页面
- 使用jsoup的爬虫例子
- 使用JSOUP实现网络爬虫
- 使用jsoup爬虫抓取页面
- jsoup爬虫简单使用笔记
- 使用jsoup爬虫抓取页面
- C++简单程序 计算存款本息 以及几个常见数学函数
- STP 没有形成是因为Valn没有同步,vlan没有同步是因为VTP没有配置好,vtp没有同步,可能是vtp的password密码no匹配。默认STP是pvst。每vlan一个生成树。
- ToolBar的使用
- 一道改了很久很久的题 持续更新 直到A过 先放上一些历程
- 使用IO流 读写文件
- Jsoup使用代理ip爬虫
- 结构型模式--外观模式
- 根据两个linux时间戳,生产一串date字符串
- 判断一个整数是否为回文数
- STM32时钟设置和运行频率
- ZCMU—1800
- oracle基本的全文检索
- ORACLE-SQL性能优化
- C语言 - 以16进制数据形式去打印文件