关于爬虫爬取图片被防盗链的解决

来源:互联网 发布:linux 破解root密码 编辑:程序博客网 时间:2024/05/17 06:36

由于一些不可描述的原因,在使用jsoup爬取图片时被防盗链了。
解决办法是

URL url = new URL("");        // 获得连接        URLConnection connection = url.openConnection();        connection.setRequestProperty("Referer", "http://www.xxx.com");

因为一些网站在解决盗链问题时是根据Referer的值来判断的,所以在请求头上添加Referer属性就好(可以填爬取网站的地址)。

另外Referer携带的数据 是用来告诉服务器当前请求是从哪个页面请求过来的。