Java网络爬虫（八）--使用多线程进行百度图片的抓取

声明：如需转载本篇文章，请进行私聊并在文章首处注明出处，本代码未经授权不可用于获取商业价值，否则后果将由自己承担。

这次的需求大概是从百度图片里面抓取任意的分类的图片，考虑到有些图片的资源不是很好，并且由于百度搜索越到后面相关度会越来越低，所以我将每个分类要爬的数据量控制在了600，实际爬下来，每个分类也就是500左右的图片。

---

实现架构

先来看一下本次代码的实现架构：

• htmlparse里面的两个类主要负责对网页进行请求以返回实体，并且对实体进行解析，拿到自己想要的json数据和每个图片的链接。
• httpbrowser里面主要构建了要爬取的url，从百度图片的分页到具体的每个图片的url。
• mainmethon主要就是main方法了。
• savefile主要是将爬取的图片进行文件的保存，以每个图片的url最后面的一串字符串为文件名，然后将它保存到自己创建的目录之中。

我们来看一下main方法：

package mainmethon;import httpbrowser.CreateUrl;import savefile.ImageFile;import java.util.ArrayList;import java.util.List;import static java.lang.System.out;/** * Created by hg_yi on 17-5-16. * * 测试数据：image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=bird& * * 在多线程进行下载时，需要向线程中传递参数，此时有三种方法，我选择的第一种，设计构造器 */public class major {    public static void main(String[] args) {        int sum = 0;        List<String> urlMains = new ArrayList<>();        List<String> imageUrls = new ArrayList<>();        //首先得到10个页面        urlMains = CreateUrl.CreateMainUrl();        out.println(urlMains.size());        for(String urlMain : urlMains) {            out.println(urlMain);        }        //使用Jsoup和FastJson解析出所有的图片源链接        imageUrls = CreateUrl.CreateImageUrl(urlMains);        for(String imageUrl : imageUrls) {            out.println(imageUrl);        }        //先创建出每个图片所属的文件夹        ImageFile.createDir();        int average = imageUrls.size()/10;        //对图片源链接进行下载（使用多线程进行下载）创建进程        for(int i = 0; i < 10; i++){            int begin = sum;            sum += average;            int last = sum;            Thread image = null;            if(i < 9) {                image = new Thread(new ImageFile(begin, last,                        (ArrayList<String>) imageUrls));            } else {                image = new Thread(new ImageFile(begin, imageUrls.size(),                        (ArrayList<String>) imageUrls));            }            image.start();        }    }}

对于main方法中的每个方法的解释已经很清楚了，在这里我就不进行详细的说明了。

---

记录一下本次代码的坑点

对于这个代码的实现，当时bug改的时间最长的就是这一段代码了：

try {    URL url = new URL(imageUrls.get(i));    URLConnection conn = url.openConnection();    conn.setConnectTimeout(1000);    conn.setReadTimeout(5000);    conn.connect();    inputStream = conn.getInputStream();} catch (Exception e) {    continue;}

这段代码的主要目的就是下载图片，对图片的源地址进行请求，然后将其作为输入流，在没有进行超时设定和异常处理之前，是会进行链接超时和read time out这两个错误的，当时还使用了httpclient进行了改写，结果还是不正确，最后使用了超时设定，并且对于超过时间还没有进行url请求的，就进行下一个url的请求，直接放弃这次请求，本来打算爬600张图片，最后只能爬500张，原因就是在这。

---

源码链接

使用多线程进行百度图片的抓取