使用Jsoup解析网页

之前已经发表过一篇使用HtmlParser类来解析视频网站的教程

http://blog.csdn.net/gfd54gd5f46/article/details/54960538

我发现htmlparser类太旧了，而且用起来语法也不清晰。

所以我又找来一个更强大的解析网页的工具类：Jsoup 来帮助我们制作更强大的网络爬虫

---

下载Jsoup类

      jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

Jar包地址：

http://jsoup.org/packages/jsoup-1.8.1.jar

构建Maven项目自动下载jar包：

http://blog.csdn.net/gfd54gd5f46/article/details/54973954

Jsoup在线API文档：

http://tool.oschina.net/apidocs/apidoc?api=jsoup-1.6.3

Jsoup开发指南：

http://www.open-open.com/jsoup/attributes-text-html.htm

解析网页

我这里就找一个图片网站来进行测试

http://www.nipic.com/index.html

---

1、获取单张图片的下载地址

• 随便点击一张首页的图片

---

进去之后我们发现这个页面只是图片的列表，我们要获取的是单个图片的地址，所以还需要点击进去查找

---

点击第一张图片，查看到了单张图片

---

同样，我们要对这个页面进行分析，找到规律来获取这张图片的地址链接

F12进入调试页面

（调试页地址：http://www.nipic.com/show/16519633.html）

---

观察规律发现：

• 图片的下载地址在src属性下

• 图片有个唯一的id属性：J_worksImg

---

找到规律后，我们就来使用Jsoup来获取一下图片的下载地址

• 代码实现：

    /**     * 通过子页面链接（图片网页）获取到图片下载地址     * "http://www.nipic.com/show/16519633.html"     * @return downloadPicUrl     */    public static List<String>  getPicDownUrlFromAllPicPage(String url) {        //保存图片的下载地址        List<String> list = new ArrayList<String>();        try {            //通过传入一个url打开一个链接并且获取内容，将内容存到文件中            Document doc = Jsoup.connect(url).get();            //如果文档不为空    &&    页面中没有出现  “唔，未找到任何页面！！！” 则认为该页面是个正常页面            if (doc != null && !Jsoup.connect(url).get().html().contains("唔，未找到任何页面！！！")) {                //获取到网页的唯一的id元素                Element element = doc.getElementById("J_worksImg");                //判断元素不为空 && src里面的内容不为空                if (element != null && !element.attr("src").equals("")) {                    //将图片地址添加到集合中                    list.add(element.attr("src"));                }            }        } catch (IOException e) {            e.printStackTrace();        }        //http://pic120.nipic.com/file/20170114/958400_203916268000_2.jpg        return list;    }

Main方法（）

public static void main(String[] args) {        //程序第一个运行的时间（毫秒）        long begin = System.currentTimeMillis();        List<String> list = getPicDownUrlFromAllPicPage("http://www.nipic.com/show/16519633.html");        for (String string : list) {            System.out.println("图片下载地址：" + string);        }        //输出程序最后所花费的时间        System.out.println("\n\n用时：" + (System.currentTimeMillis() - begin)/1000f + "s");       }

这样我们就拿到了图片的下载地址了

---

对下载地址进行切割

我们可以再写一个方法，将每个图片的下载链接进行切割，拿到图片名

    /**     * 将图片下载地址进行切割，得到文件名     * 根据传入的url地址，获取文件的名称     * @param url     * @return name     */    public static String getNameFromUrl(String url) {        //找到最后一个 "/" 的位置        int beginIndex = url.lastIndexOf("/");        //截取 "/" 后面的内容        String name = url.substring(beginIndex + 1);        return name;    }将刚刚的图片下载地址放进去System.out.println(getNameFromUrl("http://pic120.nipic.com/file/20170114/958400_203916268000_2.jpg"));

这样就拿到了图片名，方便后续保存工作

---

2、获取单个列表里面所有的图片介绍页面

既然我们能通过图片介绍页面来获取到图片的下载地址，那我们能不能把整一个图片列表的所有图片介绍页面都获取到呢？

---

我们分析一下图片列表的网页

http://www.nipic.com/topic/show_27036_1.html?ll

---

定位到第一张图片发现 这个介绍页面有一个class属性 ，并且有个值：block works-detail hover-none

---

查找一下这个值发现 有40条数据，而且都是我们所关注的内容

---

既然知道了规律之后，那我们就来获取一下这个列表下的所有图片介绍页面

• 代码实现：

/**     * 获取分页里的所有的子页面地址     * @param OnePage 传入一个图片列表页面     * "http://www.nipic.com/topic/show_27036_1.html"     */    public static List<String> getAllPicPageFromOnePage(String OnePage) {        List<String> list = new ArrayList<String>();        try {            Document doc = Jsoup.connect(OnePage).get();            //获取所有包括该class属性的元素            Elements elements = doc.getElementsByClass("block works-detail hover-none");            System.out.println("当前页面有：" + elements.size() + " 子页面\n");            for (Element element : elements) {                //将获取到的元素添加到集合                list.add(element.attr("href"));            }        } catch (IOException e) {            e.printStackTrace();        }        return list;    }

Main方法

public static void main(String[] args) {        //程序第一个运行的时间（毫秒）        long begin = System.currentTimeMillis();        List<String> list = getAllPicPageFromOnePage("http://www.nipic.com/topic/show_27036_1.html");        for (String string : list) {            System.out.println(string);        }        //输出程序最后所花费的时间        System.out.println("\n\n用时：" + (System.currentTimeMillis() - begin)/1000f + "s");       }

确实获取到了我们想要的这40个页面

---

3、获取所有的分页列表页面

既然我们能通过一个列表页面来获取所有的图片介绍页面，那么我们能不能获取到所有的列表页面的呢？

---

我们继续来分析页面

http://www.nipic.com/topic/show_27036_1.html?ll

从网页源码中可以发现，每个列表页面链接都有一个class属性，并且属性里面都包涵有“ eo-page-num“ 的内容

---

查找一下整个页面有多少包涵“eo-page-num”内容的数据

• 发现只有3个地方有这个页面（也就是说只有3个列表）

---

知道规律之后，我们就来获取一下这个页面的所有分页列表

• 代码实现

/**     * 获取所有的图片列表页面     * "http://www.nipic.com/topic/show_27036_1.html?ll"     */    public static List<String> getAllPicPage(String url) {        List<String> list = new ArrayList<String>();        try {            Document doc = Jsoup.connect(url).get();            //获取所有包括该class属性的元素            Elements elements = doc.getElementsByClass("seo-page-num");            System.out.println("共有：" + elements.size() + " 个分页");            for (Element element : elements) {                //将元素中的href值添加到集合中                list.add(element.attr("href"));                System.out.println(element.attr("href"));            }        } catch (IOException e) {            e.printStackTrace();        }        return list;    }

Main方法（）

public static void main(String[] args) {        //程序第一个运行的时间（毫秒）        long begin = System.currentTimeMillis();        List<String> list = getAllPicPage("http://www.nipic.com/topic/show_27036_1.html");        for (String string : list) {            System.out.println(string);        }        //输出程序最后所花费的时间        System.out.println("\n\n用时：" + (System.currentTimeMillis() - begin)/1000f + "s");    }

确实获取到了所有的列表页面

http://www.nipic.com/topic/show_27036_1.html
http://www.nipic.com/topic/show_27036_2.html
http://www.nipic.com/topic/show_27036_3.html

---

实战

下载所有列表的图片：

• 1、 获取所有的列表页面

• 2、 获取每个列表页面的所有图片介绍页面

• 3、 通过介绍页面获取下载地址

• 4、 对下载地址进行切割拿到图片名

• 5、 通过下载链接跟图片名，将所有的图片下载到images目录

在项目下创建一个images目录用来保存图片

• 代码实现

package com.lingdu.jsoup;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;/** *  下载图片Demo *  2017-2-10 *  LingDu */public class GetPicDemo {    /**     * 5、下载图片     * 到nipic网站下载图片     * 传入图片下载地址即可下载到images目录下     */    public static void downloadPic(String myUrl) {        if (!myUrl.equals("")) {            try {                URL url = new URL(myUrl);                BufferedInputStream bis = new BufferedInputStream(url.openConnection().getInputStream());                byte myArray[] = new byte[1024*1024];                int len = 0;                String fileName = getNameFromUrl(myUrl);                //System.out.println(fileName);                BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream("images/" + fileName));                while((len = bis.read(myArray)) != -1){                    bos.write(myArray, 0, len);                 }                bos.flush();                bos.close();                bis.close();                System.out.println("图片：" + fileName +" ------>下载成功！");            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }    /**     * 4、将图片下载地址进行切割，得到文件名     * 根据传入的url地址，获取文件的名称     * @param url     * @return name     */    public static String getNameFromUrl(String url) {        //找到最后一个 "/" 的位置        int beginIndex = url.lastIndexOf("/");        //截取 "/" 后面的内容        String name = url.substring(beginIndex + 1);        return name;    }    /**     * 3、通过子页面链接（图片网页）获取到图片下载地址     * "http://www.nipic.com/show/16519633.html"     * @return downloadPicUrl     */    public static List<String>  getPicDownUrlFromAllPicPage(String url) {        //保存图片的下载地址        List<String> list = new ArrayList<String>();        try {            //通过传入一个url打开一个链接并且获取内容，将内容存到文件中            Document doc = Jsoup.connect(url).get();            //如果文档不为空    &&    页面中没有出现  “唔，未找到任何页面！！！” 则认为该页面是个正常页面            if (doc != null && !Jsoup.connect(url).get().html().contains("唔，未找到任何页面！！！")) {                //获取到网页的唯一的id元素                Element element = doc.getElementById("J_worksImg");                //判断元素不为空 && src里面的内容不为空                if (element != null && !element.attr("src").equals("")) {                    //将图片地址添加到集合中                    list.add(element.attr("src"));                }            }        } catch (IOException e) {            e.printStackTrace();        }        //http://pic120.nipic.com/file/20170114/958400_203916268000_2.jpg        return list;    }    /**     * 2、获取分页里的所有的子页面地址     * @param OnePage 传入一个图片列表页面     * "http://www.nipic.com/topic/show_27036_1.html"     */    public static List<String> getAllPicPageFromOnePage(String OnePage) {        List<String> list = new ArrayList<String>();        try {            Document doc = Jsoup.connect(OnePage).get();            //获取所有包括该class属性的元素            Elements elements = doc.getElementsByClass("block works-detail hover-none");            System.out.println("当前页面有：" + elements.size() + " 子页面\n");            for (Element element : elements) {                //将获取到的元素添加到集合                list.add(element.attr("href"));            }        } catch (IOException e) {            e.printStackTrace();        }        return list;    }    /**     * 1、获取所有的图片列表页面     * "http://www.nipic.com/topic/show_27036_1.html?ll"     */    public static List<String> getAllPicPage(String url) {        List<String> list = new ArrayList<String>();        try {            Document doc = Jsoup.connect(url).get();            //获取所有包括该class属性的元素            Elements elements = doc.getElementsByClass("seo-page-num");            System.out.println("共有：" + elements.size() + " 个分页");            for (Element element : elements) {                //http://www.nipic.com/topic/show_27036_1.html                //http://www.nipic.com/topic/show_27036_2.html                //http://www.nipic.com/topic/show_27036_3.html                  //将元素中的href值添加到集合中                list.add(element.attr("href"));            }        } catch (IOException e) {            e.printStackTrace();        }        return list;    }    /**     * 这个方法处理所有逻辑     */    public static void downloadAll() {        //拿到图片列表页面        List<String> picPagelist = new ArrayList<String>();        //拿到所有图片下载页面        List<String> allPicPageList = new ArrayList<String>();        //拿到图片的下载地址        List<String> picDownUrlList = new ArrayList<String>();        picPagelist = getAllPicPage("http://www.nipic.com/topic/show_27036_1.html?ll");        for (String str : picPagelist) {            System.out.println("\n页面：----------------->" + str);            allPicPageList = getAllPicPageFromOnePage(str);            for (String str1 : allPicPageList) {                try {                    picDownUrlList = getPicDownUrlFromAllPicPage(str1);                    for (String str2 : picDownUrlList) {                        downloadPic(str2);                    }                } catch (Exception e) {                    e.printStackTrace();                }            }        }    }    public static void main(String[] args) {        //程序第一个运行的时间（毫秒）        long begin = System.currentTimeMillis();        //调用所有方法的整合体        downloadAll();        //输出程序最后所花费的时间        System.out.println("\n\n用时：" + (System.currentTimeMillis() - begin)/1000f + "s");       }}

这样就下载到了所有的图片了

---

查看一下images目录 ，确实把所有列表的图片都下载下来了，总共有92张图片

---

实现原理

• 分析网页找到规律

• 依次往下嵌套循环即可获取到下载地址

• 最终完成下载