Java通过jsoup解析整个网站需要的内容

 接上上一篇爬取起点小说网的内容说，上一篇只是获取小说名、章节以及章节链接，然后总是感觉不太好，并不能达到获取到整个网站的效果，用户在用时还得自己联网，故改进了改进，这一篇讲能够完全解析小说网，直到解析到内容为止。
 与上一篇思路是一样的，不同的是，在解析时用递归的方式，将获取到这个链接传值到下一个解析入口，层层解析。与上一篇代码不同的是SpilderNovel中的代码，这一篇将只粘贴这一块的代码，对于其他模块的代码，有需要的请看前面的文章。
下面附上代码块：

package xuf.main;import java.util.ArrayList;import java.util.Date;import java.util.stream.Stream;import org.jsoup.Connection;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import org.w3c.dom.stylesheets.LinkStyle;import xuf.entity.NovelAttribute;import xuf.service.INovel;import xuf.service.NovelImpl;public class SpiderNovel {    public static void main(String[] args) {        // 数据持久化对象，用于将信息存入数据库        INovel iNovel = new NovelImpl();        Long startTime, endTime;        System.out.println("小爬虫工作启动。。。。。。。。。。。");        startTime = new Date().getTime();        Document document;        try {            NovelAttribute novelAttribute = new NovelAttribute();            document = Jsoup.connect("http://www.qidian.com/").get();            Elements results0 = document.select("div.classify-list > dl > dd > a[href]");            for (Element e0 : results0) {                String fictionUr0 = e0.attr("abs:href");                ArrayList<String> list0 = new ArrayList<String>();                list0.add(fictionUr0);                String[] strArray0 = (String[]) list0.toArray(new String[0]);                for (String strurl0 : strArray0) {                    System.out.println(strurl0);                    document = Jsoup.connect(strurl0).get();                    Elements results1 = document.select("div.channel-focus > div.big-list > ul > li > h3 > a[href]");                    for (Element e1 : results1) {                        String fictionUrl1 = e1.attr("abs:href");                        ArrayList<String> list1 = new ArrayList<String>();                        list1.add(fictionUrl1);                        String[] strArray1 = (String[]) list1.toArray(new String[0]);                        for (String strurl1 : strArray1) {                            System.out.println(fictionUrl1);                            document = Jsoup.connect(fictionUrl1).get();                            Elements results2 = document.select("div.catalog-content-wrap > div.volume-wrap > div.volume > ul > li > a[href]");                            for (Element e2 : results2) {                                String fictionUrl2 = e2.attr("abs:href");                                ArrayList<String> list2 = new ArrayList<String>();                                list2.add(fictionUrl2);                                String[] strArray2 = (String[]) list2.toArray(new String[0]);                                for (String strurl2 : strArray2) {                                    System.out.println(strurl2);                                }                                document = Jsoup.connect(fictionUrl2).get();                                Elements results4 = document.select("div.book-cover-wrap > h1");                                for (Element e4 : results4) {                                    String fictionName = e4.text();                                    novelAttribute.setFictionName(fictionName);                                }                                Elements results3 = document.select("h3.j_chapterName");                                for (Element e3 : results3) {                                    String fictionChapter = e3.text();                                    novelAttribute.setFictionChapter(fictionChapter);                                }                                Elements results5 = document.select("div.read-content");                                for (Element e5 : results5) {                                    String fictionContent = e5.text();                                    novelAttribute.setFictionContent(fictionContent);                                }                                iNovel.SaveAttribute(novelAttribute);                            }                        }                    }                }            }        } catch (Exception e) {            e.printStackTrace();        }        endTime = new Date().getTime();        System.out.println("工作结束，用时" + (endTime - startTime) + "ms");    }}

以上就是这次的一个小的改动。