Java爬虫爬取python百度百科词条及相关词条页面

Java爬虫爬取python百度百科词条及相关词条页面

本实例爬取关于python词条页面及关联词条页面的简介，把词条的简介写入txt文本中， 本实例效果：

实例基于使用第三方jar包Jsoup

1首先分析python词条页面：

可以发现其他词条的超链接都带有"/item"以及词条的简介都包含在class为lemma-summary的div里面。 超链接里面"/item"后面的字符串就是代表了那个词条的地址，所以处理的时候是这样："https://baike.baidu.com"加上提取出来的字符串。 所以要想取得超链接以及简介的内容，可以有这两个处理方法：

处理超链接：

public  void parse_a(Document document,List<String> urls) throws IOException {/*提取出href属性里面/item以及后面的字符*/Elements links = document.select("[href*=/item]");/*迭代输出，并且加入到url集合里面*/for (Element link : links) {String url  = "https://baike.baidu.com"+link.attr("href"); /*过滤掉重复的url地址*/if (!urls.contains(url)) {urls.add(url);}}}

提取简介里面的内容：

public void parse_content(Document document,List<String> contents ) {/*使用Jsoup里面的选择器，详细用法可以查看jsoup的官方文档*/Elements links = document.select("div.lemma-summary");for(Element link:links){contents.add(link.text());}}

关于jsoup可以查看官方文档，简单易上手。

2通过url获取页面用于解析：

利用jsoup的Jsoup.connect(url).get()。

代码：

public static Document getDom(String url) throws IOException {Document document = Jsoup.connect(url).get();return document;}

3URL管理器，本实例需要从当前页面获取超链接并且不断获取新的词条页面的URL

/*设置迭代顺序，从第一个开始迭代*/int i=0;public  void getNewURL(List<String> urls) throws IOException {/*从url集合里面获取一个并且进行解析*/Document document = ConnectNet.getDom(urls.get(i));i+=1;Elements links = document.select("[href*=/item]");/*通过迭代循环，不断往url集合里面添加新的URL*/for (Element link : links) {String url  = "https://baike.baidu.com"+link.attr("href"); if(!urls.contains(url)) {urls.add(url);}}}

4储存数据，把获得的简介数据添加进txt文本中

public void store_contents(List<String> contents) throws IOException {File file = new File("my6.txt");FileWriter fileWriter = new FileWriter(file);for(int i=0;i<contents.size();i++) {fileWriter.write(contents.get(i));/*换行和分隔*/fileWriter.write("\r\n");fileWriter.write("-----------");fileWriter.write("\r\n");fileWriter.flush();}}

下面贴出完整代码:

URL管理器:

package myspyder;import java.io.IOException;import java.util.List;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class URLManager {/*设置迭代顺序，从第一个开始迭代*/int i=0;public  void getNewURL(List<String> urls) throws IOException {/*从url集合里面获取一个并且进行解析*/Document document = ConnectNet.getDom(urls.get(i));i+=1;Elements links = document.select("[href*=/item]");/*通过迭代循环，不断往url集合里面添加新的URL*/for (Element link : links) {String url  = "https://baike.baidu.com"+link.attr("href"); if(!urls.contains(url)) {urls.add(url);}}}}

存储类：

package myspyder;import java.io.File;import java.io.FileWriter;import java.io.IOException;import java.util.List;public class Store {public void store_contents(List<String> contents) throws IOException {File file = new File("my6.txt");FileWriter fileWriter = new FileWriter(file);for(int i=0;i<contents.size();i++) {fileWriter.write(contents.get(i));/*换行和分隔*/fileWriter.write("\r\n");fileWriter.write("-----------");fileWriter.write("\r\n");fileWriter.flush();}}}

获取DOM对象类：

package myspyder;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;public class ConnectNet {public static Document getDom(String url) throws IOException {Document document = Jsoup.connect(url).get();return document;}}

网页解析类：

package myspyder;import java.io.IOException;import java.net.CookieHandler;import java.util.List;import java.util.Set;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class ParseHtml {int num=1;public  void parse_a(Document document,List<String> urls) throws IOException {/*提取出href属性里面/item以及后面的字符*/Elements links = document.select("[href*=/item]");/*迭代输出，并且加入到url集合里面*/for (Element link : links) {String url  = "https://baike.baidu.com"+link.attr("href"); /*过滤掉重复的url地址*/if (!urls.contains(url)) {urls.add(url);}}}public void parse_content(Document document,List<String> contents ) {/*使用Jsoup里面的选择器，详细用法可以查看jsoup的官方文档*/Elements links = document.select("div.lemma-summary");for(Element link:links){contents.add(link.text());}}}

启动类：

package myspyder;import java.io.IOException;import java.net.URLStreamHandler;import java.util.ArrayList;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Set;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class StartSpyder {public static void main(String[] args) throws IOException {/*根url，python词条页面*/String rooturl = "http://baike.baidu.com/link?url=y9cRcLYxzn5I12dTAXUqJJuY50B0TVvsdkeqmHetkVfkRlXGxUa0tFL53dQwpSQaF7js4yRmTwLjqXyJN-hWWK";Document rootdocument = Jsoup.connect(rooturl).get();int index=1;ParseHtml parseHtml = new ParseHtml();ConnectNet connectNet = new ConnectNet();Store store = new Store();/*放置要迭代的url*/List<String> urls = new ArrayList<>();/*放置简介字符串*/List<String> contents = new ArrayList<>();parseHtml.parse_a(rootdocument, urls);URLManager urlManager = new URLManager();/*纯粹用来计数*/int flag=1;/* * 首先判断url集合里面是否还有可以爬取的url，然后从中按照顺序获取一个URL * 然后URL管理器继续进行添加新的url，从提取出的URL获取dom对象，进行解析，存入txt文本， * 循环进行，直到没有新的url可以爬取。 */while(urls!=null) {String url = urls.get(index-1);index+=1;urlManager.getNewURL(urls);Document document = connectNet.getDom(url);parseHtml.parse_content(document, contents);store.store_contents(contents);System.out.println("StartSpyder.main()");System.out.println(flag);flag+=1;}}}