jsoup爬虫简单使用笔记

好久没有写博客了，最近正好遇到一个工作中的需求，要求将类似于“这是我分享的一个链接http://www.cnblogs.com/TTyb/p/5996847.html”这样的字符串中的链接截取出来并将链接中的图片、标题和正文开头的30个字符截取出来；需求明确后就可以思考一下使用的工具了！
本次使用以前没有接触过的jsoup进行html的抓取；其他都好说，字符串中的链接只需要一个正则表达式即可解决，拿到链接直接get请求得到html内容，最后使用jsoup来解析就可以完成所有需求！这里简单记录一下代码；

import java.io.IOException;import java.util.regex.Matcher;import java.util.regex.Pattern;import org.apache.commons.httpclient.HttpException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import cn.creditease.fso.cupid.utils.HttpclientProxy;public class Test4ZHCMain {/** * jsoup 爬虫 * <dependency>    <groupId>org.jsoup</groupId>    <artifactId>jsoup</artifactId>    <version>1.8.3</version></dependency> *  * */    public static void main(String[] args) throws HttpException, IOException {        //the text inner link        String str = "这是我分享的一个链接http://blog.csdn.net/growing_tree/article/details/50474165";        //the result of link in the text        String result = "";        String regEx = "((http[s]{0,1}|ftp)://[a-zA-Z0-9\\.\\-]+\\.([a-zA-Z]{2,4})(:\\d+)?(/[a-zA-Z0-9\\.\\-~!@#$%^&*+?:_/=<>]*)?)|(www.[a-zA-Z0-9\\.\\-]+\\.([a-zA-Z]{2,4})(:\\d+)?(/[a-zA-Z0-9\\.\\-~!@#$%^&*+?:_/=<>]*)?)";        Pattern pattern = Pattern.compile(regEx);        Matcher matcher = pattern.matcher(str);        while (matcher.find()) {            result = matcher.group(1);        }        System.out.println("catch the link is:"+result);        //request the link         String execGETMethod = HttpclientProxy.execGETMethod(result);        //http request result        System.out.println(execGETMethod);        Document parse = Jsoup.parse(execGETMethod);        //get title tag node list        Elements title = parse.getElementsByTag("title");        //get p tag node list        Elements ps = parse.getElementsByTag("p");        // Elements's index        int i = 0 ;        //get p tag node element         Element p = ps.get(i);        // if the text of p tag that has String "版权" inside         if (p.text().contains("版权")) {            p=ps.get(i+1);        }        //get img tage        Elements img = parse.getElementsByTag("img");        System.out.println(title.text());        System.out.println(img.size()>0?img.get(0).attr("src"):"undefined");        System.out.println(p.text());    }}

注意：这里使用了自己封装的httpclient工具类，所以如果想要直接使用这段代码，需要自己写一个简单的get请求；因为比较简单就不放请求的工具类代码了；

代码中的Elements 是ArrayList类型，所以这里就很好搞了，用角标获取你想要的第几个元素都可以！还可以循环它！Document对象有很多获取节点的方法，名字获取，id获取等等；我这里用的name名字去获取；拿到节点就可以随便去玩了。很好玩！