meta标签有毒

今天要完成的一项工作是：从 html文件中提取，title标签
原本以为是很简单的工作呢。可是一个素食网站里面，像这些http://www.chinavegan.com/2015/05/2015051718461747.html
网页，当我用 httpclient下载页面，然后用jsoup进行解析的时候，发现，document对象里面，title标签，h1标签统统都没有了。可是，我再去下载好的网页时看，咦，title、h1标签都是存在的啊。
怎么回事？

后俩比较一下 如下的两个网页：
http://www.chinavegan.com/2015/05/2015051718461747.htm
（抽不出 title、h1标签内容，因为jsoup解析的时候，documnet里面根本没有 这两类标签）
http://www.chinavegan.com/
(可以抽出 title、h1标签内容)

原因是：

看到没，下面那张图片里面少了：

~~~~~~~~~~~~~~~~~~~~
my god，我笨，我调了那么长时间，终于找到了错误。

然后：
我首先采取，手工 输入这句话，果然 普通页面也可以提取title了。
接着，我天真的以为，
方法一：可以通过 文件 读写的方式，来给每个 普通网页在title标签之前，加上

这句话。结果各种错误，说明这样使不可行的

方法二：
我采用 jsoup的各种方式，企图向head标签后面加入

事实证明是无用的。title标签依旧不在jsoup中。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
以上两种方法，都没有抓住源头，源头的错误，应该是出现在下载网页的时候。方正，最后我参考了这篇文章，采用java的url，全部读取网页内容，然后使用正则表达式，终于搞定了，成功提取title.
参考的帖子：http://blog.csdn.net/yuyuyuyuy/article/details/6547430

package catchhtml;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class GetHtmlTitle {    public GetHtmlTitle(String htmlUrl){        System.out.println("/n------------开始读取网页(" + htmlUrl + ")-----------");        String htmlSource = "";        htmlSource = getHtmlSource(htmlUrl);//获取htmlUrl网址网页的源码        System.out.println("------------读取网页(" + htmlUrl + ")结束-----------/n");        System.out.println("------------分析(" + htmlUrl + ")结果如下-----------/n");        String title = getTitle(htmlSource);        System.out.println("网站标题： " + title);    }    /**     * 根据网址返回网页的源码     * @param htmlUrl     * @return     */    public String getHtmlSource(String htmlUrl){        URL url;            StringBuffer sb = new StringBuffer();        try{            url = new URL(htmlUrl);            BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), "UTF-8"));//读取网页全部内容            String temp;            while ((temp = in.readLine()) != null)            {                           sb.append(temp);            }            in.close();        }catch (MalformedURLException e) {            System.out.println("你输入的URL格式有问题！请仔细输入");        }catch (IOException e) {            e.printStackTrace();        }           return sb.toString();    }    /**     * 从html源码(字符串)中去掉标题     * @param htmlSource     * @return     */    public String getTitle(String htmlSource){        List<String> list = new ArrayList<String>();        String title = "";        //Pattern pa = Pattern.compile("<title>.*?</title>", Pattern.CANON_EQ);也可以        Pattern pa = Pattern.compile("<title>.*?</title>");//源码中标题正则表达式        Matcher ma = pa.matcher(htmlSource);        while (ma.find())//寻找符合el的字串        {            list.add(ma.group());//将符合el的字串加入到list中        }        for (int i = 0; i < list.size(); i++)        {            title = title + list.get(i);        }        return outTag(title);    }    /**     * 去掉html源码中的标签     * @param s     * @return     */    public String outTag(String s)    {        return s.replaceAll("<.*?>", "");    }    public static void main(String[] args) {        String htmlUrl = "http://www.157buy.com";        new GetHtmlTitle(htmlUrl);    }}

总结：jsoup+httpclient，虽然方便，
但是关键时刻还是得靠 正则表达式+java.url