HtmlParser基础入门-文本抽取

使用HtmlParser，我们可以非常方便的对HTML文件进行解析。结合爬虫程序，快速获得网页上感兴趣的内容。本文中的代码使用的是HtmlParser 1.6版本。HtmlParser将HTML文件依据标签将其分解成树形结构，并定义了三种Node来存储这些内容：

1. TagNode：标签结点。存储了标签中的内容。
2. TextNode：文本结点。存储了Html文件中的文本内容。
3. RemarkNode：注释结点。存储了

如果需要通过HtmlParser来对HTML文件进行解析，首先需要建立一个Parser对象。可以通过String、URLConnection或者Lexer来构造一个Parser对象。其中，String的第一个非空白字符如果是“<"，则该String被看成HTML；否则，其被尝试为URL链接被打开；如果打开仍然失败，则该String被当做本地的一个文件地址。

例如，通过一个URL来构造Parser对象：

String url = "www.baidu.com";Parser parser = new Parser(url);

对HTML内容的抽取，最简单常用的方法是使用过滤器(filter)来定义一些过滤条件，然后再通过Paser类的extractAllNodesThatMatch方法来得到过滤后的NodeList。如以下几种常用的filter：

• HasAttribeFilter：筛选出具有特定属性，或者具有特定”属性-值“的结点；
• LinkRegexFilter：筛选出满足正则表达式的超链接；
• LinkStringFilter：筛选出包含特定字符串的超链接；
• OrFilter：”或“过滤器，可以将若干filter的条件以逻辑或的方式组合。

得到了一些筛选出来的Node后，我们可以使用Node固有的方法，或者通过自己写代码来抽取出想要的内容。如.toPlainTextString(), getAttribute()。

// 获取一个网站上的链接,filter 用来过滤链接，返回所获得链接的集合public static ArrayList<String> extractLinks(String url) {ArrayList<String> links = new ArrayList<String>();try {Parser parser = new Parser(url);parser.setEncoding(parser.getEncoding());// 过滤得到形如"/beijing?pageno=2"的链接NodeFilter frameFilter = new LinkRegexFilter("/[a-z]*\\?pageno=[0-9]");NodeList list = parser.extractAllNodesThatMatch(frameFilter);for (int i = 0; i < list.size(); i++) {TagNode tag = (TagNode) list.elementAt(i);String frameUrl = tag.getAttribute("href");// 提取链接links.add(frameUrl);}} catch (ParserException e) {e.printStackTrace();}return links;}

//获取分类链接，classification用来存放分类名称public static ArrayList<String> extractClassLinks(String city, String url, ArrayList<String> className) {ArrayList<String> links = new ArrayList<String>();try {Parser parser = new Parser(url);parser.setEncoding(parser.getEncoding());// 过滤得到形如"/beijing/c/2"的链接NodeFilter frameFilter = new LinkRegexFilter("/" + city + "/c/[0-9]+");NodeList list = parser.extractAllNodesThatMatch(frameFilter);for (int i = 0; i < list.size(); i++) {TagNode tag = (TagNode) list.elementAt(i);Node tagChild = tag.getFirstChild();className.add(tagChild.getText());//获取分类名称String frameUrl = tag.getAttribute("href");// 提取链接links.add(frameUrl);}} catch (ParserException e) {e.printStackTrace();}return links;}