HtmlParser的使用-爬虫（二）
来源：互联网 发布：nfc写卡器软件 编辑：程序博客网 时间：2024/06/05 14:27
HtmlParser是一个用来解析HTML文件的Java包，主要用于转换盒抽取两个方面。
利用HtmlParser，你可以实现下面的内容的抽取：
a.文本抽取 b.链接抽取 c.资源抽取。可以搜集到图像和声音文件等资源
d.链接检查。保证链接是有用的 e.站点检查，可以查看页面不同版本之间的差异
利用HtmlParser，你可以利用它的转换功能，主要体现在几个方面：
a.URL重写。能够修正页面中的错误链接 b.广告清楚。清除页面中的广告内容和指向广告的链接
c.将HTML页面转化成XML页面 d.HTML页面的清理
我们开始学习了，我们先来看看这个包中的类的大体框架：
在org.htmlparser包下，有几个接口和类：
Parser类：这个是HtmlParser的核心类，主要的完成对Html页面的分析工具，通过这个类我们可以得到这个页面的各种信息。
Parser()：无参数的构造方法。
Parser(String resource)：根据String参数构建对象，这个参数可以是URL或者本地文件的路径。
Parser(URLConnection connection)：根据一个URLConnection对象构建对象。
createParser(String html, String charset)：通过路径名创建对象，并且设置编码格式。
elements()：返回这个类的元素节点的迭代器，通过这个迭代器我们遍历页面的节点。
setURL():设置这个Parser类要解析的页面的地址。
parset():根据一个NodeFilter，也就是一个过滤器去获取过滤剩下的页面信息。
visitAllNodeWith(NodeVisitor visitor)：通过一个NodeVisitor去遍历所有的节点。
小试牛刀(这个只是简单的使用，具体的类看下面的介绍)：
@Test public void testVisitAllNodeWith() throws Exception { Parser parser = new Parser(); parser.setURL("http://www.google.cn"); parser.setEncoding(parser.getEncoding()); NodeVisitor visitor = new NodeVisitor() { public void visitTag(Tag tag) { System.out.println("*************************"); System.out.println(tag.getTagName()); System.out.println("*************************"); } }; parser.visitAllNodesWith(visitor); } @Test public void testElements() throws Exception { Parser parser = new Parser(); parser.setURL("http://www.google.cn"); parser.setEncoding(parser.getEncoding()); NodeIterator iterator = parser.elements(); while(iterator.hasMoreNodes()) { Node node = iterator.nextNode(); System.out.println("*************************"); System.out.println(node.getText()); System.out.println("*************************"); } }
Node接口：这个接口就好像定义了一颗树来表示一个HTML页面，定义获取父子兄弟节点的方法，定义了节点到对应节点的html文本的方法，从上面的图中我们看到有AbstractNode这个类，这个是Node的实现类，起到形成树形结构的作用，在HTML页面中有三种类型的Node，RemarkNode代表html中的注释，TagNode代表标签节点，TextNode代表文本节点。
getChildren()：获取子节点，返回一个NodeList对象。
getFirstChildren():获取第一个子节点，返回一个Node对象。
getLastChildren()：获取最后一个子节点，返回一个Node对象。
getPreviousSibling()：获取前一个兄弟节点。
getNextSibling():获取后一个兄弟节点。
getParent():获取父节点。
getText():获得文本内容。
toPlainTextString():获取纯文本信息。
toHtml():获取Html信息。
accept(NodeVisitor visitor):对这个node应用visitor。
为了方法大家观看，还是自己写一个Html，然后练练方法：
node.html
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>Title Node</title> </head> <body> <!-- remark --> <h1>H1 Node</h1> <div id="d1"> <div id="d2"> <a>Div Node</a> </div> </div> </body></html>
测试方法：
@Test public void testNode() throws Exception { Parser parser = new Parser(); parser.setURL("src/node.html"); parser.setEncoding(parser.getEncoding()); NodeIterator iterator = parser.elements(); while(iterator.hasMoreNodes()) { Node node = iterator.nextNode(); System.out.println("*************************"); System.out.println("Text:" + node.getText()); System.out.println("PlainText:" + node.toPlainTextString()); System.out.println("ToHtml:" + node.toHtml()); System.out.println("*************************"); } }
Remark接口：这个接口代表了注释。实现类有RemarkNode，这个类代表了注释节点。
getText():获取文本。
setText():设置文本。
Tag接口：这个接口就代表了Html页面的标签，实现类有TagNode，就是标签节点。
getAttribute(String name)：根据name拿到该标签的属性，当然有对应的setAttribute方法。
getTagName():拿到这个标签的名字。
toTagHtml():返回这个标签的html。
Text接口：这个接口代表Html的文本，实现类有TextNode，就是文本节点。
getText():拿到文本值。
setText():设置文本值。
NodeFilter接口：这个接口定义的是过滤器，通过各种各样的过滤器可以筛选出特定的节点，具体的应用看下面的org.htmlparser.filters包下的类的应用，
accept(Node node)：这个方法的返回值是boolean，方法的作用就是判断要不要保留这个节点。
在org.htmlparser.visitors包下，有一个很重要的类NodeVisitor，下面讲解一下：
NodeVisitor类：通过这个visitor我们可以遍历树的每一个节点，对于一个符合条件的节点，我们还可以进行适当的处理。
visitRemarkNode(Remark remark):访问remark类型的节点，通过重写这个方法可以实现对这个remark类型节点的特定操作。
visitStringNode(Text text)：访问Text类型的节点，通过重写这个方法可以实现对这个Text类型节点的特定操作。
visitTag(Tag tag)：访问Tag类型的节点，通过重写这个方法可以实现对这个Tag类型节点的特定操作。
小试牛刀：
public class MyVisitor extends NodeVisitor{ public MyVisitor() { } public void visitTag(Tag tag) { if(tag.getTagName().equals("BODY")) System.out.println("**********body**************"); System.out.println("TagName:" + tag.getTagName()); } public void visitStringNode(Text text) { System.out.println("text" + text.getText()); } public static void main(String[] args) throws Exception{ Parser parser = new Parser("src/node.html"); MyVisitor visitor = new MyVisitor(); parser.visitAllNodesWith(visitor); }}
在org.htmlparset.filters包下，有着很多过滤器，每个过滤器类都有自己特定的作用：
判断类Filter：
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter：
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter：
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter
下面是一个关于TagNameFilter的小试牛刀：
@Test public void testTagNameFilter() throws Exception{ Parser parser = new Parser("src/node.html"); NodeFilter filter = new TagNameFilter("DIV"); NodeList nodeList = parser.extractAllNodesThatMatch(filter); if(nodeList != null) { for(int i = 0; i < nodeList.size(); i++) { Node node = nodeList.elementAt(i); System.out.println("Text:" + node.getText()); System.out.println("****************************"); } } }
- HtmlParser的使用-爬虫（二）
- 网络爬虫---HTMLParser使用详解
- 网络爬虫---HTMLParser使用举例
- 网络爬虫---HTMLParser使用详解
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用HttpClient和HtmlParser实现网络爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 使用 HttpClient 和 HtmlParser 实现简易爬虫
- 安卓系统源代码下载（官方教程）
- 【Hololens开发】Holograms 101E: Introduction with Emulator（使用模拟器运行）
- Android Studio生成aar文件包和在其他工程引用aar文件包
- 页面进度条制作
- Velocity页面时间格式处理
- HtmlParser的使用-爬虫（二）
- Android系列之利用SharedPreferences是否是第一次进入安装程序
- 2017暑假七林集训day15
- assemble、compile、make、build和rebuild的关系
- 60 TB 数据：Facebook 是如何大规模使用 Apache Spark 的
- CSS动画
- MD5算法-爬虫（三）
- eclipse
- 美好的一天
