htmlparser lexer解析网页源代码
来源:互联网 发布:lda主题模型 java 编辑:程序博客网 时间:2024/05/05 15:06
有时候我们在解析网页源代码时需要的不是整个页面的源代码,而是其中的文本内容,这时可以使用htmlparser这个开源工具来进行相应的操作。下面是一个例子,这个例子比较简单,主要是理解这个工具中的一些类的作用:
[javascript]
public static String html2Text() {
ConnectionManager manager;
Lexer lexer;
Node node;
manager = Page.getConnectionManager();
StringBuilder textSB = new StringBuilder();
StringBuilder tagSB = new StringBuilder();
StringBuilder remarkSB = new StringBuilder();
//StringBuilder abstractSB = new StringBuilder();
try {
lexer = new Lexer(manager.openConnection("http://www.baidu.com"));
while ((node = lexer.nextNode()) != null) {
if (node instanceof TextNode) {
textSB.append(node.toHtml());
} else if (node instanceof TagNode) {
tagSB.append(node.toHtml());
} else if (node instanceof RemarkNode) {
remarkSB.append(node.toHtml());
} else if (node instanceof AbstractNode) {
//abstractSB.append(node.toHtml());
}
}
return textSB.toString() + "\r\n" + "--------" + tagSB.toString()
+ "\r\n" + "--------" + remarkSB.toString() + "\r\n"
+ "-------"
//+ abstractSB.toString()
;
} catch (Exception e) {
throw new RuntimeException();
}
} www.2cto.com
下面来分析一下这个工具中的一些主要的类:
ConnctionManger是进行连接网页的一个类,Lexer可以通过构造函数传递一个URLConnection,这时就可以获得网页的内容,Lexer就像是一个包装器,将网页的内容包装起来,然后可以通过Lexer中的方法进行网页的内容获取。Lexer的nextNode就是开始获取网页的节点了,返回的Node类被AbstractNode所实现,并且TextNode,TagNode,RemarkNode是AbstractNode的子类。TextNode是网页中的所有文本节点,TagNode是网页中的所有标签节点,RemarkNode是网页中的所有注释节点。AbstractNode中提供了访问网页的开始位置和结束位置,子节点的父节点和子节点的list等方法。所以在TextNode,TagNode,RemarkNode中也可以使用这些方法来获取相应的信息。
[javascript]
public static String html2Text() {
ConnectionManager manager;
Lexer lexer;
Node node;
manager = Page.getConnectionManager();
StringBuilder textSB = new StringBuilder();
StringBuilder tagSB = new StringBuilder();
StringBuilder remarkSB = new StringBuilder();
//StringBuilder abstractSB = new StringBuilder();
try {
lexer = new Lexer(manager.openConnection("http://www.baidu.com"));
while ((node = lexer.nextNode()) != null) {
if (node instanceof TextNode) {
textSB.append(node.toHtml());
} else if (node instanceof TagNode) {
tagSB.append(node.toHtml());
} else if (node instanceof RemarkNode) {
remarkSB.append(node.toHtml());
} else if (node instanceof AbstractNode) {
//abstractSB.append(node.toHtml());
}
}
return textSB.toString() + "\r\n" + "--------" + tagSB.toString()
+ "\r\n" + "--------" + remarkSB.toString() + "\r\n"
+ "-------"
//+ abstractSB.toString()
;
} catch (Exception e) {
throw new RuntimeException();
}
} www.2cto.com
下面来分析一下这个工具中的一些主要的类:
ConnctionManger是进行连接网页的一个类,Lexer可以通过构造函数传递一个URLConnection,这时就可以获得网页的内容,Lexer就像是一个包装器,将网页的内容包装起来,然后可以通过Lexer中的方法进行网页的内容获取。Lexer的nextNode就是开始获取网页的节点了,返回的Node类被AbstractNode所实现,并且TextNode,TagNode,RemarkNode是AbstractNode的子类。TextNode是网页中的所有文本节点,TagNode是网页中的所有标签节点,RemarkNode是网页中的所有注释节点。AbstractNode中提供了访问网页的开始位置和结束位置,子节点的父节点和子节点的list等方法。所以在TextNode,TagNode,RemarkNode中也可以使用这些方法来获取相应的信息。
- htmlparser lexer解析网页源代码
- htmlparser lexer解析网页源代码
- 解析网页工具HTMLParser
- 学习HTMLParser解析网页
- htmlParser解析网页链接问题
- htmlparser解析网页基本代码
- htmlparser解析网页内容代码
- Java抓取网页 解析网页HtmlParser
- python使用HTMLParser和BeautifulSoup解析网页
- httpclient解析网页,htmlparser获取制定元素
- HTMLParser半自动解析网页的应用
- 基于htmlparser实现网页内容解析
- 使用HTMLParser解析器爬取网页内容
- python使用HTMLParser和BeautifulSoup解析网页
- 基于htmlparser实现网页内容解析
- 如何解析网页源代码
- htmlparser解析
- htmlparser解析
- Linux 常看文件和文件夹夹大小
- DateTime TryParse
- weblogic9.2配置mysql数据源错误
- perl数组的长度与元素个数
- jsp传中文乱码的问题解决
- htmlparser lexer解析网页源代码
- 群龙需有首:数据委员会的角色与职责
- 一个有关超大数组记录访问的问题
- 旧版本NDK的下载
- 轻松玩建模 统一建模语言UML快速入门
- C++创建动态链接库示例
- Maven常见异常及解决方法
- UVA 340
- samba 服务共享的访问和配置