html解析器JsoupXpath介绍
来源:互联网 发布:七月算法 视频 百度云 编辑:程序博客网 时间:2024/05/16 07:40
JsoupXpath (https://github.com/zhegexiaohuozi/JsoupXpath)是一款纯Java开发的使用xpath解析提取html内容的解析器,xpath语法分析与执行完全独立,html的DOM树生成借助Jsoup,故命名为JsoupXpath. 为了在java里也享受xpath的强大与方便但又苦于找不到一款足够强大的xpath解析器,故开发了JsoupXpath。JsoupXpath的实现逻辑清晰,扩展方便, 支持几乎全部常用的xpath语法,如下面这些:
1 http://www.cnblogs.com/ 为例 2 "//a/@href"; 3 "//div[@id='paging_block']/div/a[text()='Next >']/@href"; 4 "//div[@id='paging_block']/div/a[text()*='Next']/@href"; 5 "//h1/text()"; 6 "//h1/allText()"; 7 "//h1//text()"; 8 "//div/a"; 9 "//div[@id='post_list']/div[position()<3]/div/h3/allText()";10 "//div[@id='post_list']/div[first()]/div/h3/allText()";11 "//div[@id='post_list']/div[1]/div/h3/allText()";12 "//div[@id='post_list']/div[last()]/div/h3/allText()";13 //查找评论大于1的条目(当然只是为了演示复杂xpath了,谓语中可以各种嵌套,这样才能测试的更全面嘛)14 "//div[@id='post_list']/div[./div/div/span[@class='article_view']/a/num()>1]/div/h3/allText()";15 //轴支持16 "//div[@id='post_list']/div[self::div/div/div/span[@class='article_view']/a/num()>1]/div/h3/allText()";17 "//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText()";18 "//div[@id='post_list']/div[2]/div/p/preceding-sibling::h3/allText()//div[@id='post_list']/div[1]/div/h3/allText()";
在这里暂不列出框架间的对比了,但我相信,你们用了会发现JsoupXpath就是目前市面上最强大的的Xpath解析器。
快速开始
如果不方便使用maven,可以直接使用lib下的依赖包跑起来试试,如方便可直接使用如下dependency(已经上传至中央maven库,最新版本0.1.1):
1 <dependency>2 <groupId>cn.wanghaomiao</groupId>3 <artifactId>JsoupXpath</artifactId>4 <version>0.1.1</version>5 </dependency>
依赖配置好后,就可以使用如下例子进行体验了!
1 String xpath="//div[@id='post_list']/div[./div/div/span[@class='article_view']/a/num()>1]/div/h3/allText()"; 2 String doc = "..."; 3 JXDocument jxDocument = new JXDocument(doc); 4 List<Object> rs = jxDocument.sel(xpath); 5 for (Object o:rs){ 6 if (o instanceof Element){ 7 int index = ((Element) o).siblingIndex(); 8 System.out.println(index); 9 }10 System.out.println(o.toString());11 }
其他可以参考 cn.wanghaomiao.example
包下的例子
一 语法
支持标准xpath语法(支持谓语嵌套),支持全部常用函数,支持全部常用轴,去掉了一些标准里面华而不实的函数和轴,下面会具体介绍。语法可以参考http://www.w3school.com.cn/xpath/index.asp
关于使用Xpath的一些注意事项
非常不建议直接粘贴Firefox或chrome里生成的Xpath,这些浏览器在渲染页面会根据标准自动补全一些标签,如table标签会自动加上tbody标签,这样生成的Xpath路径显然不是最通用的,所以很可能就取不到值。所以,要使用Xpath并感受Xpath的强大以及他所带来便捷与优雅最好就是学习下Xpath的标准语法,这样应对各种问题才能游刃有余,享受Xpath的真正威力!
二 函数
text()
提取节点的自有文本node()
提取所有节点position()
返回当前节点所处在同胞中的位置last()
返回同级节点中的最后那个节点first()
返回同级节点中的第一个节点
解析器扩展函数
allText()
提取节点下全部文本,取代类似//div/h3//text()
这种递归取文本用法html()
获取全部节点的内部的htmlouterHtml()
获取全部节点的 包含节点本身在内的全部htmlnum()
抽取节点自有文本中全部数字,如果知道节点的自有文本(即非子代节点所包含的文本)中只存在一个数字,如阅读数,评论数,价格等那么直接可以直接提取此数字出来。如果有多个数字将提取第一个匹配的连续数字。
其他说明
contains(arga,argb)
这个函数暂时不支持,因为JsoupXpath拥有强大的运算符支持,完全可以取代它!如,可以用*=
取代contains()
例://div[text()*='next']
三 轴
self
节点自身parent
父节点child
直接子节点ancestor
全部祖先节点 父亲,爷爷 , 爷爷的父亲...ancestor-or-self
全部祖先节点和自身节点descendant
全部子代节点 儿子,孙子,孙子的儿子...descendant-or-self
全部子代节点和自身preceding-sibling
节点前面的全部同胞节点following-sibling
节点后面的全部同胞节点
轴实用扩展
preceding-sibling-one
前一个同胞节点(扩展)following-sibling-one
返回下一个同胞节点(扩展) 语法sibling
全部同胞(扩展)
四 操作符
这些操作符可谓足够用了,满足几乎你所有的需求。
返回两个节点集的并集
a+b
加 返回数值结果a-b
减 返回数值结果a=b
判断是否相等返回Booleana!=b
不等于 返回Booleana>b
大于 返回Booleana>=b
大于等于 返回Booleana<b
小于 返回Booleana<=b
小于等于 返回Boolean
操作符扩展
a^=b
字符串a是否以字符串b开头 a startwith b 返回Booleana*=b
a是否包含b, a contains b 返回Booleana$=b
a是否以b结尾 a endwith b 返回Booleana~=b
a的内容是否符合 正则表达式b 返回Boolean
- html解析器JsoupXpath介绍
- php解析html类库simple_html_dom(详细介绍)
- HTML解析器 jsoup
- HTML解析器
- HTML解析器 jsoup
- Python3 HTML 解析器
- HTML解析器 jsoup
- HTML解析器
- HTML 解析器
- HTML 解析器 Jericho
- JSoup HTML解析器
- python HTML解析器
- HTML解析器--jsoup
- html解析器比较
- JSoup HTML解析器
- html解析器 HtmlAgilityPack
- HTML解析器 jsoup
- MHtmlDomMaster-------Html解析器
- 修改 Logback FixedWindowRollingPolicy 最多支持20个文件限制
- JSTL函数标签库fn标签
- iOS 点击按钮跳转到指定的TabBar
- 轮廓5
- 如何用线性筛法求欧拉函数
- html解析器JsoupXpath介绍
- eclipse导入workspace已经存在项目
- 1114. Family Property (25)
- unity MD5加密
- angular 结合 nodejs连接数据库在webstorm服务器中启动
- 请问一下在java中的List<int> list=new List<int>();这条语句的两个int处会报错,请问为什么?
- 页面URL传中文乱码的解决方法
- 结构中的位字段
- 《与索罗斯一起走过的日子》读后感