Java调用python之lxml解析xpath
来源:互联网 发布:php 调用存储过程 编辑:程序博客网 时间:2024/05/18 02:19
一、需求背景:
公司有爬虫需求,希望通过xpath解析网页,最早的版本是调用Java版本的Jsoup来完成的,但是Jsoup只能处理一些简单的xpath,对于一些特殊函数的xpath无法支持,后来又通过使用xpath2selector用来处理高级xpath问题,但是xpath2selector也存在一些问题,不能支持部分高级函数以及乱码问题,java版本使用xpath太难寻找,最终决定使用python作为解析xpath的语言。
二、需求分析
用python解析xpath需要解决两个问题
1.Java调用python
2.python 解析xpath
三、需求实现
1、Java调用python
刚开始的时候使用Jython作为Java和python之间的互通工具,测试之后确实可以使用,但是等到使用python的时候发现Jython不支持lxml,最后决定使用Java原生调用命令行的方式。以下为Java原生调用python的解决方案
String[] args = ["本机python路径","python脚本路径","传入参数一","传入参数二"]; //注:在linux环境中每个传入的参数长度不能超过132kb Process proc; try { proc = Runtime.getRuntime().exec(args); BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream())); String line; while ((line = in.readLine()) != null) { result.append(line).append('\n'); } in.close(); proc.waitFor(); } catch (IOException | InterruptedException e) { e.printStackTrace(); }
2、python接收数据并用lxml处理返回
1:接收数据
import sysfrom lxml import etreexpath = sys.argv[1]content = sys.argv[2]
2:xpath处理
source = ""xpath = ""html = etree.HTML(source)//source为html文本for e in html.xpath(xpath): xml = etree.tostring(e,pretty_print=True, method="html").strip() //xml即为所得到的xpath解析结果,返回即可//若出现乱码问题添加encoding="utf-8",一般编码问题都可以解决xml = etree.tostring(e,encoding="utf-8",pretty_print=True, method="html").strip() //若仍未乱码,有可能为源码为编译后的html代码,需要解析source = source.decode("utf-8")html = etree.HTML(source)//source为html文本
3、环境搭配
pip install lxml
阅读全文
0 0
- Java调用python之lxml解析xpath
- python 使用lxml解析html(xpath)
- Python lxml xpath
- python解析xml之lxml
- HTML解析之五:lxml的XPath解析
- Python lxml解析HTML并用xpath获取元素
- Python的lxml库学习之XPATH语法
- Python爬虫Xpath和lxml类库系列之九
- python爬虫之XPath与lxml的使用
- Python爬虫之Xpath与lxml库的用法
- python lxml xpath 使用实例!
- dblp 数据集之python lxml解析
- [XPath/Python] XPath 与 lxml (二)XPath 语法 - iFantasticMe
- lxml解析html时,检验XPath
- Python+lxml解析html
- python使用lxml解析html获取页面内所有叶子节点的xpath路径
- python对lxml解析html得到的xpath路径去除()、[]得到模式路径
- python xpath语法与lxml库
- [PAT甲] 1051.Pop Sequence
- 五大最佳开源java性能监控工具
- Mysql 存储过程
- idea快捷键大全
- 调用Spring应用中发布的Webservice服务
- Java调用python之lxml解析xpath
- tensorflow编程: Building Graphs
- Hackinglab文件上传解题笔记
- Android-PullToRefresh 使用心得
- C语言--无类型指针void*的学习与使用
- IDE: 部分快捷键
- COPRA RF 2005_
- 松柏先生:18周年,阿里巴巴从籍籍无名到万人空巷,要从一位“巫师”说起...
- could not resolve property hibernate