Python中Json对象处理的jsonpath-rw
来源:互联网 发布:阿里云服务器怎么租 编辑:程序博客网 时间:2024/05/29 14:51
这两天在写一个爬虫,需要从网站返回的json数据提取一些有用的数据。
向url发起请求,返回的是response,在python3中,response.content是二进制bytes类型的,需要用decode()转成unicode的str类型
#如果用的requests发的请求import jsonresponse = requests.get(url,headers=self.headers)response = response.content.decode()response = json.loads(response) #转成json对象,在python里也就是dict类型-----------------------------------------------------------------------------------#如果用的scrapy.Request发的请求import jsonimport scrapyresponse = scrapy.Request(url,headers=self.headers)response = response.text.decode()response = json.loads(response) #转成json对象,在python里也就是dict类型
也就是说处理json对象其实可以和处理dict一样,那就要用到很多中括号,而且取值也只能取单个精确的值。一点都不灵活
用过xpath和css选择器的人当然会觉得这种方法很笨重。
而恰巧json也有类型的选择器:jsonpath
但是需要注意的是,python的库并不是jsonpath(还真有这个库,但是不知如何使用,官方也没有给出python的使用文档),真正在python中可以使用的库是:jsonpath-rw
官方文档:https://pypi.python.org/pypi/jsonpath-rw (更多jsonpath的语法请点击链接)
下面只列下简单常用的基本方法
使用示例
>>> from jsonpath_rw import jsonpath, parse>>> json_obj = {"student":[{"male":176,"female":162},{"male":174,"female":159}]}>>> jsonpath_expr = parse("student[*].male")>>> male = jsonpath_expr.find(json_obj)>>> male #返回的是list,但是不是我们想要的值[DatumInContext(value=176, path=Fields('male'), context=DatumInContext(value={'male': 176, 'female': 162}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B95109B0>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None)))), DatumInContext(value=174, path=Fields('male'), context=DatumInContext(value={'male': 174, 'female': 159}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B9510588>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None))))]#想要获取值,要用如下方法>>> [match.value for match in male][176, 174]
阅读全文
0 0
- Python中Json对象处理的jsonpath-rw
- python爬虫 如何解析json文件 json文件的解析提取和jsonpath的应用
- Python中json的处理
- jsonpath解析json数据的javascript版本
- json解析神器 jsonpath的使用
- Python爬虫json和JsonPath系列之十一
- JsonPath (JSON 解析神器)
- Python类对象的JSON序列化处理
- Python的Json处理
- Python中处理JSON字符串
- 使用jsonpath解析json内容
- 使用JsonPath解析json数据
- MVC中处理Json和JS中处理Json对象
- MVC中处理Json和JS中处理Json对象
- MVC中处理Json和JS中处理Json对象
- 处理复杂的JSON对象
- JsonPath的使用
- JsonPath的使用
- 微信新增自定义个性化菜单数据格式
- HTML学习
- Javascript 面向对象编程(一):封装
- 朴素贝叶斯算法原理小结
- Exceotion 异常
- Python中Json对象处理的jsonpath-rw
- Spring MVC 异常处理有3种方式
- mybatis-generator生成逆向工程的DOS窗口使用方式
- mysql的数据类型
- JavaWeb基础(2)—— JDBC 中 Statement 与 PrepareStatement 的区别
- 排序详解:桶排序
- spring-mvc无法访问jsp页面的问题
- idea 2017如何破解
- 在Spring Boot框架下使用WebSocket实现聊天功能