python json 爬京东商品评论
来源:互联网 发布:iqunix 知乎 编辑:程序博客网 时间:2024/06/01 17:04
目标:爬京东任意商品评论
一、首先打开京东任意商品的评论
1、我用的是QQ浏览器,右击检查,在Network下选择JS,在搜索框里输入productPageComments(如果出不来记得F5刷新一下)
如图:
2、双击productPageComments会得到以下页面
评论就在其中啦
二、找到想要的东西就要写代码啦
上代码
# -*- coding:utf-8 -*-import urllibimport jsonimport sysreload(sys)sys.setdefaultencoding( "gbk" ) #注意编码f=open("PL.txt","w+")def get_evaluate(url): #打开网页 page = urllib.urlopen(url).read().decode('gbk') page=page.replace('fetchJSON_comment98vv19563(','') #替换,也可以使用sub page=page.replace(');','') data = json.loads(page) #decode的过程,将json对象转换成python对象 for p in data["comments"]: #data是个字典,content是data的key值 content = p["content"].encode('utf-8') time = p["referenceTime"].encode('utf-8') name = p["referenceName"].encode('utf-8') f.write("评价内容"+'\n'+content+'\n'+"类型:"+name+'\n'+"评论时间:"+time+'\n')for i in range(0,10):#爬取一到十页的评论(可以自己任意设置) print("正在获取第{}页评论数据!".format(i+1)) url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv19' \ '563&productId=781490&score=0&sortType=5&page=' + str(i) +'0&pageSize=10&isShadowSku=0&fold=1' #注意URL的值
get_evaluate(url)f.close三、成果
然后写入文件的格式啊什么的,可以按自己的喜好改改
阅读全文
0 0
- python json 爬京东商品评论
- python 多线程爬取考拉商品评论
- 使用python爬取京东评论(json)
- 商品评论表表结构设计
- 爬取京东商品评论
- 利用JSon在京东上实现随意商品评论的爬取
- 商品评论的Tag模式
- 用户商品评论自动分类
- 淘宝商品评论爬取
- python2.7爬取京东商品评论
- [爬虫]使用python抓取京东全站数据(商品,店铺,分类,评论)
- python爬虫(6)——获取天猫商品评论信息
- python爬虫(7)——获取京东商品评论信息
- Python爬虫(六)爬京东商品图片
- json爬取京东评论
- 让zen cart商品评论显示在商品详情页面
- OpenCart之商品评论(Reviews)教程
- 【开源】scrapy爬取亚马逊商品评论
- 第二次深度实习面试(七鑫易维)
- 剑指offer---数字在排序数组中出现的次数
- Linux学习笔记2——VM虚拟机网络环境设置
- 关于微机原理的一些个人见解(2)
- 面试汇总
- python json 爬京东商品评论
- c语言———预处理,结构体
- Eclipse中怎样设置字体大小和修改注释字体的颜色
- 记录一个坑——SpannableStringBuilder
- [bzoj1854][二分图匹配]游戏
- 利用DecisionTree对titanic数据进行分类
- linux中合并多个文本文件以及对数据的处理
- LaTex(PART XIX)插入代码并且高亮显示
- 打印九九乘法表