python爬虫（7）——获取京东商品评论信息

本文借鉴了之前爬取天猫商品评论的思想，先通过分析网页信息来定位京东加载商品评论信息的JS页面，然后从中提取出想要的商品评论信息并存入MySQL数据库。

1.分析网页信息

本文在进行各项操作时同样以小米6为例，首先打开京东上小米6销量最高的某店铺，在火狐浏览器下按F12查看网页详细信息。在网络模式下定位加载商品评论信息的JS页面，找到文件名带ProductPageComment关键词，域名为club.jd.com的脚本页面，选中该页面，在右侧点击预览，如下图所示：

由上图可以判断该页面即为加载商品评论信息的JS页面。然后，我们在右侧点击消息头，可以看到该JS页面的请求网站，如下图所示：

复制该请求网址（https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1），并在浏览器中打开，如下图所示：

我们接下来的任务就是从该网址中提取出我们想要的信息。通过分析该页面数据信息可以发现，该页面数据信息的结构是：fetchJSON_comment98vv337(JSON格式数据），我们在通过JSON方式提取页面信息时，需要先过滤掉无关信息，如jsondata = html[27:-2]这样的方式。过滤之后可以得到纯JSON格式数据，通过和原网页数据进行对比分析可以发现，该JSON数据中的“referenceName”属性对应的是商品全名（商品名+关键参数信息），“creationTime”属性对应的是用户评论时间，“content”属性对应的是用户评论内容。下面就将根据以上分析得到的结果编写Python代码提取商品评论数据，并存入MySQL数据库中。

2.代码实现

实现代码如下所示：

# -*- coding: utf-8 -*-"""Created on Wed Jul 12 15:29:04 2017@author: Administrator"""import urllib.requestimport jsonimport timeimport randomimport pymysql.cursorsdef crawlProductComment(url,page):    #读取原始数据(注意选择gbk编码方式)    html = urllib.request.urlopen(url).read().decode('gbk')    #从原始数据中提取出JSON格式数据(分别以'{'和'}'作为开始和结束标志)    jsondata = html[27:-2]    #print(jsondata)    data = json.loads(jsondata)    #print(data['comments'])    #print(data['comments'][0]['content'])    #遍历商品评论列表    for i in data['comments']:        productName = i['referenceName']        commentTime = i['creationTime']        content = i['content']        #输出商品评论关键信息        print("商品全名:{}".format(productName))        print("用户评论时间:{}".format(commentTime))        print("用户评论内容:{}".format(content))        print("-----------------------------")        '''        数据库操作        '''        #获取数据库链接        connection  = pymysql.connect(host = 'localhost',                                  user = 'root',                                  password = '123456',                                  db = 'jd',                                  charset = 'utf8mb4')        try:            #获取会话指针            with connection.cursor() as cursor:                #创建sql语句                sql = "insert into `jd-mi6` (`productName`,`commentTime`,`content`) values (%s,%s,%s)"                #执行sql语句                cursor.execute(sql,(productName,commentTime,content))                #提交数据库                connection.commit()        finally:            connection.close()for i in range(0,10):    print("正在获取第{}页评论数据!".format(i+1))    #小米6评论链接,通过更改page参数的值来循环读取多页评论信息    url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=' + str(i) +'&pageSize=10&isShadowSku=0&fold=1'    crawlProductComment(url,i)    #设置休眠时间    time.sleep(random.randint(31,33))

执行结果如下图所示：

MySQL数据库中的数据存储如下图所示：