腾讯新闻评论数据爬取

前言

鉴于最近在做观点挖掘的相关工作，观点的数据源是网络评论数据，于是第一个想到的就是新闻观点数据，一个热门的新闻可能一晚上就会有上万条评论，所以如何分析并利用好这些评论信息，将会是一件非常有意思的事情，观点挖掘是我研究的目的，当然要想很好解决这个问题，所以我自然要解决数据源的问题，于是乎，我就想到了去爬取腾讯新闻的评论数据。下面我会介绍一下这个过程，这个过程还是非常有意思的哦。

为什么爬的是腾讯新闻的数据

我从网上查阅了许多爬取新闻数据的相关技术帖，发现除了腾讯的之外，还有新浪，网易的比较多，但是他们的请求链接都不是那么好破解，腾讯新闻的稍稍简单一点，而且初步分析了一下，可以利用技术的手段去构造请求，从而获取评论数据。先来看一个例子链接，这个也是我从网上找的。

http://coral.qq.com/article/1004703995/comment?commentid=0&reqnum=20&tag=&callback=mainComment&_=1389623278900

链接附带的参数还是有点多的，下面给出参数的各个意思：

http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目&tag=&callback=mainComment&_=时间戳+3位随机整数

最后一位随机值其实没什么用处了。然后点击链接，我们截取其中的一条评论数据，获取到的数据是这样的：

mainComment({"errCode":0,"data":{"targetid":1004703995,"display":1,"total":14000,"reqnum":20,"retnum":20,"maxid":"5990116449200978034","first":"5990116449200978034","last":"5840477226068943893","hasnext":true,"commentid":[{"id":"5990116449200978034","rootid":"0","targetid":1004703995,"parent":"0","timeDifference":"04\u670804\u65e5 21:44:12","time":1428155052,"content":"\u65e9\u8be5\u7528\u56fd\u4ea7\u7684\u8f66\u4e86\uff0c\u7279\u522b\u662f\u7ea2\u65d7\u8001\u724c\u5b50\uff0c\u6240\u6709\u7684\u516c\u8f66\u5e94\u8be5\u90fd\u7528\u56fd\u4ea7\u7684\uff0c\u4f60\u770b\u97e9\u56fd\u4eba\u6240\u6709\u7528\u7684\u90fd\u4ee5\u56fd\u4ea7\u4e3a\u4e3b","title":"","up":"0","rep":"0","type":"1","hotscale":"0","checktype":"1","checkstatus":"1","isdeleted":"0","tagself":"","taghost":"","source":"2","location":"","address":"","rank":"-1","custom":"","extend":{"at":0,"ut":0},"orireplynum":"0","richtype":0,"userid":"171498810","poke":0,"abstract":"","replyuser":"","replyuserid":0,"replyhwvip":0,"replyhwlevel":0,"userinfo":{"userid":"171498810","uidex":"eca292c6a6414f6e1fcb977697686602af","nick":"HLX\u6d77\u5170\u8f69","head":"http:\/\/q1.qlogo.cn\/g?b=qq&k=IFD4IB50ib9kwDdYwdo4Rxw&s=40&t=1431792000","gender":1,"viptype":"0","mediaid":0,"region":"\u4e2d\u56fd:\u5c71\u4e1c:\u4e1c\u8425","thirdlogin":0,"hwvip":0,"hwlevel":0,"identity":"","wbuserinfo":{"name":"zhangzhongliang4372","nick":"\u5f20\u5fe0\u826f","url":"","vip":0,"ep":0,"brief":"","identification":"","intro":"","liveaddr":{"country":"1","province":"37","city":"5","area":""},"gender":1,"level":0,"classify":""},"remark":"","fnd":0}},

一个超级庞大的json字符串，而且评论数据content里面的中文被编成Unicode的格式了，无法直接查看，在评论数据中，有时还会有用户的许多信息。这样不直观，可以在Google上去查看，但是得需要安装jsonView插件，会有一定的结构呈现：

接下来我们要好好的分析一下这里面的数据属性结构了。

腾讯新闻评论数据构成

我们关注的属性值不会很多，首先这些数据是被mainComment这个包着的，所以在解析之前需要把这个得剥离掉。

1、errCode：首先有errCode,一看就知道是响应回复值，用来判断请求是否成功和失败了。

2.、targetId：然后data才是我们所关心的，首先是一个targetId，暂且可先理解为具体新闻的id，但是事实上不是，这个在后面会做解释

3、total：指的是的此条新闻的所有评论数据的总条数。

4、reqnum:此次请求评论数据的条数。这里需要小小提醒一下，每次请求数据的上限条数50条，如果某次请求超出这个值，还是会返回50条。

5、retnum:此次请求返回的评论数，如果没有到评论数据的末尾，一般请求值与返回值是相等的。

6、maxid:指的是此次返回的评论数据中评论id最大的值。

7、firsr:指的是返回的评论中的首条评论id。

8、last:指的是返回的评论数据中的末尾条的评论id。

然后这个时候可以在介绍一下刚刚提到的问题，targetid其实不是真实的新闻页id，其实是一个映射的关系吧，一个新闻页会对应一个评论id，这个id其实是一个类似于评论组id的概念，然后在这个id下面，每条评论数据都有自己的id值，所以才会有first,last这些值的存在。

下面再简单一看下评论数据的属性信息了

1、id:针对自己的评论id，这个id是唯一的，至于具体怎么生出，这个我也不清楚。

2、targetid:同样有定义targetid的定义，表明所属于哪条新闻的评论数据。

3、time:评论数据的发表时间，以时间戳的方式存在。

4、content:这个就是我们最最关注的评论数据了。

如何爬取新闻评论数据

在了解了评论数据的结构数据后，我们当然想要的是如何去获取其中的数据，请求模板链接已经在上面给出了，再次在下面给出，

http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目&tag=&callback=mainComment&_=时间戳+3位随机整数

需要填入的参数有，reqnum，每次请求数，评论页id，其实id，时间戳那个你可以固定写死都没问题。OK，下面我们一个个解决。

1、评论页id，即cmt_id，这个没有什么API，只能自己去匹配，爬取，常用的办法就是解析新闻页的HTML代码，利用写好的正则表达式去匹配。cmt_id在详情页的代码中的展示为

所以可以写一个cmt_id = "(,*)";的匹配规则去匹配。在我后面的代码实现中都会出现。匹配到cmt_id后，就第一个参数搞定。

2、起始id，指的是从哪个id开始的评论数据，因为每次获取的都是一批数据，要知道起始位置才能获取相对应的数据，开始时0，表明取得是最前面的几十条数据，如果想要接下来取的话，需要把这批数据中最后一个评论id，加入到新的请求中，才能往后取，就是刚刚的last值的定义。

3‘、reqnum请求数据这个很简单，不超过50都没问题。

以上具体的过程会在我后面的程序中有所体现，现在不理解没有关系。

爬取示例

我选取了一则最近的新闻，页面如下

标题为俄罗斯红场阅兵....ok，标题其实我们也可以爬到的。查看一下目前最新的一部分评论，用于后面做对比：

然后我们爬取一下数据，输出到本地的一个文件中，格式为发表时间戳+评论内容。

然后与网上的数据比对一下

数据完全吻合，由此评论过程顺利完成。而且能够连续的爬取到数据。下面看看关键的代码实现

爬取算法代码实现

只需要输入新闻页的链接即可。在算法中会有2次的http请求，第一次获取cmt_id评论id，第二次才是评论数据的爬取。废话不多说，贴代码，这里小小提醒一下，为了避免太频繁的爬取请求，我在每次爬取完毕之后进行随机几秒的时间睡眠。在解析json数据时，需要有Gson的依赖，在我的github上完整的代码和jar包，上面还有如何使用，地址同样贴上，点击我的腾讯新闻评论数据爬取项目。

爬取工具封装类QQNewCrawler.java:

package TextMining.crawler;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.PrintStream;import java.net.URL;import java.net.URLConnection;import java.text.MessageFormat;import java.util.ArrayList;import java.util.Random;import java.util.regex.Matcher;import java.util.regex.Pattern;import TextMining.crawler.entity.Comment;import TextMining.crawler.entity.Data;import TextMining.crawler.entity.DataContainer;import com.google.gson.Gson;/** * 腾讯新闻爬虫工具类 *  * @author lyq *  */public class QQNewsCrawler {// 腾讯新闻评论链接url的格式public static final String NEWS_COMMENTS_URL_FORMAT = "http://coral.qq.com/article/{0}/comment?commentid={1}&reqnum={2}&tag=&callback=mainComment&_=1389623278900";// 腾讯新闻详情页的链接private String newsUrl;//爬取到的新闻标题private String newsTitle;//评论数据输出路径private String outputPath;// 需要爬取的评论数总量private int totalCommentcount;// 每次请求的评论数，一次上限50条评论private int reqCommentNum;// 评论列表private ArrayList<Comment> commentLists;public QQNewsCrawler(String newUrl, int totalCommentcount, int reqCommentNum, String outputPath) {this.newsUrl = newUrl;this.totalCommentcount = totalCommentcount;this.outputPath = outputPath;if (reqCommentNum > 50) {// 每次请求最多只能50条reqCommentNum = 50;}this.reqCommentNum = reqCommentNum;}/** * 获取评论内容数据 * @return */public ArrayList<Comment> getCommentLists() {return commentLists;}/** * 获取新闻标题 * @return */public String getNewsTitle(){return this.newsTitle;}/** * 从新闻详情页中爬取新闻标题和评论ID *  * @return */public String[] crawlCmtIdAndTitle() {String[] array;String[] tempArray;// 页面HTML字符String htmlStr;String cmtId;String newsTitle;String filePath = "C:\\Users\\lyq\\Desktop\\icon\\input2.txt";Pattern p;Matcher m;cmtId = null;newsTitle = null;array = new String[2];htmlStr = sendGet(newsUrl);// htmlStr = readDataFile(filePath);p = Pattern.compile("cmt_id = (.*);");m = p.matcher(htmlStr);while (m.find()) {cmtId = m.group();System.out.println(cmtId);break;}p = Pattern.compile("<title>(.*)</title>");m = p.matcher(htmlStr);while (m.find()) {newsTitle = m.group();System.out.println(newsTitle);break;}// 对匹配到的评论id字符做解析if (cmtId != null && !cmtId.equals("")) {tempArray = cmtId.split(";");cmtId = tempArray[0];tempArray = cmtId.split("=");cmtId = tempArray[1].trim();System.out.println(cmtId);}int pos1;int pos2;// 对匹配到的新闻标题做解析if (newsTitle != null && !newsTitle.equals("")) {pos1 = newsTitle.indexOf(">");pos2 = newsTitle.lastIndexOf("<");newsTitle = newsTitle.substring(pos1 + 1, pos2);System.out.println(newsTitle);}array[0] = cmtId;array[1] = newsTitle;this.newsTitle = newsTitle;return array;}/** * 根据新闻评论ID爬取腾讯新闻评论数据 *  * @throws */public void crawlNewsComments() {String resultCommentStr;String requestUrl;String cmtId;String[] info;String startCommentId;int index1;int index2;// 当前获取到评论条数int currentCommentNum;int sleepTime;Random random;startCommentId = "";currentCommentNum = 0;random = new Random();commentLists = new ArrayList<>();info = crawlCmtIdAndTitle();cmtId = info[0];// cmtId = "1004703995";// 当请求总量达到要求的量时，跳出循环while (currentCommentNum < totalCommentcount) {requestUrl = MessageFormat.format(NEWS_COMMENTS_URL_FORMAT, cmtId,startCommentId, reqCommentNum);resultCommentStr = sendGet(requestUrl);// 截取出json格式的评论数据index1 = resultCommentStr.indexOf("{");index2 = resultCommentStr.lastIndexOf("}");resultCommentStr = resultCommentStr.substring(index1, index2 + 1);System.out.println(resultCommentStr);// 以上次最后一条评论的id为起始ID，继续爬取数据startCommentId = parseJSONData(resultCommentStr);// 如果解析出现异常，则立即退出if (startCommentId == null) {break;}try {// 随机睡眠1到5秒sleepTime = random.nextInt(5) + 1;Thread.sleep(1000 * sleepTime);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();}currentCommentNum += reqCommentNum;}// 最后将本次爬取的所有评论写入到文件中writeStringToFile(commentLists, outputPath);}/** * 解析评论数据的json格式字符串 *  * @param dataStr *            json数据 * @return 返回此次获取的最后一条评论的id */private String parseJSONData(String dataStr) {String lastId;Gson gson = new Gson();DataContainer dataContainer;Data data;ArrayList<Comment> cList;dataContainer = gson.fromJson(dataStr, DataContainer.class);// 如果获取数据异常，则返回控制if (dataContainer == null || dataContainer.getErrCode() != 0) {return null;}data = dataContainer.getData();//一旦发现已经没有数据了,则返回if (data == null) {return null;}cList = data.getCommentid();if(cList == null || cList.size() == 0){return null;}commentLists.addAll(cList);lastId = dataContainer.getData().getLast();return lastId;}/** * 向指定URL发送GET方法的请求 *  * @param url *            发送请求的URL * @return URL 所代表远程资源的响应结果 */private String sendGet(String requestUrl) {String result = "";BufferedReader in = null;try {URL realUrl = new URL(requestUrl);// 打开和URL之间的连接URLConnection connection = realUrl.openConnection();// 设置通用的请求属性connection.setRequestProperty("accept", "*/*");connection.setRequestProperty("connection", "Keep-Alive");connection.setRequestProperty("user-agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");// 建立实际的连接connection.connect();// 定义 BufferedReader输入流来读取URL的响应in = new BufferedReader(new InputStreamReader(connection.getInputStream()));String line;while ((line = in.readLine()) != null) {result += line;}} catch (Exception e) {System.out.println("发送GET请求出现异常！" + e);e.printStackTrace();}// 使用finally块来关闭输入流finally {try {if (in != null) {in.close();}} catch (Exception e2) {e2.printStackTrace();}}return result;}/** * 从文件中读取数据 */private String readDataFile(String filePath) {File file = new File(filePath);String resultStr = "";try {BufferedReader in = new BufferedReader(new FileReader(file));String str;while ((str = in.readLine()) != null) {resultStr = resultStr + str;}in.close();} catch (IOException e) {e.getStackTrace();}return resultStr;}/** * 写评论到目标文件中 *  * @param resultStr */public void writeStringToFile(ArrayList<Comment> commentList,String desFilePath) {File file;PrintStream ps;try {file = new File(desFilePath);ps = new PrintStream(new FileOutputStream(file));for (Comment c : commentList) {ps.println(c.getTime() + ":" + c.getContent());// 往文件里写入字符串}ps.close();} catch (FileNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}

三大实体类定义：

Comment.java:

package TextMining.crawler.entity;/** * 具体的单条评论类 *  * @author lyq *  */public class Comment {// 代表的是此评论的IDprivate String id;// 评论对应的新闻IDprivate String targetid;// 评论的时间private long time;// 评论的具体内容private String content;// 评论被顶的次数private String up;public String getId() {return id;}public void setId(String id) {this.id = id;}public String getTargetid() {return targetid;}public void setTargetid(String targetid) {this.targetid = targetid;}public long getTime() {return time;}public void setTime(long time) {this.time = time;}public String getContent() {return content;}public void setContent(String content) {this.content = content;}public String getUp() {return up;}public void setUp(String up) {this.up = up;}}

Data.java:

package TextMining.crawler.entity;import java.util.ArrayList;/** * 总评论实体 *  * @author lyq *  */public class Data {// 对应的新闻IDprivate String targetid;// 此新闻的评论总数private int total;// 当前获取数据评论中的首条评论子idprivate String first;// 当前获取数据评论中的末尾评论子idprivate String last;// 判断在此数据后面还有没有评论数据private boolean hasnext;// 具体子评论列表private ArrayList<Comment> commentid;public String getTargetid() {return targetid;}public void setTargetid(String targetid) {this.targetid = targetid;}public int getTotal() {return total;}public void setTotal(int total) {this.total = total;}public String getFirst() {return first;}public void setFirst(String first) {this.first = first;}public String getLast() {return last;}public void setLast(String last) {this.last = last;}public boolean isHasnext() {return hasnext;}public void setHasnext(boolean hasnext) {this.hasnext = hasnext;}public ArrayList<Comment> getCommentid() {return commentid;}public void setCommentid(ArrayList<Comment> commentid) {this.commentid = commentid;}}

DataContainer.java:

package TextMining.crawler.entity;/** * 数据外层包装类 *  * @author lyq *  */public class DataContainer {// 请求回应码private int errCode;// 主题数据类private Data data;public Data getData() {return data;}public void setData(Data data) {this.data = data;}public int getErrCode() {return errCode;}public void setErrCode(int errCode) {this.errCode = errCode;}}

场景测试类Clien.java:

package TextMining.crawler;/** * 腾讯新闻爬虫程序测试类 * @author lyq * */public class Client {public static void main(String[] args){//每次评论请求数量int reqNum;//总评论数int totalCommentCount;//评论的输出路径String outputPath;//腾讯新闻页url链接String newsUrl;QQNewsCrawler crawler;reqNum = 50;totalCommentCount = 100;newsUrl = "http://news.qq.com/a/20150508/004453.htm";outputPath = "C:\\Users\\lyq\\Desktop\\我的毕业设计\\newsComments2.txt";crawler = new QQNewsCrawler(newsUrl, totalCommentCount, reqNum, outputPath);crawler.crawlNewsComments();}}