毕业设计简述

鉴于京东淘宝的前端设计禁止爬虫的抓取，准备制作一个非常缩水的系统来应付毕业，老天保佑后添加的中文分词器不捅娄子。

先简要列出系统操作流程，再详细分析每一步实现所需进行的工作。

我们的目的是找到电子商务网站上某商品的用户评价中，与我们输入的检测文档相似性最高的那条评价信息，以此来识别出某类用户。（我们假设刷评价的用户使用的评价语言都差不多，那我们输入一段标准刷评价评论，系统就能够找到目前商品中与该评论的说话方式类似的一条评价，以此来识别出”骗子“）所以系统需要两类信息，一个是系统外输入进去的”检测文档“，另一个是电商网站上的”评论信息“。问题的关键是获取某商品的所有”评论信息“。

困难出现了。按照老师的设想，用户只需要提交想要分析的网站顶级url即可，比如www.jd.com而无需自己寻找到某个特定商品的url，以此来分析京东所有的商品。但是京东的网站采用的是AJAX？（ajax能够完全避开nutch爬虫的抓取，每一页商品的评价信息都是在用户点击页码按钮之后，服务器推送过来，但是进入新页面之后浏览器中该页面的url不变。所有的评论都是#comments形式存在，这样nutch是无法抓取到页面信息，也就无法进行后续查询。）无奈只好利用京东网站上url的规律来依次生成每一页商品评价的url，以此获取信息。也就是说，最终的毕设只分析一个商品，而不是京东网站上所有的商品。

为了得到某个商品的评论，首先要确定的是我们要分析哪个商品

用户提交要抓取的商品评价URL，例如某一个乐扣保鲜盒：http://club.jd.com/review/560573-0-1-0.html 

好，现在该商品的所有评论信息我们都能定位了，我们下一步需要将网页html语言写就的商品评论信息从标签和其他干扰信息中解放出来，获取纯粹的商品评论。比较好的解决方法便是将这些信息导入数据库中。

分析一下，我们需要如下几个数据库：

商品，Product（product_id,product_name,product_url）

用户，User（user_id,user_name,user_role,user_url） user_role是会员级别，级别文字有该链接 http://help.360buy.com/help/question-57.html               

用户评论，Discussion（discuss_id,discuss_content,discuss_url,product_id,user_id,purchase_date）由商品id和用户id共同确定一个discussion，这里有评价的具体内容

得到discuss_content之后，使用MoreLikeThis算法找到与测试文档相似的discuss_content（及其对应的用户）

下面我们要做的是，如何得到这三个关键的数据库信息。

对于Product，product_id是最容易获取的信息，在该链接中http://club.jd.com/review/560573-0-1-0.html  560573即为这个保鲜盒的product_id。原理如老师的代码中Environment.parseProjName()方法

//从Url中获得该网页所属项目  public static String parseProjName(String url){  int inameStart = url.indexOf("//");   int inameMid = url.indexOf(".", inameStart+2);  int inameEnd = url.indexOf(".", inameMid+1);    if ((inameStart < inameMid)&&(inameMid<inameEnd)){ if (url.substring(inameMid+1,inameEnd).equalsIgnoreCase("codeplex")){//如果该url的第二个单词是codeplex，说明该网页来自codeplex，此时第一个单词为项目名return url.substring(inameStart+2, inameMid).trim().toLowerCase(); } else return null;  }  else  return null;  }

todotask-1 parseProdID(string url);

http://club.jd.com/review/560573-0-1-0.html中截取"review/"与”-0“之前的”560573“，即为product_id。（product_name似乎意义不大，暂时搁置）

product_url也需要进行拼凑产生，例如：http://item.jd.com/560573.html有了product_id之后，该url比较容易产生。（是否进一步获取该商品名？比如”乐扣乐扣礼盒装2件套LLG214S001“）

  对于User数据库各信息的获取，参考以下代码。

按照老师代码的思想，我们的处理流程是这样的：输入项目名称（product_id），用标准分析器分析一下“url”文件找到评价页面（代码中为讨论页面hits），在这个页面中找到“金牌会员”等role的位置，利用外链todotask-2 找到user的信息

 对该链接进行分析http://club.jd.com/userreview/27276113-1-1.html，27276113即为user_id，该url即为user_url。而user_name，user_role问题与Product中商品名问题一样待确认。而user_url是抓取到的页面代码中有的url，可以获取到。

public static boolean ParaseProjUser(String proj_name,int proj_id) {         try {      QueryParser queryParser = new QueryParser("url", new StandardAnalyzer());        Query query = queryParser.parse(proj_name+" AND team AND view");    //此处的team和view应该换为“club review？！”（京东全部商品评价的第37页url： http://club.jd.com/review/560573-0-37-0.html）      Hits hits = searcher.search(query);        if (hits.length()>0) {         Document doc = hits.doc(0);                 HitDetails detail = new HitDetails(doc.getField("segment").stringValue(),doc.getField("url").stringValue());              String pagecontent = segments.getParseText(detail).getText();//得到内容                           int iCoordinators = pagecontent.indexOf("Coordinators");//这些东西对应到我们系统里都是商品的买家卖家，无特别意义              int iDevelopers = pagecontent.indexOf("Developers");              int iEditors = pagecontent.indexOf("Editors");              int iFollower = pagecontent.indexOf("Follower");                            Outlink[] outlink=segments.getParseData(detail).getOutlinks();//是否要识别出“金牌银牌会员”等待定，似乎有一定困难              for(int j=0; j<outlink.length;j++){            //System.out.println(outlink[j].getToUrl()+":"+outlink[j].getAnchor());              String usrname = outlink[j].getAnchor();              if (outlink[j].getToUrl().indexOf("site/users/view")>0){              Fields fd = new Fields();              fd.add("user_name", usrname);              fd.add("user_url", outlink[j].getToUrl());              User usr = new User(fd);              Fields fd1 = new Fields();              fd1.add("user_id", usr.getUserID());              fd1.add("proj_id", proj_id);              int iusrname = pagecontent.indexOf(usrname);              if ((iusrname>iCoordinators)&&(iusrname<iDevelopers))              fd1.add("part_role", "Coordinators");              else if (iusrname<iEditors)              fd1.add("part_role", "Developers");              else if (iusrname<iFollower)              fd1.add("part_role", "Editors");              else              fd1.add("part_role", "Followers");              Participant part = new Participant(fd1);              }              }//end for j              return true;      }//end if      else       return false;      }//end try       catch (Exception ex) {          ex.printStackTrace();          return false;      }//end catch    }//end ParaseProjuser

对于Discussion（discuss_id,discuss_content,discuss_url,product_id,user_id,purchase_date）问题较多。

discuss_id,尚未想好是否需要此字段

        discuss_content,问题的关键，建立此数据库的主要目的为获取该信息。

discuss_url,例子比如：http://club.jd.com/repay/560573_fd4854bb-691f-4ac3-a1e8-1a0554201952_1.html 此链接中含有商品id，但url规律很难识别，此url无法通过拼凑方式产生。但是该url在页面呈现形式是日期，也就是锚文本。是否可以利用锚文本获得url？与user数据库的建立问题一直，即Outlink问题，需要研究。

        product_id,该信息可以从product数据库中获取

user_id,同样可以获取到

purchase_date，为discuss的url中的锚文本，目前也存在这个问题，即页面上的信息是否能定点抓取到？

对于content，参考老师的代码 ParaseProjDisc(Document doc)啊该代码部分示例如下，原文较长属于nutchparsediscuss类

//下面的代码插入一个讨论序列                  fd3 = new Fields();                  fd3.add("disc_id", disc.getDiscID());                  fd3.add("user_id", userid);                  fd3.add("discpart_seq", discseq);                  if(endIndex>beginIndex)                   strcontent=pagecontent.substring(beginIndex, endIndex);                  else                  strcontent="";                  if (strcontent.length()>9999)                  strcontent = strcontent.substring(1, 9999);                  //strcontent=strcontent.replaceAll("[\\\"\']", " ");                  fd3.add("discpart_content", strcontent);                  //System.out.println(pagecontent.substring(timebeginIndex, beginIndex));                  latestdate=Enviroment.DiscussDate(new String(pagecontent.substring(timebeginIndex, beginIndex).getBytes(),"UTF-8"),latestdate);                  fd3.add("discpart_date", latestdate);                  DiscPart dscp = new DiscPart(fd3,true);                  discseq++;                //上面的的代码插入一个讨论序列

获取完所有的数据库之后，对discuss进行索引（content部分），详见indexDiscussion

int totalrows = ExecuteStmt.Gettablerows("discpart");System.out.println("开始生成Discussion的索引，开始于："+Enviroment.GetSystemDateTime());System.out.println(totalrows);for (int i=0;i<=totalrows/1000;i++){fds = ExecuteStmt.getResultset("Select * from discpart limit "+i*1000+","+(i+1)*1000+";");//sql limit 如果给定两个参数，第一个参数指定第一个返回记录行的偏移量，第二个参数指定返回记录行的最大数目。初 始记录行的偏移量是 0(而不是 1)for(int j=0;j<1000;j++){Document doc = new Document();// Field Text(String name, String value, boolean storeTermVector)doc.add(new Field("discpart_id",String.valueOf(fds[j].getValuebyName("discpart_id")),Field.Store.YES, Field.Index.NO));doc.add(new Field("disc_id",String.valueOf(fds[j].getValuebyName("disc_id")),Field.Store.YES, Field.Index.NO));doc.add(new Field("user_id",String.valueOf(fds[j].getValuebyName("user_id")),Field.Store.YES, Field.Index.NO));doc.add(new Field("discpart_seq",String.valueOf(fds[j].getValuebyName("discpart_seq")),Field.Store.YES, Field.Index.NO));doc.add(new Field("discpart_date",String.valueOf(fds[j].getValuebyName("discpart_date")),Field.Store.YES, Field.Index.NO));doc.add(new Field("discpart_content",String.valueOf(fds[j].getValuebyName("discpart_content")),Field.Store.YES, Field.Index.ANALYZED,Field.TermVector.YES));writer.addDocument(doc);}//end for j

到此处，基本工作已经完毕，只剩下输入测试文档来寻找相似评价了。

问题多多唉