Java实现抓取百度识图结果的实现和思路-2-Json的处理

上一篇文章的断点传输以后再讲_(:зゝ∠)_，先讲讲json的处理

什么是json？？？举个例子

似乎短了点，如果用昨天的postURL案例得到的网址去访问的话，也可能会得到类似的结果，不过真实情况是会有结果链接、特征码和图片链接的，怎么会没有呢？

因为复制黏贴直接去访问的话，是没有设置请求头User-Agent的，而服务器会根据请求头，决定是否要对其请求进行处理

设置请求头的方法在前面的教程已经说过了:

httpPost post=new Post(链接);post.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 LBBROWSER");

当然也可以用它来设置其他的请求头！

还有下面才是有加请求头才能得到的完整JSON！

{"errno":0,"errmsg":"","data":{

"querySign":"671742422,3099122694",

"imageUrl":"http:\/\/g.hiphotos.baidu.com\/image\/pic\/item\/8601a18b87d6277f00a269b322381f30e824fc8d.jpg",

"pageUrl":"http:\/\/image.baidu.com\/n\/pc_search?rn=30&appid=0&tag=1&isMobile=0&queryImageUrl=

http%3A%2F%2Fg.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F8601a18b87d6277f00a269b322381f30e824fc8d.jpg&

querySign=671742422%2C3099122694&uptype=upload_pc&fromProduct=&productBackUrl="},"extra":[]}

这里帮大家分行了，其实真是情况是没有换行的！

好了准备开始正片：

怎么解析json？

两个方案：

1.正则表达式

2..网上已经实现好的Json解析的Jar包

推荐选1，Json解析包挺难用的，如果是大神的话，就选Json解析包，后面有个玩意真心难搞......后面再说_(:зゝ∠)_

package EII;import java.util.Vector;import java.util.regex.Matcher;import java.util.regex.Pattern;public class regExp {/** * 匹配单个字符串 * @param json * @param reg * @return */public static String matcher(String json,String reg){        Pattern pattern = Pattern.compile(reg);          Matcher m = pattern.matcher(json);          while (m.find()) {          return m.group();        }        return "";}/** * 匹配多个不重复的字符串 * @param json * @param reg * @return */public static Vector<String> matcherSet(String json,String reg){Vector<String> ends=new Vector<>(); Pattern pattern = Pattern.compile(reg);          Matcher m = pattern.matcher(json);          while (m.find()) {          String str=m.group();        if(ends.indexOf(str)==-1)        ends.add(str);        }    return ends;}/** * 匹配多个重复的字符串 * @param json * @param reg * @return */public static Vector<String> matcherList(String json,String reg){Vector<String> ends=new Vector<>(); Pattern pattern = Pattern.compile(reg);          Matcher m = pattern.matcher(json);          while (m.find()) {          String str=m.group();        ends.add(str);        }    return ends;}}

json是需要处理的字符串

reg是模板

大多数情况，用下面这个模板就可以了

  字符串1.+?\\字符串2

结果就是:字符串1***************************字符串2

至少我是这样子的_(:зゝ∠)_

package EII;import java.io.BufferedReader;import java.io.File;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.util.Vector;import org.apache.http.client.ClientProtocolException;import org.apache.http.client.methods.HttpGet;public class jsonDispose {public static void main(String[] args) throws ClientProtocolException, IOException {getAllE(upLoad.upload(new File("C:\\Users\\Administrator\\Desktop\\0df431adcbef76096709930527dda3cc7cd99e2d.jpg")));}public static Vector<String> getAllE(String json) throws ClientProtocolException, IOException{//long l=new Date().getTime();json=json.replace("\\", "");Vector<String> allE=new Vector<>();String pageUrl=getpageUrl(json);String queryImageUrl=getQueryImageUrl(json);String querySign=getQuerySign(json);pageUrl=pageUrl.substring(0,pageUrl.length()-1);queryImageUrl=queryImageUrl.substring(0,queryImageUrl.length()-1);querySign=querySign.substring(0,querySign.length()-1);allE.add(pageUrl);allE.add(queryImageUrl);allE.add(querySign);String htmlSrc=new String();InputStream is=downLoad.client.execute(new HttpGet(pageUrl)).getEntity().getContent();BufferedReader br = new BufferedReader(new InputStreamReader(is, "utf-8"));char[] c=new char[2048];while (br.read(c)!=-1) {htmlSrc+=new String(c);}br.close();is.close();//System.out.println(htmlSrc);allE.add(getKey(htmlSrc));//System.out.println(getKey(htmlSrc));//System.out.println(new Date().getTime()-l);return allE;}public static String getpageUrl(String json){return regExp.matcher(json, "\"pageUrl\":\".+?\\\"").substring(11);}public static String getQueryImageUrl(String json){return regExp.matcher(json, "\"imageUrl\":\".+?\\\"").substring(12);}public static String getQuerySign(String json){return regExp.matcher(json, "\"querySign\":\".+?\\\"").substring(13);}private static String neetKey(String pageUrlSrc){return regExp.matcher(pageUrlSrc, "a class=\"guess-info-word-link guess-info-word-highlight\".+?\\<");}private static String getNeetKey(String neetKey){return neetKey.substring(neetKey.indexOf(">")+1, neetKey.length()-1);}public static String getKey(String pageUrlSrc) throws UnsupportedOperationException, ClientProtocolException, IOException{String wordKey=regExp.matcher(pageUrlSrc, "'guessWord': '.+?\\'");boolean b=wordKey.equals("'guessWord': ''.split('");if(b){return getNeetKey(neetKey(pageUrlSrc));}else{return wordKey.substring(14, wordKey.length()-1);}}}

获取到结果连接也就是pageUrl后，用get请求连接，就可以得到网页结果，不过，在数据量太大的情况会可能会出现数据断层的情况，所以搞好断点传输

顺带一说里面是有关键词的，那个也要获取，一共有两种

第一种是关键词，用getKey就可以获取关键词，不过在某些情况下是找不到的，例如用图片链接去post......，之后就要用第二种了

第二种是类似于近似关键词，也就是getNeetKey去获取，类似于百度搜索结果的；你是不是要找xxx？

打算在后面几期整理下源码_(:зゝ∠)_