Java下载网页代码 & 判断网页是否被百度收录

 

 下载网页代码：

 

/*

 * 输入：要下载的网页URL，该网页编码

 * 输出：被下载网页的源代码内容

 * 需加载：import java.io.*;import java.net.*;

 */

 

转载的，自己也不知道具体是虾米方法实现的

 

public static String getHTML(String pageURL, String encoding) { StringBuilder pageHTML = new StringBuilder(); try { URL url = new URL(pageURL); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("User-Agent", "MSIE 7.0"); BufferedReader br = new BufferedReader(new InputStreamReader(connection.getInputStream(), encoding)); String line = null; while ((line = br.readLine()) != null) { pageHTML.append(line); pageHTML.append("/r/n"); } connection.disconnect(); } catch (Exception e) { e.printStackTrace(); } return pageHTML.toString();}  

 

判断网页是否被百度收录：

 

 

/*

 * 输入：要判断的SERP的内容

 * 输出：网页是否被收录

 */

 

public static boolean ifIndexed(String content) { boolean isIndexed = false; int pos = 0; int pos_2 = 0; pos = content.indexOf("抱歉，没有找到该URL，您可以直接访问"); //没找到URL，但有相关页面 pos_2 = content.indexOf("抱歉，没有找到与"); //没找到任何信息 if (pos==-1 && pos_2==-1) isIndexed = true; return isIndexed; }