Java 读取HTML页面源代码工具类

 以前抓淘宝数据和抓取优酷、土豆的源视频地址的时候需要通过IO流获取它们的HTML的源代码，为了方便所以写了这个工具类。

 

package com.hanyastar.util;import java.io.BufferedInputStream;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.MalformedURLException;import java.net.URL;import java.net.URLConnection;import com.hanyastar.exception.HanyaException;import com.hanyastar.exception.HanyaToolsException;/** * HTML操作工具类。 * @author Belen * @since 2013/05/25 */public abstract class HTMLUtils {/** * 通过BufferedInputStream,根据URL获取页面的源代码（源代码转化成小写字母返回）. *  * @param url *            url地址 * @param encode *            编码 如果encode为空,则以GBK形式转换.  * @return 页面源代码 * @author Belen * @throws HanyaException  */public static String getHtml2(String url, String encode)throws HanyaException {if(url == null)throw new HanyaToolsException("url",new NullPointerException("url"));if(encode == null){encode = "GBK";}StringBuffer html = new StringBuffer();String result = null;URLConnection conn = null;BufferedInputStream in = null;try {URL u = new URL(url);conn = u.openConnection();conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; NT 5.1; GTB5; .NET CLR 2.0.50727; CIBA)");// 设置连接主机超时（单位：毫秒）conn.setConnectTimeout(30000);// 设置从主机读取数据超时（单位：毫秒） conn.setReadTimeout(30000); in = new BufferedInputStream(conn.getInputStream());String inputLine;byte[] buf = new byte[4096];int bytesRead = 0;while (bytesRead >= 0) {inputLine = new String(buf, 0, bytesRead, "ISO-8859-1");html.append(inputLine);bytesRead = in.read(buf);inputLine = null;}buf = null;result = new String(html.toString().trim().getBytes("ISO-8859-1"),encode).toLowerCase();} catch (MalformedURLException e) {throw new HanyaException(e);} catch (IOException e) {throw new HanyaException(e);} finally {try {if (in != null) {in.close();}if (conn != null) {conn = null;}} catch (IOException e) {throw new HanyaException(e);}}return result;}/** * 通过ByteArrayOutputStream,根据URL获取页面的源代码（HTML源代码返回）. *  * @param url * @param encode 以encode编码类型转换数据,如果encode为空,则以GBK形式转换.  * @return * @throws HanyaException  */public static String getHtml(String url,String encode) throws HanyaException{if(url == null)throw new HanyaToolsException("url",new NullPointerException("url"));if(encode == null){encode = "GBK";}InputStream in = null;ByteArrayOutputStream bos = null;try {URL u = new URL(url);HttpURLConnection httpConn = (HttpURLConnection) u.openConnection();// 设置user agent确保系统与浏览器版本兼容HttpURLConnection.setFollowRedirects(true);    httpConn.setRequestMethod("GET");     httpConn.setRequestProperty("User-Agent","Mozilla/4.0 " +    "(compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)");in = u.openStream();// 设置连接主机超时（单位：毫秒）httpConn.setConnectTimeout(30000);// 设置从主机读取数据超时（单位：毫秒） httpConn.setReadTimeout(30000); int length = 0;bos = new ByteArrayOutputStream();         while((length = in.read()) != -1) {          bos.write(length);         bos.flush();        }        in.close();return new String(bos.toByteArray(),encode);} catch (MalformedURLException e) {throw new HanyaException(e);} catch (IOException e) {throw new HanyaException("流处理失败。"+e);} finally{try {if(in != null){in.close();}if(bos != null){bos.close();}} catch (IOException e) {throw new HanyaException(e);}}}}

获取网站的网页源码时，一般网站都有访问次数限制，也就是说如果发现一个IP多次访问他们的网站，一般都会在几分钟内限制你的IP，所以：

1、可以使用动态更换IP的方式来获取，但更换IP后获取源码的速度相对会降低。

2、也可以弄一个定时器或线程睡眠下，如果获取失败定时器将自动启动，定时5分钟后在继续访问，从而提高成功率。

以前帮一个公司弄一些淘宝数据，按他们的要求抓取一些数据从而生成报表，这些数据都是通过多次访问而组装起来的。

所以每一组数据大概需要请求淘宝10次左右，大概有20多万条数据，一共就需要请求超过200多万次。

一般情况下3分钟内同一IP请求淘宝的数据超过3000次就会限制你的IP（估计）。淘宝会在5分钟后解除限制，这时候我采用以上第二种方式就解决了这个问题。