继续深入HttpClient,用HttpClient+HtmlParser打造网络小偷程序

 前两天，由于防盗链，接触到HttpClient这个包，后来加点需求，做一个网页小偷程序试试看，花了一天时间，终于有所斩获。所需技术：HttpClient,HttpParser.

其中，HttpClient主要做的工作是获取html数据，而HttpParser主要是解释html，从中来获取我们有需要的那部分。

1。准备工作：

 搭建环境，

  httpClient4.0 开发包

 httpParser2.0开发包

 common-logging.jar

 

2。懒得搞那么复杂，通过程序说话吧。。以下是程序代码，在代码中说话吧：

package com.fun;import java.util.ArrayList;import java.util.Collection;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import org.apache.http.Header;import org.apache.http.HttpResponse;import org.apache.http.NameValuePair;import org.apache.http.client.HttpClient;import org.apache.http.client.ResponseHandler;import org.apache.http.client.entity.UrlEncodedFormEntity;import org.apache.http.client.methods.HttpGet;import org.apache.http.client.methods.HttpPost;import org.apache.http.impl.client.BasicResponseHandler;import org.apache.http.impl.client.DefaultHttpClient;import org.apache.http.message.BasicNameValuePair;import org.apache.http.protocol.HTTP;import org.htmlparser.Node;import org.htmlparser.Parser;import org.htmlparser.filters.AndFilter;import org.htmlparser.filters.HasAttributeFilter;import org.htmlparser.filters.HasChildFilter;import org.htmlparser.filters.NodeClassFilter;import org.htmlparser.filters.TagNameFilter;import org.htmlparser.tags.InputTag;import org.htmlparser.tags.Span;import org.htmlparser.util.NodeList;/** * * @author Beacher.Ma * */public class HtmlParserTest {/** * @param args *//** * 为了简单起见，所有异常全部抛出，在开发中应根据需求catch代码，在此只作DEMO演示。 */public static void main(String[] args) throws Exception {//建立一个链接HttpClient httpclient = new DefaultHttpClient();/*首先说说我要登录的这个站点的情况，该网站是一个.net的站点，站点的验证码并不是生成的图片，而是生成在页面的数字。如果是图片的话，还得麻烦分析验证码中的数字或字母呢。 所以，我第一步的工作是，将这个登录页生成的静态页面拿到本地，读取该登录页面生成的验证码，和所需的valueState值，.net的登录似乎都会有这么一个valueState值，我们就用这种方式读取*///人道点，不能把这个网站打出来n_n //HttpClient4.0较之前的3.0的版本有很大的变化，作GET方式链接 3.0我们用GetMethod 4.0改用HttpGet//HttpClient还有个链接状态，它可定义 如果链接不上怎么处理,等情况 HttpGet get = new HttpGet("http://www.xxx.com/uPassport.aspx"); //定义Response的“回调类” 这样叫不科学，我是这么理解的， 呵呵 ResponseHandler<String> responseHandler = new BasicResponseHandler();//responseBody返回的是该链接的所有静态页面String responseBody = httpclient.execute(get, responseHandler);//System.out.println(responseBody);//我的的解释器出场，parser可以用setURL()方法解析一个页面Parser parser = new Parser(responseBody);// parser.setURL("http://www.56a88.com/uPassport.aspx");//HtmlParser的filter很好用，它可以套用filter 你可以理解为我们的逻辑运算符一样//至于HtmlParser解释这些filter篇幅很长，下面我放一些关于Htmlparser的学习资料在后面//像这个网站，它的html代码是这样的/*<tr> <td align="right">验证码：</td> <td> <input name="TextBox3" type="text" id="TextBox3" style="font-size:Medium;width:40px;" /> <span id="Label1" style="display:inline-block;color:#000FFF;font-family:Arial;font-size:Medium;font-weight:bold;width:42px;">7207</span></td> </tr>*/ //我这里用的是AndFilter 下面三行代码的意思是 过滤 span标签中 id为 Label1的span//获取得：<span id="Label1" style="display:inline-block;color:#000FFF;font-family:Arial;font-size:Medium;font-weight:bold;width:42px;">7207</span>NodeClassFilter ncf = new NodeClassFilter(Span.class);HasAttributeFilter haf = new HasAttributeFilter("id", "Label1");AndFilter af = new AndFilter(ncf, haf);NodeList list = parser.parse(af);//然后解析出这串数字出来Node node = list.elementAt(0);//验证码String code = node.toPlainTextString().trim();System.out.println("验证码：" + code);parser.reset();// viewState也是按上面这个方法来做。ncf = new NodeClassFilter(InputTag.class);haf = new HasAttributeFilter("id", "__VIEWSTATE");af = new AndFilter(ncf, haf);list = parser.parse(af);node = list.elementAt(0);InputTag it = (InputTag) node;String viewState = it.getAttribute("value").trim();System.out.println("viewState:" + viewState);parser.reset();// EVENTVALIDATIONncf = new NodeClassFilter(InputTag.class);haf = new HasAttributeFilter("id", "__EVENTVALIDATION");af = new AndFilter(ncf, haf);list = parser.parse(af);node = list.elementAt(0);it = (InputTag) node;String validation = it.getAttribute("value").trim();System.out.println("validation:" + validation); //找完form要的所有数据，后我们用post方法连接HttpPost post = new HttpPost("http://www.xxx.com/uPassport.aspx"); //以下是form的所有要提交的数据NameValuePair nvp1 = new BasicNameValuePair("__EVENTTARGET", "");NameValuePair nvp2 = new BasicNameValuePair("__EVENTARGUMENT", "");NameValuePair nvp3 = new BasicNameValuePair("__LASTFOCUS", "");NameValuePair nvp4 = new BasicNameValuePair("__VIEWSTATE", viewState);NameValuePair nvp5 = new BasicNameValuePair("__EVENTVALIDATION",validation);NameValuePair nvp6 = new BasicNameValuePair("txtUser", "yourname");NameValuePair nvp7 = new BasicNameValuePair("txtPwd", "yourpassword");NameValuePair nvp8 = new BasicNameValuePair("rdoUserType", "0");NameValuePair nvp9 = new BasicNameValuePair("TextBox3", code);NameValuePair nvp10 = new BasicNameValuePair("btnLogin", "登录");List<NameValuePair> nvps = new ArrayList<NameValuePair>();nvps.add(nvp1);nvps.add(nvp2);nvps.add(nvp3);nvps.add(nvp4);nvps.add(nvp5);nvps.add(nvp6);nvps.add(nvp7);nvps.add(nvp8);nvps.add(nvp9);nvps.add(nvp10);//设置post的传送方式post.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));HttpResponse res = httpclient.execute(post);//成功后，在response中获得当前成功跳转的urlHeader[] header = res.getHeaders("location");System.out.println(header[0].getValue());System.out.println("=====登陆成功===================");post.abort();//借数据开始，借数不算偷---孔乙己//httpClient会为我们自动保存cookie，（前人说的，没有验证）我们之间转到要借数据的页面Map<Integer,List> datas=new HashMap();int step=0;List<String> finish;double total=0D;//先拿100条吧，为演示所用while(step<=100){Long time1=System.currentTimeMillis();get = new HttpGet("http://www.xxxx.com/member/xxx_disp"+(118115+step)+".html");String data = httpclient.execute(get, responseHandler);Parser parser2 = new Parser(data);// af = new AndFilter(ncf);//这里要拿什么数，就自己决定咯....ncf = new NodeClassFilter(Span.class);TagNameFilter taf = new TagNameFilter("B");HasChildFilter hcf = new HasChildFilter(taf);af = new AndFilter(ncf, hcf);list = parser2.parse(af);finish = new ArrayList<String>();for (int i = 1; i < list.size(); i++) {Node temp = list.elementAt(i);String txt = (temp.getChildren().elementAt(2).toPlainTextString()).trim();if (txt.length() > 0) {finish.add(txt);}}datas.put(step, finish);finish=null;Long time2=System.currentTimeMillis();Long useTime=time2-time1;Double pessen=useTime/1000D;System.out.println("已加入第"+(step+1)+"条数据，用时："+pessen+"秒！");++step;}System.out.println("共搜集了："+datas.size()+"条数据！");System.out.println("共用时："+total+"秒");}}

 

 

总结，上述只是个简单的例子。我们可以先求实现然后再来完善，如处理多线程取数，断线或404时的考虑 等。。。

 

HtmlParser参考资料：

    打开：www.google.com 搜：HtmlParser 回车 n_n