HttpClient使用例子:读取CSDN的投票列表并正则解析

这个属于前一个例子的实际应用版本，用来读取真实的页面并进行正则解析

1. package com.laozizhu.apache.httpclient;
3. import java.net.Socket;
4. import java.util.regex.Matcher;
5. import java.util.regex.Pattern;
7. import org.apache.http.ConnectionReuseStrategy;
8. import org.apache.http.HttpHost;
9. import org.apache.http.HttpResponse;
10. import org.apache.http.HttpVersion;
11. import org.apache.http.impl.DefaultConnectionReuseStrategy;
12. import org.apache.http.impl.DefaultHttpClientConnection;
13. import org.apache.http.message.BasicHttpRequest;
14. import org.apache.http.params.BasicHttpParams;
15. import org.apache.http.params.HttpParams;
16. import org.apache.http.params.HttpProtocolParams;
17. import org.apache.http.protocol.BasicHttpContext;
18. import org.apache.http.protocol.BasicHttpProcessor;
19. import org.apache.http.protocol.ExecutionContext;
20. import org.apache.http.protocol.HttpContext;
21. import org.apache.http.protocol.HttpRequestExecutor;
22. import org.apache.http.protocol.RequestConnControl;
23. import org.apache.http.protocol.RequestContent;
24. import org.apache.http.protocol.RequestExpectContinue;
25. import org.apache.http.protocol.RequestTargetHost;
26. import org.apache.http.protocol.RequestUserAgent;
27. import org.apache.http.util.EntityUtils;
29. /**
30.  * HttpClient使用例子:读取CSDN的所有投票状态
31.  * 
32.  * @author 老紫竹(java2000.net)
33.  */
34. public class HttpGet {
35.   public static void main(String[] args) throws Exception {
37.     HttpParams params = new BasicHttpParams();
38.     // HTTP 协议的版本,1.1/1.0/0.9
39.     HttpProtocolParams.setVersion(params, HttpVersion.HTTP_1_1);
40.     // 字符集
41.     HttpProtocolParams.setContentCharset(params, "UTF-8");
42.     // 伪装的浏览器类型
43.     // IE7 是
44.     // Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)
45.     //
46.     // Firefox3.03
47.     // Mozilla/5.0 (Windows; U; Windows NT 5.2; zh-CN; rv:1.9.0.3)
48.     // Gecko/2008092417 Firefox/3.0.3
49.     //
50.     HttpProtocolParams.setUserAgent(params, "HttpComponents/1.1");
51.     HttpProtocolParams.setUseExpectContinue(params, true);
53.     BasicHttpProcessor httpproc = new BasicHttpProcessor();
55.     httpproc.addInterceptor(new RequestContent());
56.     httpproc.addInterceptor(new RequestTargetHost());
58.     httpproc.addInterceptor(new RequestConnControl());
59.     httpproc.addInterceptor(new RequestUserAgent());
60.     httpproc.addInterceptor(new RequestExpectContinue());
62.     HttpRequestExecutor httpexecutor = new HttpRequestExecutor();
64.     HttpContext context = new BasicHttpContext(null);
65.     HttpHost host = new HttpHost("vote.csdn.net", 80);
67.     DefaultHttpClientConnection conn = new DefaultHttpClientConnection();
68.     ConnectionReuseStrategy connStrategy = new DefaultConnectionReuseStrategy();
70.     context.setAttribute(ExecutionContext.HTTP_CONNECTION, conn);
71.     context.setAttribute(ExecutionContext.HTTP_TARGET_HOST, host);
72.     System.out.println("<table>");
73.     try {
74.       // 这个85是因为目前有85页，如果有更多的页，需要手工修改或者传参数进来
75.       for (int i = 1; i <= 85; i++) {
76.         if (!conn.isOpen()) {
77.           Socket socket = new Socket(host.getHostName(), host.getPort());
78.           conn.bind(socket, params);
79.         }
80.         BasicHttpRequest request = new BasicHttpRequest("GET",
81.             "http://vote.csdn.net/VoteList.aspx?page=" + i);
83.         context.setAttribute(ExecutionContext.HTTP_REQUEST, request);
84.         request.setParams(params);
85.         httpexecutor.preProcess(request, httpproc, context);
86.         HttpResponse response = httpexecutor.execute(request, conn, context);
87.         response.setParams(params);
88.         httpexecutor.postProcess(response, httpproc, context);
90.         // 返回码
91.         if (response.getStatusLine().getStatusCode() != 200) {
92.           break;
93.         }
94.         parseData(EntityUtils.toString(response.getEntity()));
95.         if (!connStrategy.keepAlive(response, context)) {
96.           conn.close();
97.         }
98.       }
99.     } finally {
100.       conn.close();
101.     }
102.     System.out.println("</table>");
103.   }
105.   static final Pattern p = Pattern
106.       .compile(
107.           "<h4>.*?<a href=.*?voteid=(//d+)/">(.*?)</a></h4>.*?发起人：<a href=.*?>(.*?)</a>.*?<a href=.*?>(//d+) 人投票</a>",
108.           Pattern.DOTALL);
110.   /**
111.    * 解析页面，得到投票编号，题目，发起人和参与人数
112.    * 
113.    * @param msg
114.    */
115.   public static void parseData(String msg) {
116.     String[] parts = msg.split("div class=/"kimi_modifysty/">");
117.     Matcher m;
118.     for (String s : parts) {
119.       m = p.matcher(s);
120.       if (m.find()) {
121.         System.out.println("<tr><td>" + m.group(1)
122.             + "</td><td><a href='http://vote.csdn.net/VotePost.aspx?voteid=" + m.group(1) + "'>"
123.             + m.group(2).replace(",", "，") + "</a></td><td>" + m.group(3) + "</td><td>"
124.             + m.group(4) + "</td></tr>");
125.       }
126.     }
127.   }
128. }