java HtmlParser 抓取信息

      最近百度Hi积分8000多了，想用积分换点礼品，但是发现礼品的库存老是0，所以萌发了一个写程序实现查看百度礼品库存的功能。下面的代码将实现定时从网页中截取相关信息。需要类库：htmlparser1_6 的htmlparser.jar下载地址：http://sourceforge.net/projects/htmlparser/files/htmlparser/

RefreshTask.javapackage com.wenjx.assist;import java.util.Date;import java.util.HashSet;import java.util.Iterator;import java.util.Set;import java.util.TimerTask;import org.htmlparser.NodeFilter;import org.htmlparser.Parser;import org.htmlparser.filters.NodeClassFilter;import org.htmlparser.tags.Div;import org.htmlparser.tags.LinkTag;import org.htmlparser.util.NodeList;import org.htmlparser.util.ParserException;public class RefreshTask extends TimerTask{public RefreshTask() {super();}public static String getGiftInfo(String url) throws ParserException{String result = url;String temp="";NodeFilter filter = new NodeClassFilter(Div.class);Parser parser = new Parser();parser.setURL(url);parser.setEncoding(parser.getEncoding());NodeList list = parser.extractAllNodesThatMatch(filter);for (int i = 0; i < list.size(); i++) {Div node = (Div) list.elementAt(i);String tempName=node.getAttribute("id");if("giftIntroWrap".equals(tempName)){  result+=node.toPlainTextString();  break;}}String [] strs=result.split("/n");for(String str:strs ){if(!("".equals(str))&&!(" ".equals(str)))temp+=str+"; ";}System.out.println(temp);return temp;}@Overridepublic void run() {NodeFilter filter = new NodeClassFilter(LinkTag.class);Parser parser = new Parser();try {parser.setURL("http://im.baidu.com/wealth/gift.php");parser.setEncoding(parser.getEncoding());NodeList list = parser.extractAllNodesThatMatch(filter);Set linkSet=new HashSet();for (int i = 0; i < list.size(); i++) {LinkTag node = (LinkTag) list.elementAt(i);String tempLink=node.extractLink();if(tempLink.contains("giftid=")){linkSet.add(node.extractLink());}}System.out.println("------------------------"+new Date()+"---------------------------------");getGiftInfo(linkSet);System.out.println();} catch (ParserException e) {// TODO Auto-generated catch blocke.printStackTrace();}}public static String getGiftInfo(Set set) throws ParserException{Iterator ir=set.iterator();while(ir.hasNext()){getGiftInfo((String) ir.next());}return null;}}

BaiduHi.javapackage com.wenjx.test;import java.util.Timer;import com.wenjx.assist.RefreshTask;public class BaiduHi {public static void main(String[] args) {long delay;try {delay=Long.parseLong(args[0]);   //程序参数Timer timer=new Timer();timer.schedule(new RefreshTask(),0,delay); //定时执行程序}catch(NumberFormatException e){System.out.println("参数格式错误！");}  }}

 运行时要指定参数，下图是在eclipse中制定参数的方法：

程序输出结果为：

------------------------Mon Mar 14 14:55:00 CST 2011---------------------------------
http://im.baidu.com/wealth/detail.php?giftid=42; 礼品名称:ooh Dear钻石礼物网购物券; 原积分：500; 现积分：300; 库存：98个;
http://im.baidu.com/wealth/detail.php?giftid=26; 礼品名称:百度Hi卡包; 原积分：3000; 现积分：2800; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=35; 礼品名称:百度文库10个财富值; 原积分：300; 现积分：200; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=41; 礼品名称:ooh Dear钻石礼物网购物券; 原积分：1500; 现积分：800; 库存：25个;
http://im.baidu.com/wealth/detail.php?giftid=27; 礼品名称:百度棒球帽; 原积分：4000; 现积分：3800; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=40; 礼品名称:可爱手枕; 原积分：2600; 现积分：2500; 库存：0个;
http://im.baidu.com/wealth/detail.php?giftid=32; 礼品名称:可口可乐艺术瓶单只; 原积分：2800; 现积分：2000; 库存：0个;

    哎，库存老是零，悲剧。程序暂时写成这个样子，用eclipse导出jar格式，然后在命令行中运行(写一个bat文件)。命令为：java -jar BaiduHi.jar 300000 >>log.txt 这样每隔5分钟，程序就会去网页上截取最新的信息，并写到log.txt文件中。我打算让程序运行几天，然后再看看log.txt文件，看看为什么礼品的库存老是0。