java/android抓取网页(含js)内容…
来源:互联网 发布:知源中学易孟祥 编辑:程序博客网 时间:2024/05/17 02:03
原文链接:http://blog.csdn.net/zgyulongfei/article/details/7909006
有时候由于种种原因,我们需要采集某个网站的数据,但由于不同网站对数据的显示方式略有不同!
本文就用Java给大家演示如何抓取网站的数据:(1)抓取原网页数据;(2)抓取网页Javascript返回的数据。
一、抓取原网页。
这个例子我们准备从http://ip.chinaz.com上抓取ip查询的结果:
第一步:打开这个网页,然后输入IP:111.142.55.73,点击查询按钮,就可以看到网页显示的结果:
第二步:查看网页源码,我们看到源码中有这么一段:
从这里可以看出,查询的结果,是重新请求一个网页之后显示的。
再看看查询之后的网页地址:
也就是说,我们只要访问形如这样的网址,就可以得到ip查询的结果,接下来看代码:
- public
void captureHtml(String ip) throws Exception { -
String strURL = "http://ip.chinaz.com/?IP=" + ip; -
URL url = new URL(strURL); -
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); -
InputStreamReader input = new InputStreamReader(httpConn -
.getInputStream(), "utf-8"); -
BufferedReader bufReader = new BufferedReader(input); -
String line = ""; -
StringBuilder contentBuf = new StringBuilder(); -
while ((line = bufReader.readLine()) != null) { -
contentBuf.append(line); -
} -
String buf = contentBuf.toString(); -
int beginIx = buf.indexOf("查询结果["); -
int endIx = buf.indexOf("上面四项依次显示的是"); -
String result = buf.substring(beginIx, endIx); -
System.out.println("captureHtml()的结果:\n" + result); - }
public void captureHtml(String ip) throws Exception { String strURL = "http://ip.chinaz.com/?IP=" + ip; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf-8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) { contentBuf.append(line); } String buf = contentBuf.toString(); int beginIx = buf.indexOf("查询结果["); int endIx = buf.indexOf("上面四项依次显示的是"); String result = buf.substring(beginIx, endIx); System.out.println("captureHtml()的结果:\n" + result);}使用HttpURLConnection连接网站,用bufReader保存网页返回的数据,然后通过自定义的一个解析方式将结果显示出来。
这里我只是随便的解析了一下,要解析的非常准确的话自己需再处理。
解析结果如下:
captureHtml()的结果:
查询结果[1]: 111.142.55.73 ==>>1871591241 ==>> 福建省漳州市移动</strong><br/>
二、抓取网页JavaScript返回的结果。
有时候网站为了保护自己的数据,并没有把数据直接放在网页源码中返回,而是采用异步的方式,用JS返回数据,这样可以避免搜索引擎等工具对网站数据的抓取。
首先看一下这个网页:
用第一种方式查看该网页的源码,却没有发现该运单的跟踪信息,因为它是通过JS的方式获取结果的。
但有时候我们很需要获取到JS的数据,这个时候要怎么办呢?
这个时候我们需要用到一个工具:HTTPAnalyzer,这个工具可以截获Http的交互内容,我们通过这个工具来达到我们的目的。
首先点击Start按钮之后,它就开始监听网页的交互行为了。
我们打开网页:http://www.kiees.cn/sf.php ,可以看到HTTPAnalyzer列出了所有该网页的请求数据以及结果:
为了更方便的查看JS的结果,我们先清空这些数据,然后再网页中输入快递单号:107818590577,点击查询按钮,然后查看HTTPAnalyzer的结果:
这个就是点击查询按钮之后,HTTP Analyzer的结果,我们继续查看:
从上面两幅图中可以看出,HTTP Analyzer可以截获JS返回的数据,并在ResponseContent中显示,同时可以看到JS请求的网页地址。
既然如此,我们只要分析HTTPAnalyzer的结果,然后模拟JS的行为就可获取到数据,即我们只要访问JS请求的网页地址来获取数据,当然前提是这些数据是没有经过加密的,我们记下JS请求的URL:http://www.kiees.cn/sf.php?wen=107818590577&channel=&rnd=0
然后让程序去请求这个网页的结果即可!
下面是代码:
- public
void captureJavascript(String postid) throws Exception { -
String strURL = "http://www.kiees.cn/sf.php?wen=" + postid -
+ "&channel=&rnd=0"; -
URL url = new URL(strURL); -
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); -
InputStreamReader input = new InputStreamReader(httpConn -
.getInputStream(), "utf-8"); -
BufferedReader bufReader = new BufferedReader(input); -
String line = ""; -
StringBuilder contentBuf = new StringBuilder(); -
while ((line = bufReader.readLine()) != null) { -
contentBuf.append(line); -
} -
System.out.println("captureJavascript()的结果:\n" + contentBuf.toString()); - }
public void captureJavascript(String postid) throws Exception { String strURL = "http://www.kiees.cn/sf.php?wen=" + postid + "&channel=&rnd=0"; URL url = new URL(strURL); HttpURLConnection httpConn = (HttpURLConnection) url.openConnection(); InputStreamReader input = new InputStreamReader(httpConn .getInputStream(), "utf-8"); BufferedReader bufReader = new BufferedReader(input); String line = ""; StringBuilder contentBuf = new StringBuilder(); while ((line = bufReader.readLine()) != null) { contentBuf.append(line); } System.out.println("captureJavascript()的结果:\n" + contentBuf.toString());}看到了吧,抓取JS的方式和前面抓取原网页的代码一模一样,我们只不过做了一个分析JS的过程。
下面是程序执行的结果:
captureJavascript()的结果:
<divclass="results"><divid="ali-itu-wl-result"class="ali-itu-wl-result"><h2class="logisTitle">运单<spanclass="mail-no">【107818590577】</span>的跟踪信息</h2><divclass="trace_result"><ul><li><spanclass="time">2012-07-1615:46:00</span><spanclass="info">已收件</span></li><li><spanclass="time">2012-07-1616:03:00</span><spanclass="info">快件在 广州\t,准备送往下一站广州集散中心</span></li><li><spanclass="time">2012-07-1619:33:00</span><spanclass="info">快件在 广州集散中心,准备送往下一站佛山集散中心</span></li><li><spanclass="time">2012-07-1701:56:00</span><spanclass="info">快件在 佛山集散中心\t,准备送往下一站佛山</span></li><li><spanclass="time">2012-07-1709:41:00</span><spanclass="info">正在派件..</span></li><li><spanclass="time">2012-07-1711:28:00</span><spanclass="info">派件已签收</span></li><li><spanclass="time">2012-07-1711:28:00</span><spanclass="info">签收人是:已签收</span></li></ul><div></div></div></div>
这些数据就是JS返回的结果了,我们的目的达到了!
希望本文能够对需要的朋友有一点帮助,需要程序源码的,请点击这里下载
- java/android抓取网页(含js)内容…
- JAVA 抓取网页内容
- 【JAVA】 抓取网页内容
- JAVA 抓取网页内容
- java 抓取网页内容
- java抓取网页内容
- java网页抓取内容
- java抓取网页内容
- JAVA 抓取网页内容
- Java抓取网页内容
- Java抓取网页内容
- js网页内容抓取分析
- java 抓取 https 网页内容
- JAVA抓取网站网页内容
- JAVA抓取网站网页内容
- java抓取全部网页内容
- 抓取网页中指定节点的内容(java版本)
- java爬虫(使用jsoup设置代理,抓取网页内容)
- 消息称新款MacBook导致苹果供应链…
- Hadoop
- 世界上最快的集群机“RoadRun…
- CPU+GPU:高性能计算到桌面
- ORACLE数据库的逻辑备份分为三种模…
- java/android抓取网页(含js)内容…
- JAVA for循环的几种写法。
- 如何区分Linux下的几种终端类型:tty、pty和pts
- java 学习日记1
- Liferay CE6.1安装手册(win版)
- android猜数字游戏
- 饭店点餐系统之模块划分
- 饭店点餐系统之系统网络结构
- 饭店点餐系统之系统工作流程