java抓取网站
来源:互联网 发布:手机内窥镜软件二维码 编辑:程序博客网 时间:2024/05/16 09:11
作业要求:
1.给定一个网站的URL,抓取下整个网站,包括网页、图片等等。
2.对该网站的所有对象进行一个统计,比如链接、图片、按钮等等分别有多少。
我上次提交的
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
public class UrlContent {
public static String getHtmlSource(String url)
{
}
public static void main(String[] args)
{
}
}
一个站还是一个页啊,一个站有千八百页,那还有办法啊.?要从网页的URL取得另一页,另一页又有,.................
URL url;
HttpURLConnection conn=null;
try{
url=new URL("http://baike.baidu.com/view/2125344.htm");
conn=(HttpURLConnection)url.openConnection();
conn.setRequestProperty("Accept-Charset","utf-8");
conn.setRequestProperty("contentType","utf-8");
BufferedReader reader=new BufferedReader(newInputStreamReader(conn
.getInputStream(),"gbk"));
String downloadURL;
StringBuffer sb=new StringBuffer();
while((downloadURL=reader.readLine())!=null){
sb.append(downloadURL);
}
System.out.println(sb.toString());
这样就可以打印出这个网页了,至于里用正则如何替换,找出按钮,图片的,那还得再弄下.
}catch(Exception e){
}finally{
conn.disconnect();
}
- java抓取网站数据
- java 抓取网站数据
- java抓取网站
- Java抓取网站数据
- JAVA抓取网站网页内容
- JAVA抓取网站网页内容
- JAVA抓取网站数据-----JSOUP
- java实现网络爬虫--抓取网站数据
- java 抓取拍拍贷网站数据
- Java版抓取网站妹子图片
- JAVA使用爬虫抓取网站网页内容
- JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片
- JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片
- JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片
- 爬网入门:JAVA抓取网站网页内容
- 爬网入门:JAVA抓取网站网页内容
- java抓取网站数据,存放到Excel中
- 解决:java 抓取网站内容---403(禁止访问代号)
- 算法面试题(3)
- 程序题
- 算法思想**
- 面试题
- 将一个正整数转成二进制
- java抓取网站
- 常用正则表达式例子
- 网络面试题
- 网络面试题2
- 网络面试题3
- 网络面试题4
- 网络面试题5
- 网络
- 一个简单的内存池的实现