JAVA/JSP学习系列之十一(简单的“抓网页”代码)
来源:互联网 发布:淘宝上下架分析软件 编辑:程序博客网 时间:2024/05/22 08:12
一、前言
从一个网站上,看到一个“抓网页”的代码,觉得有点意思,但是没有提供源代码,于是,自己想写一个,其实代码比较简单的。
二、代码
<%@ page contentType="text/html;charset=gb2312"%>
<%
String sCurrentLine;
String sTotalString;
sCurrentLine="";
sTotalString="";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.163.net/");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null)
{
sTotalString+=sCurrentLine;
}
out.println(sTotalString);
%>
三、后记
虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。
从一个网站上,看到一个“抓网页”的代码,觉得有点意思,但是没有提供源代码,于是,自己想写一个,其实代码比较简单的。
二、代码
<%@ page contentType="text/html;charset=gb2312"%>
<%
String sCurrentLine;
String sTotalString;
sCurrentLine="";
sTotalString="";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.163.net/");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null)
{
sTotalString+=sCurrentLine;
}
out.println(sTotalString);
%>
三、后记
虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。
- JAVA/JSP学习系列之十一(简单的“抓网页”代码)
- jsp“抓”网页代码的程序
- JSP“抓”网页代码的程序
- python 简单的抓网页
- 使用JAVA Get POST 抓网页的练习代码
- Java开发学习笔记之十一:开始JSP之旅
- JAVA/JSP学习系列之三(Resin+Apache的安装)
- JAVA/JSP学习系列之三(Resin+Apache的安装)
- JAVA/JSP学习系列之三(Resin+Apache的安装)
- jsp学习的简单代码(一)
- jsp学习的简单代码(一)
- jsp学习的简单代码(一)
- jsp学习的简单代码(一)
- jsp学习的简单代码(二)
- jsp学习的简单代码(二)
- jsp学习的简单代码(二)
- jsp学习的简单代码(二)
- jsp学习的简单代码(二)
- JAVA/JSP学习系列之七(Orion下自定义Tag)
- 试了一下Blog
- JAVA/JSP学习系列之八(改写MySQL翻页例子)
- JAVA/JSP学习系列之九(理解构造器)
- JAVA/JSP学习系列之十(JavaMail API发邮件[servlet])
- JAVA/JSP学习系列之十一(简单的“抓网页”代码)
- JakartaCommons:巧用类和组件2
- JAVA/JSP学习系列之十二(JSP生成jpeg图片用于投票)
- JAVA/JSP学习系列之十三(Applet调用JavaScript函数)(译)
- JAVA/JSP学习系列之十四(JavaScript改变Applet状态)(译)
- Jakarta Commons:巧用类和组件1 (1)
- 关于DELPHI的指针
- Jakarta Commons:巧用类和组件1 (2)
- Jakarta Commons:巧用类和组件1 (3)