Linux下Java语言实现简陋Web爬虫
来源:互联网 发布:mysql float 精度 编辑:程序博客网 时间:2024/06/14 00:42
import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.Socket;
import java.net.UnknownHostException;
public class WebCrawler {
private static String Text_File_Path = "/home/zms/htmldoc/htmldoc1.html";
//运行前最好先建立此目录和文件,用于存放爬取的页面内容
public static void main(String[] args) {
// TODO Auto-generated method stub
try {
File file = new File(Text_File_Path);
FileWriter fpWriter = new FileWriter(file);
//生成下载对象
Socket webclient = new Socket("www.woodpecker.org.cn",80);
PrintWriter result = new PrintWriter(webclient.getOutputStream(),true);
BufferedReader receiver = new BufferedReader(new InputStreamReader(webclient.getInputStream()));
//发送Http请求
result.println("GET / HTTP/1.1");
result.println("Host:localhost");
result.println("Connection: Close");
result.println();
//接收HTTP返回的消息
boolean bRet = true;
StringBuffer sb = new StringBuffer(8096);
while(bRet){
if(receiver.ready()){
int idx = 0;
while(idx != -1){
idx = receiver.read();
if(idx == '<')
break;
}
while(idx != -1){
sb.append((char)idx);
idx = receiver.read();
}
bRet = false;
}
}
//显示获得网页的正文,打印到控制台
System.out.println(sb.toString());
fpWriter.write(sb.toString());
webclient.close();
fpWriter.close();
} catch (UnknownHostException e) {
System.err.println("无法访问您指定的主机。");
e.printStackTrace();
System.exit(1);
} catch (IOException e) {
System.err.println("下载失败,请检查输入地址是否正确。");
e.printStackTrace();
System.exit(1);
}
}
}
- Linux下Java语言实现简陋Web爬虫
- java语言实现网络爬虫
- 简陋的分布式爬虫
- 简陋回合战斗实现。
- Java开源Web爬虫
- Java语言实现的简单网络爬虫复习
- 如何使用Java语言实现一个网页爬虫
- linux下爬虫larbin
- [linux]linux下部署java web项目
- 拉勾网爬虫-python语言实现
- Java实现网络爬虫
- java实现网络爬虫
- JAVA实现网络爬虫
- Java实现网络爬虫
- java多线程爬虫实现
- java实现网络爬虫
- Java开源Web爬虫种类
- Linux下简易web服务器实现
- SQL开发笔记
- 计算机启动过程详解
- java常见异常
- TCP/IP应用选型
- 如何使用apache mod_proxy和Tomcat搭建基于SSL的loadbalance集群环境
- Linux下Java语言实现简陋Web爬虫
- Linux常用命令
- 简单的socket编程
- Validator验证框架
- 最长递增子序列 LIS
- 系统分析师的修养
- SQL左联接
- Tips for SAP rollout project
- 缓存的选型