定时抓取网页,并保存到指定文件
来源:互联网 发布:fsockopen php超时 编辑:程序博客网 时间:2024/06/15 07:18
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.IO;
using System.Net;
namespace Capture
{
public partial class Form1 : Form
{
public Form1()
{
InitializeComponent();
}
Timer timer1 = new Timer();
private void Form1_Load(object sender, EventArgs e)
{
}
private void btnStop_Click(object sender, EventArgs e)
{
timer1.Stop();
//Application.Exit();
}
private void btnStart_Click(object sender, EventArgs e)
{
timer1.Interval = int.Parse(txtInter.Text.Trim()) * 1000;
timer1.Tick += new EventHandler(timer1_Tick);
timer1.Start();
}
private void timer1_Tick(object sender, EventArgs e)
{
string DirName = "";
string DirPath = txtDir.Text.ToString();
string CapUrl = txtUrl.Text.Trim();
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(new Uri(CapUrl));
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
StreamReader str = new StreamReader(webResponse.GetResponseStream(), Encoding.GetEncoding("gb2312"));
string fileName = txtDir.Text.ToString().Substring(txtDir.Text.ToString().LastIndexOf("//") + 1);
//判断选择的文件夹后面是否有文件名,如果没有则把所抓取网页的文件名加在所选的文件夹后面
if (fileName == "" || !fileName.Contains(".html") || !fileName.Contains(".htm"))
{
string URLName = CapUrl.Substring(CapUrl.LastIndexOf("/") + 1);
DirPath +="//"+URLName;
}
DirName = txtDir.Text.ToString().Substring(0, txtDir.Text.ToString().Length - fileName.Length);
if (!Directory.Exists(DirName))
{
Directory.CreateDirectory(DirName);
}
using (FileStream fs = new FileStream(DirPath, FileMode.Create))
{
// 创建一个StreamWriter对象,使用UTF-8编码格式
using (StreamWriter writer = new StreamWriter(fs, Encoding.GetEncoding("gb2312")))
{
writer.Write(str.ReadToEnd());
writer.Close();
}
}
str.Close();
webResponse.Close();
}
//用folderBrowserDialog控件选择文件夹,必须先加一个按钮控件做为浏览按钮,一个
// 文本框控件用于保存选择的文件夹路径
private void btnBrowse_Click(object sender, EventArgs e)
{
if (folderBrowserDialog1.ShowDialog() == DialogResult.OK)
{
txtDir.Text = folderBrowserDialog1.SelectedPath;
}
}
}
}
- 定时抓取网页,并保存到指定文件
- 抓取远程文件并保存到本地
- nodejs抓取网页的源码,并保存到本地文件
- python抓取网页中图片并保存到本地
- python抓取网页中图片并保存到本地
- 抓取网页并存储在指定的文件中
- Java Jsoup抓取符合指定大小的网页的图片,并保存在本地磁盘
- log4j输出日志到指定文件并定时备份
- log4j输出日志到指定文件并定时备份
- libcurl抓取网页并保存cookie
- java 抓取网页图片并保存
- Python抓取网页并保存为PDF
- c#创建xml文件并保存到指定位置
- 利用WGET下载文件,并保存到指定目录
- php下载文件并保存到指定文件夹
- 利用WGET下载文件,并保存到指定目录
- 从指定网络地址获取已知文件并保存到指定位置-指定文件名字和类型
- MFC中怎样把抓取到的位图保存到指定文件中
- 天使的翅膀最爱
- symbian对话框总结-标准对话框
- 查找该目录下指定文件类型的用 vc 6.0 编写 的关于文件搜索的例子
- JOJ 1198: Risk
- 关于SO_DONTROUTE套接口选项的说明
- 定时抓取网页,并保存到指定文件
- 我们的博客
- 客户端验证函数,作用:例如判定复选框必须至少有一个被选中才可以提交
- LINQ查询代码整理(一)
- facebook::thrift--安装
- Snmp4j编程简介之二:PDU
- poj1459最高标号预流推进算法解题报告
- Snmp4j编程简介之一
- 什么是 SNMP 和 MIB什么是 SNMP 和 MIB