【原型】根据url将目标网页打包成mht

来源：互联网发布：算法工程师笔试题目编辑：程序博客网时间：2024/06/04 22:08

其流程是这样的

1：根据URL获取目标网页HTML
2：剔除脚本
3：提取图片地址，仅处理http开头的地址
4：处理原HTML，把原来的img src内容替换掉，对给一个id标示，为后面的脚本服务
5：抓如图片，并处理成base64编码，组合成xmp文件头
6：组合HTML代码，保存成物理文件

这只是个原型，实际上要真正完整抓取，还要解析html中的css文件，js文件。
还有路径处理，我这里只处理了http开头的完整url，相对路径也是需要处理的。

本文的JS来源于下帖中的98楼：
http://topic.csdn.net/u/20100127/14/A961DF9A-34A1-44F1-9F9A-C10A4D168736.html

下面是原型函数：

/// <summary> /// 将url对应的网页保存成mht文件 /// </summary> /// <param name="url1">目标地址</param> /// <returns>返回一个图片地址列表字串</returns> public string getRemotePage(string url1) { ////创建代理服务器设置对象的实例（如果使用代理服务器的话） //System.Net.WebProxy wp = new System.Net.WebProxy("IP:PORT"); ////代理服务器需要验证 //wp.BypassProxyOnLocal = false; ////用户名密码 //wp.Credentials = new NetworkCredential("USERNAME", "PWAASORD"); ////将代理服务器设置对象赋予全局设定 //System.Net.GlobalProxySelection.Select = wp; System.Net.WebClient wc = new System.Net.WebClient(); Byte[] pageData = wc.DownloadData(url1); string PageHTML = System.Text.Encoding.Default.GetString(pageData); string oneImage=""; string AllImages = ""; string MHTHeader = ""; string MHTJS = ""; string MHTJSCommon = ""; int i; int z=0; System.Text.RegularExpressions.MatchCollection m; //对页面脚本进行初步过滤 PageHTML = Regex.Replace(PageHTML, @"(<mce:script)[^<]*(<//script></mce:script> "; //页面整体HTML代码不变化，在前后各增加一段代码 PageHTML = MHTHeader + "/n" + PageHTML + "/n" + MHTJSCommon + "/n<mce:script type="text/javascript"></mce:script>"; //不用非是mht,htm同样可以 FileInfo finfo = new FileInfo("D://" + DateTime.Now.Ticks.ToString() + ".htm"); //以打开或者写入的形式创建文件流 using (FileStream fs = finfo.OpenWrite()) { //根据上面创建的文件流创建写数据流 StreamWriter sw = new StreamWriter(fs, System.Text.Encoding.GetEncoding("GB2312")); //把新的内容写到创建的HTML页面中 sw.Write(PageHTML); sw.Flush(); sw.Close(); } return AllImages; }