{{Shell}}复制或镜像整个网站
来源:互联网 发布:人工智能打破行业界限 编辑:程序博客网 时间:2024/05/21 08:45
本文的目的就是告诉你如何像爬虫一样以递归的方式收集网页上所有的URL链接,并逐个下载,这样我们就能下载整个网站所有的页面。
当然,我们不会空手去屠龙,我们需要一点小道具,她就是wget.(wget有很多强大的选项,用法非常灵活,请大家自己wget --help下)
要实现这个任务,可以按照下面的方式使用选项--mirror:
或者
wget -r -N -l DEPTH url
其中,-l 指定页面层级DEPTH,即wget只会向下遍历指定的页面级数。这个选项要与 -r 一同使用。另外 -N 允许对文件使用时间戳,url 表示下载的网站起始地址。
- {{Shell}}复制或镜像整个网站
- 制作整个网站镜像的shell脚本
- wget下载整个网站或目录
- wget 下载整个网站或目录
- wget下载整个网站或目录
- Oracle_镜像复制
- 复制进程镜像
- 快照 镜像 复制
- 利用API函数SHFileOperation复制或删除整个目录
- excel2007中怎样移动或复制整个单元格区域
- 使用wget下载整个网站或目录【转】
- 网站架构:镜像
- 镜像网站
- wget 镜像网站
- BZOJ 网站镜像
- 镜像网站
- 镜像网站
- 镜像网站
- C++ memory Leak
- return break continue exit的区别
- 点关于直线的对称点
- Java栈与堆
- Linux下SSH免密码登录
- {{Shell}}复制或镜像整个网站
- Eclipse快捷键大全
- JAVA中的传递都是值传递吗?有没有引用传递呢?
- mysql导入数据库文件最大限制更改解决方法
- 高内聚低耦合
- py2exe下载
- Proteus的所有元件分类及子类
- 整合Spring 3.1.1 + mybatis +struts2.3.4 jar包 记录
- 面向对象分析与设计--OOAD