wget网站镜像下载

来源：互联网发布：知不足然后能自反也编辑：程序博客网时间：2024/04/29 20:12

1、镜像方式下载整个网站

#wget -m http://www.example.com/

如果发现Not following http://www.example/a/ because robots.txt forbids it.Decided NOT to load it.

原来是robots.txt协议要求的，对于这种君子协议

#wget -m -e robots=off http://www.example.com/

另外有些网站也会禁止wget之类agent下载，我们也可以伪装一下，下面是一个比较完美的镜像大杀器语句：

#wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6″ "http://www.example.com/"

以上这种对url rewrite的网站是无用的。

2、下载目录

#wget -r -np -nd http://example.com/packages/

3、下载指定扩展名文件

#wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

api

0 0