wget小技巧

来源:互联网 发布:php自动获取手机号码 编辑:程序博客网 时间:2024/06/08 08:15

0x01安装

For windows

下载[http://www.interlog.com/~tcharron/wgetwin.html]
解压到目录 比如我解压到D:\Tool\wget

添加wget环境变量,这样使用就更方便了,右键计算机->属性->高级系统设置->高级->环境变量->选中PATH->编辑,在最后添加 ;D:\Tool\wget (实际解压路径)
到此安装完成.

For Linux

这里用的是Kali Linux,Linux默认安装了Wget,可以直接使用。
演示下Linux抓取网站的页面,保存至/root目录吧以我的网站:{http://cherishao.com}为列:

Wget -Kali


0x02使用

下载文件

而要让档案自动储存到指令的目录下,则需要借用-P这个参数,可以使用以下的指令

wget -P 目录 网址#举例来说,如果你要放到/root底下,你可以打下列的指令:wget -P /root 网址wget -P D:\xxx.zip http://www.xdown.com/xxx.zipwget -O "D:\xxx.zip" http://www.xdown.com/xxx.zip

用wget下载东西,的确很方便,它会自动重连并断点续传。让人很放心。
经常要下载一个网站或网站的某个目录。
下载一个目录,例如下载网站www.cherishao.com/目录mydir下的所有内容

#命令如下:wget -r -p -k -np -nc -e robots=off http://www.cherishao.com/mydir/如果要想下载整个网站,最好去除-np参数。   wget -r -p -k -nc -e robots=off http://www.cherishao.com/mydir/

参数详解

 1. -r 递归;对于**HTTP**主机,**wget**首先下载**URL**指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递 归深度由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。    2. -c 指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才 需要指定此参数。 3. -nc 不下载已经存在的文件 4. -np 表示不追溯至父目录,不跟随链接,只下载指定目录及子目录里的东西; 5. -p 下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下 载。 6. -k 修复下载文件中的绝对连接为相对连接,这样方便本地阅读 7. -o down.log 记录日记到down.log 8. -e robots=off 忽略robots.txt