windows7 下面安装wget工具和使用详解

Wget 的以一款方便的使用HTTP协议进行文件抓取的工具，在linux下面比较常用，支持以下功能：

1）支持断点下传功能

2）同时支持FTP和HTTP下载方式

3）支持代理服务器

4）设置方便简单；

5）程序小，完全免费；

windows下面安装wget工具

1. 下载安装软件包

URL地址：http://sourceforge.net/projects/gnuwin32/files/wget/1.11.4-1/wget-1.11.4-1-setup.exe

下载后双击安装，全部默认默认安装在C:\Program Files\GnuWin32目录下面

2.设置环境变量

2.1 

在“开始”里面选择“计算机”

2.2 

选择“系统属性”

2.3

选择“高级系统设置”

2.4

选择“环境变量”

2.5 系统环境变量，新建

GNU_HOME=C:\Program Files\GnuWin32
2.6 path添加
;%GNU_HOME%\bin 

点击确定环境变量添加完毕

3. wget测试

3.1 运行cmd后，运行

cd C:\Program Files\GnuWin32\bin进入wget的安装目录

3.2 运行dir *命令可以查看到bin目录下面有wget.exe文件

3.3运行wget  -c www.163.com -O  F:/dest/163index.html

发现最后抓取到了163站点的主页面保存到了F:/dest目录下面，并且重新命名为163index.html

wget命令格式详解：

　　wget [参数列表] [目标软件、网页的网址]

1、启动类参数

　　这一类参数主要提供软件的一些基本信息；

　　-V,--version 显示软件版本号然后退出；
　　-h,--help显示软件帮助信息；
　　-e,--execute=COMMAND 执行一个 “.wgetrc”命令

　　以上每一个功能有长短两个参数，长短功能一样，都可以使用。需要注意的是，这里的-e参数是执行一个.wgettrc的命令，.wgettrc命令其实是一个参数列表，直接将软件需要的参数写在一起就可以了。

　　2、文件处理参数

　　这类参数定义软件log文件的输出方式等；

　　-o,--output-file=FILE 将软件输出信息保存到文件；
　　-a,--append-output=FILE将软件输出信息追加到文件；
　　-d,--debug显示输出信息；
　　-q,--quiet 不显示输出信息；
　　-i,--input-file=FILE 从文件中取得URL；

　　以上参数对于攻击者比较有用，我们来看看具体使用；

例1：下载192.168.1.168首页并且显示下载信息
wget -d http://192.168.1.168

例2：下载192.168.1.168首页并且不显示任何信息
wget -q http://192.168.1.168

例3：下载filelist.txt中所包含的链接的所有文件
wget -i filelist.txt

wget -np -m -l5 http://jpstone.bokee.com //不下载本站所链接的其它站点内容，5级目录结构
3、下载参数

　　下载参数定义下载重复次数、保存文件名等；

　　-t,--tries=NUMBER 是否下载次数（0表示无穷次）
　　-O --output-document=FILE下载文件保存为别的文件名
　　-nc, --no-clobber 不要覆盖已经存在的文件
　　-N,--timestamping只下载比本地新的文件
　　-T,--timeout=SECONDS 设置超时时间
　　-Y,--proxy=on/off 关闭代理

例：下载192.168.1.168的首页并将下载过程中的的输入信息保存到test.htm文件中
wget -o test.htm http://192.168.1.168

4、目录参数

　　目录参数主要设置下载文件保存目录与原来文件（服务器文件）的目录对应关系；

　　-nd --no-directories 不建立目录
　　-x,--force-directories 强制建立目录
　　可能现在我们对这里的目录还不是很了解，我们来看一个举例

例：下载192.168.1.168的首页，并且保持网站结构
wget -x http://192.168.1.168   

　5、HTTP参数

　　HTTP参数设置一些与HTTP下载有关的属性；

　　--http-user=USER设置HTTP用户
　　--http-passwd=PASS设置HTTP密码
　　--proxy-user=USER设置代理用户
　　--proxy-passwd=PASS设置代理密码

　　以上参数主要设置HTTP和代理的用户、密码；

6、递归参数设置

　　在下载一个网站或者网站的一个目录的时候，我们需要知道的下载的层次，这些参数就可以设置；
　　-r,--recursive 下载整个网站、目录（小心使用）
　　-l,--level=NUMBER 下载层次

例：下载整个网站
wget -r http://192.168.1.168

7、递归允许与拒绝选项参数

　　下载一个网站的时候，为了尽量快，有些文件可以选择下载，比如图片和声音，在这里可以设置；

　　-A,--accept=LIST 可以接受的文件类型
　　-R,--reject=LIST拒绝接受的文件类型
　　-D,--domains=LIST可以接受的域名
　　--exclude-domains=LIST拒绝的域名
　　-L,--relative 下载关联链接
　　--follow-ftp 只下载FTP链接
　　-H,--span-hosts 可以下载外面的主机
　　-I,--include-directories=LIST允许的目录
　　-X,--exclude-directories=LIST 拒绝的目录

如何设定wget所使用的代理服务器 
wget可以使用用户设置文件".wgetrc"来读取很多设置，我们这里主要利用这个文件来是 
设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的".wgetrc"文件就起 
作用。例如，"root"用户如果想使用".wgetrc"来设置代理服务器，"/root/.wgetrc"就起 
作用，下面给出一个".wgetrc"文件的内容，读者可以参照这个例子来编写自己的"wgetrc"文件： 
http-proxy = 111.111.111.111:8080 
ftp-proxy = 111.111.111.111:8080 
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第一行指定 
HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。

命令格式：

　　wget [参数列表] [目标软件、网页的网址]

1、启动类参数

　　这一类参数主要提供软件的一些基本信息；

　　-V,--version 显示软件版本号然后退出；
　　-h,--help显示软件帮助信息；
　　-e,--execute=COMMAND 执行一个 “.wgetrc”命令

　　以上每一个功能有长短两个参数，长短功能一样，都可以使用。需要注意的是，这里的-e参数是执行一个.wgettrc的命令，.wgettrc命令其实是一个参数列表，直接将软件需要的参数写在一起就可以了。

　　2、文件处理参数

　　这类参数定义软件log文件的输出方式等；

　　-o,--output-file=FILE 将软件输出信息保存到文件；
　　-a,--append-output=FILE将软件输出信息追加到文件；
　　-d,--debug显示输出信息；
　　-q,--quiet 不显示输出信息；
　　-i,--input-file=FILE 从文件中取得URL；

　　以上参数对于攻击者比较有用，我们来看看具体使用；

例1：下载192.168.1.168首页并且显示下载信息
wget -d http://192.168.1.168

例2：下载192.168.1.168首页并且不显示任何信息
wget -q http://192.168.1.168

例3：下载filelist.txt中所包含的链接的所有文件
wget -i filelist.txt

wget -np -m -l5 http://jpstone.bokee.com //不下载本站所链接的其它站点内容，5级目录结构
3、下载参数

　　下载参数定义下载重复次数、保存文件名等；

　　-t,--tries=NUMBER 是否下载次数（0表示无穷次）
　　-O --output-document=FILE下载文件保存为别的文件名
　　-nc, --no-clobber 不要覆盖已经存在的文件
　　-N,--timestamping只下载比本地新的文件
　　-T,--timeout=SECONDS 设置超时时间
　　-Y,--proxy=on/off 关闭代理

例：下载192.168.1.168的首页并将下载过程中的的输入信息保存到test.htm文件中
wget -o test.htm http://192.168.1.168

4、目录参数

　　目录参数主要设置下载文件保存目录与原来文件（服务器文件）的目录对应关系；

　　-nd --no-directories 不建立目录
　　-x,--force-directories 强制建立目录
　　可能现在我们对这里的目录还不是很了解，我们来看一个举例

例：下载192.168.1.168的首页，并且保持网站结构
wget -x http://192.168.1.168   

5、HTTP参数

　　HTTP参数设置一些与HTTP下载有关的属性；

　　--http-user=USER设置HTTP用户
　　--http-passwd=PASS设置HTTP密码
　　--proxy-user=USER设置代理用户
　　--proxy-passwd=PASS设置代理密码

　　以上参数主要设置HTTP和代理的用户、密码；

6、递归参数设置

　　在下载一个网站或者网站的一个目录的时候，我们需要知道的下载的层次，这些参数就可以设置；
　　-r,--recursive 下载整个网站、目录（小心使用）
　　-l,--level=NUMBER 下载层次

例：下载整个网站
wget -r http://192.168.1.168

7、递归允许与拒绝选项参数

　　下载一个网站的时候，为了尽量快，有些文件可以选择下载，比如图片和声音，在这里可以设置；

　　-A,--accept=LIST 可以接受的文件类型
　　-R,--reject=LIST拒绝接受的文件类型
　　-D,--domains=LIST可以接受的域名
　　--exclude-domains=LIST拒绝的域名
　　-L,--relative 下载关联链接
　　--follow-ftp 只下载FTP链接
　　-H,--span-hosts 可以下载外面的主机
　　-I,--include-directories=LIST允许的目录
　　-X,--exclude-directories=LIST 拒绝的目录

如何设定wget所使用的代理服务器 
wget可以使用用户设置文件".wgetrc"来读取很多设置，我们这里主要利用这个文件来是 
设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的".wgetrc"文件就起 
作用。例如，"root"用户如果想使用".wgetrc"来设置代理服务器，"/root/.wgetrc"就起 
作用，下面给出一个".wgetrc"文件的内容，读者可以参照这个例子来编写自己的"wgetrc"文件： 
http-proxy = 111.111.111.111:8080 
ftp-proxy = 111.111.111.111:8080 
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第一行指定 
HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。