wget, 一个强大的下载命令

1wget常用参数如下  GNU Wget ，一个非交谈式的网路抓档工具. 

　　用法: wget [选项]... [URL]... 
　　命令的引数使用长项目与短项目相同. 

  　启动: 
　　-V, --version显示Wget的版本并且离开. 
　　-h, --help显示这个说明档. 
　　-b, -background在启动之後跳到背景去. 
　　-e, -execute=COMMAND执行一个`.wgetrc'里面的COMMAND指令. 

　　纪录档与输入的档案: 
　　-o, --output-file=FILE纪录讯息到FILE去. 
　　-a, -append-output=FILE增加讯息到FILE去. 
　　-d, --debug显示除错的输出. 
　　-q, --quiet安静模式(不输入任何讯息). 
　　-v, --verbose冗长模式(这是内定值). 
　　-nv, --non-verbose关闭verboseness,但不是安静模式. 
　　-i, --input-file=FILE从FILE读取URL . 
　　-F, --force-html把输入的档案当作HTML. 

　　下载: 
　　-t, --tries=NUMBER设定重复尝试NUMBER次(0是无限制). 
　　-O --output-document=FILE把文件写到FILE里. 
　　-nc, --no-clobber不破坏已经存在的档案. 
　　-c, --continue重新取得一个已经存在的档案. 
　　--dot-style=STYLE设定取回状况的显示风格. 
　　-N, --timestamping不取回比本地旧的档案. 
　　-S, --server-response显示伺服器回应状况. 
　　--spider不下载任何东西. 
　　-T, --timeout=SECONDS设定读取时超过的时间为SECONDS秒. 
　　-w, --wait=SECONDS在取回档案时等待SECONDS秒. 
　　-Y, --proxy=on/off开启或关闭Proxy. 
  　-Q, --quota=NUMBER设定取回档案的定额限制为NUMBER个. 

　　目录: 
　　-nd --no-directories不建立目录. 
　　-x, --force-directories强制进行目录建立的工作. 
　　-nH, --no-host-directories不建立主机的目录. 
　　-P, --directory-prefix=PREFIX把档案存到PREFIX/... 
　　--cut-dirs=NUMBER忽略NUMBER个远端的目录元件. 

　　HTTP选项: 
　　--http-user=USER设http使用者为USER. 
　　--http0passwd=PASS设http使用者的密码为PASS. 
　　-C, --cache=on/off提供/关闭快取伺服器资料(正常情况为提供). 
　　--ignore-length忽略`Content-Length'标头栏位. 
　　--proxy-user=USER设USER为Proxy使用者名称. 
　　--proxy-passwd=PASS设PASS为Proxy密码. 
　　-s, --save-headers储存HTTP标头成为档案. 
　　-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作为识别代号. 

　　FTP选项: 
　　--retr-symlinks取回FTP的象徵连结. 
　　-g, --glob=on/off turn file name globbing on ot off. 
　　--passive-ftp使用"passive"传输模式. 

　　使用递回方式的取回: 
　　-r, --recursive像是吸入web的取回--请小心使用!. 
　　-l, --level=NUMBER递回层次的最大值(0不限制). 
　　--delete-after删除下载完毕的档案. 
　　-k, --convert-links改变没有关连的连结成为有关连. 
　　-m, --mirror开启适合用来映射的选项. 
　　-nr, --dont-remove-listing不要移除`.listing'档. 

　　递回式作业的允许与拒绝选项: 
　　-A, --accept=LIST允许的扩充项目的列表. 
　　-R, --reject=LIST拒绝的扩充项目的列表. 
　　-D, --domains=LIST允许的网域列表. 
　　--exclude-domains=LIST拒绝的网域列表(使用逗号来分隔). 
　　-L, --relative只跟随关联连结前进. 
　　--follow-ftp跟随HTML文件里面的FTP连结. 
　　-H, --span-hosts当开始递回时便到外面的主机. 
　　-I, --include-directories=LIST允许的目录列表. 
　　-X, --exclude-directories=LIST排除的目录列表. 
　　-nh, --no-host-lookup不透过DNS查寻主机. 
　　-np, --no-parent不追朔到起源目录. 

　　范例一：mirror一个网站
　　wget -r www.redhat.com 

   

作者：horn1 

  

 

2005-4-5 17:28 　 回复此发言  

 

---

2wget常用参数如下  　　范例二：mirror一个网站下的某个目录：
　　wget -r www.redhat.com/mirrors/LDP

------------------------------------------------------------------

语法: 

    wget [options] [URL-list] 
URL地址格式说明:可以使用如下格式的URL: 
    ::URL::http://host [ort]/path 
例如: 
    ::URL::http://fly.cc.fer.hr/  
    ::URL::ftp://ftp.xemacs.org/pub/xemacs/xemacs-19.14.tar.gz  
    ::URL::ftp://username assword@host/dir/file  
在最后一种形式中，以URL编码形式为FTP主机提供了用户名和密码（当然，也可以使 
用参数提供该信息，见后）。 

参数说明： 

wget的参数较多，但大部分应用只需要如下几个常用的参数： 
    -r    递归；对于HTTP主机，wget首先下载URL指定的文件，然后（如果该文件是 
    一个HTML文档的话）递归下载该文件所引用（超级连接）的所有文件（递归深度 
    由参数-l指定）。对FTP主机，该参数意味着要下载URL指定的目录中的所有文件， 
    递归方法与HTTP主机类似。 

    -N    时间戳：该参数指定wget只下载更新的文件，也就是说，与本地目录中的对 
    应文件的长度和最后修改日期一样的文件将不被下载。 

    -m    镜像：相当于同时使用-r和-N参数。 

    -l    设置递归级数；默认为5。-l1相当于不递归；-l0为无穷递归；注意，当递 
    归深度增加时，文件数量将呈指数级增长。 

    -t     设置重试次数。当连接中断（或超时）时，wget将试图重新连接。如果指 
    定-t0，则重试次数设为无穷多。 

    -c    指定断点续传功能。实际上，wget默认具有断点续传功能，只有当你使用别 
    的ftp工具下载了某一文件的一部分，并希望wget接着完成此工作的时候，才需要 
    指定此参数。 

使用举例： 
    wget -m -l4 -t0 ::URL::http://oneweb.com.cn/  
将在本地硬盘建立::URL::http://oneweb.com.cn/ 的镜像，镜像文件存入当前目录下一个名为 
oneweb.com.cn的子目录中（你也可以使用-nH参数指定不建立该子目录，而直接在当前 
目录下建立镜像的目录结构），递归深度为4，重试次数为无穷（若连接出现问题， 
wget将坚韧不拔地永远重试下去，直到任务完成！） 

另外一些使用频率稍低的参数如下： 
    -A acclist / -R rejlist： 
这两个参数用于指定wget接受或排除的文件扩展名，多个名称之间用逗号隔开。例如， 
假设我们不想下载MPEG视频影像文件和.AU声音文件，可使用如下参数： 
    -R mpg,mpeg,au 

其它参数还有： 
    -L     只扩展相对连接，该参数对于抓取指定站点很有用，可以避免向宿主主机 
    的其他目录扩散。例如，某个人网站地址为：::URL::http://www.xys.org/~ppfl/，使用  
    如下命令行： 
    wget -L ::URL::http://www.xys.org/~ppfl/  
    则只提取该个人网站，而不涉及主机www.xys.org上的其他目录。 

    -k    转换连接：HTML文件存盘时，将其中的非相对连接转换成为相对连接。 

    -X    在下载FTP主机上的文件时，排除若干指定的目录 

另外，下面参数用于设置wget的工作界面： 
    -v    设置wget输出详细的工作信息。 
    -q    设置wget不输出任何信息。 

如果我们已经在一个HTML文档（或普通文本文档）中存储了所要提取的文件的连接， 
可以让wget直接从该文件中提取信息，而不用在命令行中提供URL地址，参数格式为： 
    -i filename 
地址文件也可以不是HTML文档，例如，一个普通的文本文件，其中有需要下载的URL列 
表即可。 
我们可以用以下技巧提高下载速度：由于Linux是一个多任务系统，我们可以同时运行 
多个wget进程以提高下载速度，例如，先下载某主页文件（index.html），然后将该 
文件所列出的所有地址分别用一个独立的wget进程进行下载。 
   

作者：horn1 

  

 

2005-4-5 17:28 　 回复此发言  

 

---

3wget常用参数如下  
至于其他的参数，可参考wget的man手册页，命令为： 
    man wget 


bb_sun 发表于 >2005-1-18 15:31:20 保存该日志到本地 [全文] [评论] [引用] [推荐] [档案] [推给好友]

2005-1-18
wget使用详解 [转]

      wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。它有以下功能和特点： 

　　（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了； 
　　（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用HTTP方式下载，但是，有些时候，仍然需要使用FTP方式下载软件； 
　　（3）支持代理服务器；对安全强度很高的系统而言，一般不会将自己的系统直接暴露在互联网上，所以，支持代理是下载软件必须有的功能； 
　　（4）设置方便简单；可能，习惯图形界面的用户已经不是太习惯命令行了，但是，命令行在设置上其实有更多的优点，最少，鼠标可以少点很多次，也不要担心是否错点鼠标； 
　　（5）程序小，完全免费；程序小可以考虑不计，因为现在的硬盘实在太大了；完全免费就不得不考虑了，即使网络上有很多所谓的免费软件，但是，这些软件的广告却不是我们喜欢的； 




    wget虽然功能强大，但是使用起来还是比较简单的，基本的语法是：wget [参数列表] URL。下面就结合具体的例子来说明一下wget的用法。
    1、下载整个http或者ftp站点。
    wget ::URL::http://place.your.url/here
    这个命令可以将::URL::http://place.your.url/here  首页下载下来。使用-x会强制建立服务器上一模一样的目录，如果使用-nd参数，那么服务器上下载的所有内容都会加到本地当前目录。

    wget -r ::URL::http://place.your.url/here
     这个命令会按照递归的方法，下载服务器上所有的目录和文件，实质就是下载整个网站。这个命令一定要小心使用，因为在下载的时候，被下载网站指向的所有地址同样会被下载，因此，如果这个网站引用了其他网站，那么被引用的网站也会被下载下来！基于这个原因，这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层，那么使用-l 2。

    要是您想制作镜像站点，那么可以使用－m参数，例如：wget -m ::URL::http://place.your.url/here
    这时wget会自动判断合适的参数来制作镜像站点。此时，wget会登录到服务器上，读入robots.txt并按robots.txt的规定来执行。

    2、断点续传。
    当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。wget的断点续传是自动的，只需要使用-c参数，例如：
    wget -c ::URL::http://the.url.of/incomplete/file
    使用断点续传要求服务器支持断点续传。-t参数表示重试次数，例如需要重试100次，那么就写-t 100，如果设成-t 0，那么表示无穷次重试，直到连接成功。-T参数表示超时等待时间，例如-T 120，表示等待120秒连接不上就算超时。

    3、批量下载。
    如果有多个文件需要下载，那么可以生成一个文件，把每个文件的URL写一行，例如生成文件download.txt，然后用命令：wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）

    4、选择性的下载。
    可以指定让wget只下载一类文件，或者不下载什么文件。例如：
    wget -m --reject=gif ::URL::http://target.web.site/subdirectory
    表示下载::URL::http://target.web.site/subdirectory ，但是忽略gif文件。--accept=LIST 可以接受的文件类型，--reject=LIST拒绝接受的文件类型。

    5、密码和认证。
    wget只能处理利用用户名/密码方式限制访问的网站，可以利用两个参数：
   

作者：horn1 

  

 

2005-4-5 17:28 　 回复此发言  

 

---

6wget常用参数如下    -w,  --wait=SECONDS           两次尝试之间间隔SECONDS秒
       --waitretry=SECONDS      在重新链接之间等待1...SECONDS秒
       --random-wait            在下载之间等待0...2*WAIT秒
  -Y,  --proxy=on/off           打开或关闭代理
  -Q,  --quota=NUMBER           设置下载的容量限制(限制下载文件的总大小最多不能超过多少，比如"-Q2k"

                                表示不能超过2K字节，"-Q3m"表示最多不能超过3M字节，如果数字后面什么

                                都不加，就表示是以字节为单位，比如"-Q200"表示最多不能超过200字节)
       --limit-rate=RATE        限定下载输率

    * 目录 

  -nd  --no-directories            不创建目录
  -x,  --force-directories         强制创建目录
  -nH, --no-host-directories       不创建主机目录
  -P,  --directory-prefix=PREFIX   将文件保存到目录 PREFIX/...
       --cut-dirs=NUMBER           忽略 NUMBER层远程目录

    * HTTP 选项 

       --http-user=USER      设定HTTP用户名为 USER.
       --http-passwd=PASS    设定http密码为 PASS.
  -C,  --cache=on/off        允许/不允许服务器端的数据缓存 (一般情况下允许).
  -E,  --html-extension      将所有text/html文档以.html扩展名保存
       --ignore-length       忽略 `Content-Length'头域
       --header=STRING       在headers中插入字符串 STRING
       --proxy-user=USER     设定代理的用户名为 USER
       --proxy-passwd=PASS   设定代理的密码为 PASS
       --referer=URL         在HTTP请求中包含 `Referer: URL'头
  -s,  --save-headers        保存HTTP头到文件
  -U,  --user-agent=AGENT    设定代理的名称为 AGENT而不是 Wget/VERSION.
       --no-http-keep-alive  关闭 HTTP活动链接 (永远链接).
       --cookies=off         不使用 cookies.
       --load-cookies=FILE   在开始会话前从文件 FILE中加载cookie
       --save-cookies=FILE   在会话结束后将 cookies保存到 FILE文件中

    * FTP 选项 

  -nr, --dont-remove-listing   不移走 `.listing'文件
  -g,  --glob=on/off           打开或关闭文件名的 globbing机制
       --passive-ftp           使用被动传输模式 (缺省值).
       --active-ftp            使用主动传输模式
       --retr-symlinks         在递归的时候，将链接指向文件(而不是目录)

    * 递归下载 

  -r,  --recursive          递归下载－－慎用!
  -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无穷).
       --delete-after       在现在完毕后局部删除文件
  -k,  --convert-links      转换非相对链接为相对链接
  -K,  --backup-converted   在转换文件X之前，将之备份为 X.orig
  -m,  --mirror             等价于 -r -N -l inf -nr.
  -p,  --page-requisites    下载显示HTML文件的所有图片

    * 递归下载中的包含和不包含(accept/reject) 

  -A,  --accept=LIST                分号分隔的被接受扩展名的列表
  -R,  --reject=LIST                分号分隔的不被接受的扩展名的列表
  -D,  --domains=LIST               分号分隔的被接受域的列表
       --exclude-domains=LIST       分号分隔的不被接受的域的列表
       --follow-ftp                 跟踪HTML文档中的FTP链接
       --follow-tags=LIST           分号分隔的被跟踪的HTML标签的列表
  -G,  --ignore-tags=LIST           分号分隔的被忽略的HTML标签的列表
  -H,  --span-hosts                 当递归时转到外部主机
  -L,  --relative                   仅仅跟踪相对链接
  -I,  --include-directories=LIST   允许目录的列表
  -X,  --exclude-directories=LIST   不被包含目录的列表
  -np, --no-parent                  不要追溯到父目录(只下载目标站点指定目录及其子目录的内容。

                                    这也是一个非常有用的选项，我们假设某个人的个人主页里面有

                                    一个指向这个站点其他人个人主页的连接，而我们只想下载这个人的

                                    个人主页，如果不设置这个选项，甚至--有可能把整个站点给抓下来，

                                     这显然是我们通常不希望的)

问题

在递归下载的时候，遇到目录中有中文的时候，wget创建的本地目录名会用URL编码规则处理。如"天网防火墙"会被存为"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",这造成阅读上的极大不方便。 

可以用来开发web测试工具。

wget

　　开始:
　　-V, --version 显示Wget版本之后退出。
　　-h, --help 显示本帮助
　　-b, --background 启动后转到后台运行。
　　-e, --execute=COMMAND 运行 `.wgetrc'-那样的命令。
　　日志和输入文件:
　　-o, --output-file=FILE 将日志记录到文件 FILE.
　　-a, --append-output=FILE 添加消息到文件 FILE.
　　-d, --debug 输出大量调试信息。
　　-q, --quiet 静默模式 (无输出)。
　　-v, --verbose 显示信息 (默认打开).
　　-nv, --no-verbose 显示很少信息但不是完全安静.
　　-i, --input-file=FILE 下载存储在 FILE 文件中的所有URL地址指向的文件。
　　-F, --force-html 把输入文件当成 HTML.
　　-B, --base=URL prepends URL to relative links in -F -i file.
　　下载:
　　-t, --tries=NUMBER 设定重试次数(0 一直重试)。
　　--retry-connrefused retry even if connection is refused.
　　-O, --output-document=FILE 写入文档到 FILE.
　　-nc, --no-clobber 跳过将要到已存在文件的下载。
　　-c, --continue 续传下载。
　　--progress=TYPE select progress gauge type.
　　-N, --timestamping don't re-retrieve files unless newer than
　　local.
　　-S, --server-response 显示服务器的响应。
　　--spider 什么都不下载
　　-T, --timeout=SECONDS 把所有超时时间设为SECONDS秒。
　　--dns-timeout=SECS 把DNS超时时间设为SECS秒。
　　--connect-timeout=SECS 设定连接超时为 SECS.
　　--read-timeout=SECS 设定读取超时为 SECS.
　　-w, --wait=SECONDS wait SECONDS between retrievals.
　　--waitretry=SECONDS wait 1..SECONDS between retries of a retrieval.
　　--random-wait wait from 0...2*WAIT secs between retrievals.
　　--no-proxy 显示关闭代理
　　-Q, --quota=NUMBER set retrieval quota to NUMBER.
　　--bind-address=ADDRESS bind to ADDRESS (hostname or IP) on local host.
　　--limit-rate=RATE 把下载速度限制为RATE。
　　--no-dns-cache 禁止查找DNS缓存。
　　--restrict-file-names=OS restrict chars in file names to ones OS allows.
　　--ignore-case ignore case when matching files/directories.
　　-4, --inet4-only 仅连接IPv4地址。
　　-6, --inet6-only 只连接到 IPv6 地址。
　　--prefer-family=FAMILY connect first to addresses of specified family,
　　one of IPv6, IPv4, or none.
　　--user=USER 把ftp和http的用户名设定为UESR。
　　--password=PASS 把ftp和http的密码设定为PASS。
　　目录：
　　-nd，--no-directories 不建立文件夹。
　　-x，--force-directories 强制建立文件夹。
　　-nH, --no-host-directories 不创建主机目录。
　　--protocol-directories use protocol name in directories.
　　-P, --directory-prefix=PREFIX 将文件保存到 PREFIX/...
　　--cut-dirs=NUMBER ignore NUMBER remote directory components.
　　HTTP 选项:
　　--http-user=USER 将 http用户设为 USER.
　　--http-password=PASS 将http密码设为 PASS.
　　--no-cache 不接受服务器缓存的数据.
　　-E，--html-extension 以'.html'扩展名保存HTML文档。
　　--ignore-length ignore `Content-Length' header field.
　　--header=STRING insert STRING among the headers.
　　--max-redirect maximum redirections allowed per page.
　　--proxy-user=USER 设定 USER 作为代理用户名。
　　--proxy-password=PASS 设定 PASS 作为代理密码。
　　--referer=URL include `Referer: URL' header in HTTP request.
　　--save-headers 保存 HTTP 头到文件。
　　-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.
　　--no-http-keep-alive disable HTTP keep-alive (persistent connections).
　　--no-cookies 不使用cookies.
　　--load-cookies=FILE 在会话前从文件中读取cookies。
　　--save-cookies=FILE 在会话结束后保存 cookies 到 FILE。
　　--keep-session-cookies load and save session (non-permanent) cookies.
　　--post-data=STRING use the POST method; send STRING as the data.
　　--post-file=FILE use the POST method; send contents of FILE.
　　--content-disposition honor the Content-Disposition header when
　　choosing local file names (EXPERIMENTAL).
　　--auth-no-challenge Send Basic HTTP authentication information
　　without first waiting for the server's
　　challenge.
　　HTTPS (SSL/TLS) 选项:
　　--secure-protocol=PR choose secure protocol, one of auto, SSLv2,
　　SSLv3, and TLSv1.
　　--no-check-certificate don't validate the server's certificate.
　　--certificate=FILE client certificate file.
　　--certificate-type=TYPE client certificate type, PEM or DER.
　　--private-key=FILE private key file.
　　--private-key-type=TYPE private key type, PEM or DER.
　　--ca-certificate=FILE file with the bundle of CA's.
　　--ca-directory=DIR directory where hash list of CA's is stored.
　　--random-file=FILE file with random data for seeding the SSL PRNG.
　　--egd-file=FILE file naming the EGD socket with random data.
　　FTP 选项:
　　--ftp-user=USER 设置ftp用户为 USER.
　　--ftp-password=PASS 设置ftp密码为 PASS.
　　--no-remove-listing don't remove `.listing' files.
　　--no-glob turn off FTP file name globbing.
　　--no-passive-ftp disable the "passive" transfer mode.
　　--retr-symlinks when recursing, get linked-to files (not dir).
　　--preserve-permissions preserve remote file permissions.
　　递归下载：
　　-r, --recursive specify recursive download.
　　-l, --level=NUMBER maximum recursion depth (inf or 0 for infinite).
　　--delete-after delete files locally after downloading them.
　　-k, --convert-links make links in downloaded HTML point to local files.
　　-K, --backup-converted before converting file X, back up as X.orig.
　　-m, --mirror shortcut for -N -r -l inf --no-remove-listing.
　　-p, --page-requisites get all images, etc. needed to display HTML page.
　　--strict-comments turn on strict (SGML) handling of HTML comments.
　　Recursive accept/reject:
　　-A, --accept=LIST comma-separated list of accepted extensions.
　　-R, --reject=LIST comma-separated list of rejected extensions.
　　-D, --domains=LIST comma-separated list of accepted domains.
　　--exclude-domains=LIST 被拒绝的域名的用逗号分开的列表。
　　--follow-ftp follow FTP links from HTML documents.
　　--follow-tags=LIST comma-separated list of followed HTML tags.
　　--ignore-tags=LIST comma-separated list of ignored HTML tags.
　　-H, --span-hosts 当递归时转到陌生的主机。
　　-L, --relative 只跟随相对链接。
　　-I, --include-directories=LIST 允许的目录的列表。
　　-X, --exclude-directories=LIST 不包括的目录的列表。
　　-np, --no-parent don't ascend to the parent directory.

wget, 一个强大的下载命令

如果你认为 wget 只是一个命令行下载工具, 那你就错了, wget 有能力完成各种各样的下载任务. 下面我会给出一些简单的例子:

如果你想从网站上下载一个文件.

wget http://www.dummy.com/foo.tar.gz

有时下载到一半会丢失链接, 我可以恢复之前的下载么? 

wget -c http://www/dummy.com/foo.tar.gz

好吧, 我的网速很慢, 经常会断开链接, 我想让他自动重试直到下载完成该怎么办？

wget -t 0 -c http://www.dummy.com/foo.tar.gz #默认会重试20次, -t 0 会让他一直重试.

嗯… 不错, 如果我有URL我可以一次下载整张网页么?

wget -p http://www.dummy.com/blog

如果我要下载文件的网址需要指定用户名和密码怎么办?

wget http://www.dummy.com/bar.tar --user=name --password=passwd?

我还可以做什么?
更多的操作, 输入man wget吧.