在Mac OS X上构建wget来抓取静态网站内容

我们的目标是在Mac OS上获取一个静态服务器的内容，通常用wget是一个很好的选择。

wget是一个命令行工具用于从网络服务器来获取内容。但是在Mac OS X（Mountain Lion/ Mavericks / Snow Leopard）上没有提供该工具，但是有curl。

wget VS curl

curl

• 基于跨平台的库libcurl

• 支持unix管道

• 返回错误代码来支持错误处理

• 只返回单个url的内容，不支持自动取链接的内容

• 大量协议支持诸如 ：FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP, RTMP and RTSP

• 可移植性好

• 支持不同的SSL/TSL库

• 支持HTTP认证（HTTP Authentication）

• 支持双向和多部分提交数据

• 支持压缩

• MIT协议

wget

• 只支持命令行

• 支持递归的抓取数据，也就是说可以抓取返回内容中的url链接的内容。

• 非常古老，开发不活跃。

• 使用HTTP 1.0

• GNU项目的一部分

• GPL 协议

总体而言curl比wget要进步许多，可是要获取一个网站的镜像，迭代功能必不可少。只好自己动手，在Mac上构建一个wget。

构建wget

首先确定你已经安装了Xcode和GCC，如果不知道如何安装，可以参考这个链接。

然后从gnu下载wget的源码

curl -O http://ftp.gnu.org/gnu/wget/wget-1.15.tar.gz

下载好后，解压缩

tar -xvf wget-1.15.tar.gz

解压缩好后，需要运行配置命令，为编译做准备

cd wget-1.15./configure --with-ssl=openssl

这里我们选用openssl作为ssl的参数选项。大家一定不会忘记最近发生的openssl的heartbleed漏洞吧 ：）

配置好了以后，运行make

make

这里不出意外会跳出一大堆的警告，不要担心，如果你看到如下的内容，你应该编译成功了

... ...... ...gcc  -O2 -Wall   -o wget cmpt.o connect.o convert.o cookies.o ftp.o css_.o css-url.o ftp-basic.o ftp-ls.o hash.o host.o html-parse.o html-url.o http.o init.o log.o main.o netrc.o progress.o ptimer.o recur.o res.o retr.o spider.o url.o warc.o utils.o exits.o build_info.o  version.o ftp-opie.o openssl.o http-ntlm.o ../lib/libgnu.a -liconv  -lssl -lcrypto -lz -ldl -lz -lzMaking all in doc./texi2pod.pl -D VERSION="1.15" ./wget.texi wget.pod/usr/bin/pod2man --center="GNU Wget" --release="GNU Wget 1.14" wget.pod > wget.1Making all in poMaking all in testsmake[2]: Nothing to be done for `all'.Making all in utilmake[2]: Nothing to be done for `all'.make[2]: Nothing to be done for `all-am'.

最后，安装

sudo make install

安装成功后，试一试wget是否成功安装

$ which wget/usr/local/bin/wget

如果看到上述结果说明wget已经成功构建并部署到/usr/local/bin目录了

好了，万事具备，可以开始抓取你想要获得内容的网站了。

wget -mk http://website.com

其中-m参数表示迭代的抓取，-k参数表示用相对路径取代绝对路径。抓取的内容会被存放在本地的website.com的目录下。

举个例子，比如我要抓新浪新闻

$ wget -mk http://news.sina.com.cn--2014-06-30 16:55:26--  http://news.sina.com.cn/Resolving news.sina.com.cn... 58.63.236.31, 58.63.236.46, 58.63.236.48, ...Connecting to news.sina.com.cn|58.63.236.31|:80... connected.HTTP request sent, awaiting response... 200 OKLength: 636992 (622K) [text/html]Saving to: ‘news.sina.com.cn/index.html’100%[======================================>] 636,992      391KB/s   in 1.6s   2014-06-30 16:55:29 (391 KB/s) - ‘news.sina.com.cn/index.html’ saved [636992/636992]Loading robots.txt; please ignore errors.--2014-06-30 16:55:29--  http://news.sina.com.cn/robots.txtReusing existing connection to news.sina.com.cn:80.HTTP request sent, awaiting response... 200 OKLength: 70 [text/plain]Saving to: ‘news.sina.com.cn/robots.txt’100%[======================================>] 70          --.-K/s   in 0.03s   2014-06-30 16:55:29 (2.54 KB/s) - ‘news.sina.com.cn/robots.txt’ saved [70/70]--2014-06-30 16:55:29--  http://news.sina.com.cn/js/792/2012-08-09/41/headnews.jsReusing existing connection to news.sina.com.cn:80.HTTP request sent, awaiting response... 200 OKLength: 31699 (31K) [application/x-javascript]Saving to: ‘news.sina.com.cn/js/792/2012-08-09/41/headnews.js’100%[======================================>] 31,699      --.-K/s   in 0.04s   2014-06-30 16:55:29 (731 KB/s) - ‘news.sina.com.cn/js/792/2012-08-09/41/headnews.js’ saved [31699/31699]--2014-06-30 16:55:29--  http://news.sina.com.cn/pfpnews/js/libweb.jsReusing existing connection to news.sina.com.cn:80.HTTP request sent, awaiting response... 200 OKLength: 6554 (6.4K) [application/x-javascript]Saving to: ‘news.sina.com.cn/pfpnews/js/libweb.js’100%[======================================>] 6,554       --.-K/s   in 0.03s

抓成功后的目录如下

注意：

• 这样的方式仅适用于静态网站，对于使用动态代码生成的网站无能为力

• 地址转换是发生在所有内容抓取完成之后，如果你中途退出，则所有的地址链接仍然指向原始地址。当你所要抓取的内容巨大时，需要非常小心。

• 为了防止流量过大，对服务器造成太大的负担，可以使用-w参数设置两个请求中的间隔时间

使用Brew

另外一个很有效地方法是使用homebrew，homebrew是一个包管理工具。安装非常简单：

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安好了以后，运行

$ brew install wget

就好了，非常方便