linux curl 命令 ，这似乎也可以实现简单的爬虫 回头试试

　一，curl命令参数，有好多我没有用过，也不知道翻译的对不对，如果有误的地方，还请指正。

　　-a/--append 上传文件时，附加到目标文件

　　-A/--user-agent <string>  设置用户代理发送给服务器

　　- anyauth   可以使用“任何”身份验证方法

　　-b/--cookie <name=string/file> cookie字符串或文件读取位置

　　- basic 使用HTTP基本验证

　　-B/--use-ascii 使用ASCII /文本传输

　　-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

　　-C/--continue-at <offset>  断点续转

　　-d/--data <data>   HTTP POST方式传送数据

　　--data-ascii <data>  以ascii的方式post数据

　　--data-binary <data> 以二进制的方式post数据

　　--negotiate     使用HTTP身份验证

　　--digest        使用数字身份验证

　　--disable-eprt  禁止使用EPRT或LPRT

　　--disable-epsv  禁止使用EPSV

　　-D/--dump-header <file> 把header信息写入到该文件中

　　--egd-file <file> 为随机数据(SSL)设置EGD socket路径

　　--tcp-nodelay   使用TCP_NODELAY选项

　　-e/--referer 来源网址

　　-E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)

　　--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)

　　--key <key>     私钥文件名 (SSL)

　　--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)

　　--pass  <pass>  私钥密码 (SSL)

　　--engine <eng>  加密引擎使用 (SSL). "--engine list" for list

　　--cacert <file> CA证书 (SSL)

　　--capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)

　　--ciphers <list>  SSL密码

　　--compressed    要求返回是压缩的形势 (using deflate or gzip)

　　--connect-timeout <seconds> 设置最大请求时间

　　--create-dirs   建立本地目录的目录层次结构

　　--crlf          上传是把LF转变成CRLF

　　-f/--fail          连接失败时不显示http错误

　　--ftp-create-dirs 如果远程目录不存在，创建远程目录

　　--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

　　--ftp-pasv      使用 PASV/EPSV 代替端口

　　--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址

　　--ftp-ssl       尝试用 SSL/TLS 来进行ftp数据传输

　　--ftp-ssl-reqd  要求用 SSL/TLS 来进行ftp数据传输

　　-F/--form <name=content> 模拟http表单提交数据

　　-form-string <name=string> 模拟http表单提交数据

　　-g/--globoff 禁用网址序列和范围使用{}和[]

　　-G/--get 以get的方式来发送数据

　　-h/--help 帮助

　　-H/--header <line>自定义头信息传递给服务器

　　--ignore-content-length  忽略的HTTP头信息的长度

　　-i/--include 输出时包括protocol头信息

　　-I/--head  只显示文档信息

　　从文件中读取-j/--junk-session-cookies忽略会话Cookie

　　- 界面<interface>指定网络接口/地址使用

　　- krb4 <级别>启用与指定的安全级别krb4

　　-j/--junk-session-cookies 读取文件进忽略session cookie

　　--interface <interface> 使用指定网络接口/地址

　　--krb4 <level>  使用指定安全级别的krb4

　　-k/--insecure 允许不使用证书到SSL站点

　　-K/--config  指定的配置文件读取

　　-l/--list-only 列出ftp目录下的文件名称

　　--limit-rate <rate> 设置传输速度

　　--local-port<NUM> 强制使用本地端口号

　　-m/--max-time <seconds> 设置最大传输时间

　　--max-redirs <num> 设置最大读取的目录数

　　--max-filesize <bytes> 设置最大下载的文件总量

　　-M/--manual  显示全手动

　　-n/--netrc 从netrc文件中读取用户名和密码

　　--netrc-optional 使用 .netrc 或者 URL来覆盖-n

　　--ntlm          使用 HTTP NTLM 身份验证

　　-N/--no-buffer 禁用缓冲输出

　　-o/--output 把输出写到该文件中

　　-O/--remote-name 把输出写到该文件中，保留远程文件的文件名

　　-p/--proxytunnel   使用HTTP代理

　　--proxy-anyauth 选择任一代理身份验证方法

　　--proxy-basic   在代理上使用基本身份验证

　　--proxy-digest  在代理上使用数字身份验证

　　--proxy-ntlm    在代理上使用ntlm身份验证

　　-P/--ftp-port <address> 使用端口地址，而不是使用PASV

　　-Q/--quote <cmd>文件传输前，发送命令到服务器

　　-r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围

　　--range-file 读取（SSL）的随机文件

　　-R/--remote-time   在本地生成文件时，保留远程文件时间

　　--retry <num>   传输出现问题时，重试的次数

　　--retry-delay <seconds>  传输出现问题时，设置重试间隔时间

　　--retry-max-time <seconds> 传输出现问题时，设置最大重试时间

　　-s/--silent静音模式。不输出任何东西

　　-S/--show-error   显示错误

　　--socks4 <host[:port]> 用socks4代理给定主机和端口

　　--socks5 <host[:port]> 用socks5代理给定主机和端口

　　--stderr <file>
-t/--telnet-option <OPT=val> Telnet选项设置

　　--trace <file>  对指定文件进行debug

　　--trace-ascii <file> Like --跟踪但没有hex输出

　　--trace-time    跟踪/详细输出时，添加时间戳

　　-T/--upload-file <file> 上传文件

　　--url <URL>     Spet URL to work with

　　-u/--user <user[:password]>设置服务器的用户和密码

　　-U/--proxy-user <user[:password]>设置代理用户名和密码

　　-v/--verbose

　　-V/--version 显示版本信息

　　-w/--write-out [format]什么输出完成后

　　-x/--proxy <host[:port]>在给定的端口上使用HTTP代理

　　-X/--request <command>指定什么命令

　　-y/--speed-time 放弃限速所要的时间。默认为30

　　-Y/--speed-limit 停止传输速度的限制，速度时间'秒

　　-z/--time-cond  传送时间设置

　　-0/--http1.0  使用HTTP 1.0

　　-1/--tlsv1  使用TLSv1（SSL）

　　-2/--sslv2 使用SSLv2的（SSL）

　　-3/--sslv3         使用的SSLv3（SSL）

　　--3p-quote      like -Q for the source URL for 3rd party transfer

　　--3p-url        使用url，进行第三方传送

　　--3p-user       使用用户名和密码，进行第三方传送

　　-4/--ipv4   使用IP4

　　-6/--ipv6   使用IP6

　　-#/--progress-bar 用进度条显示当前的传送状态

　　-a/--append 上传文件时，附加到目标文件

　　-A/--user-agent <string>  设置用户代理发送给服务器

　　- anyauth   可以使用“任何”身份验证方法

　　-b/--cookie <name=string/file> cookie字符串或文件读取位置

　　- basic 使用HTTP基本验证

　　-B/--use-ascii 使用ASCII /文本传输

　　-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

　　-C/--continue-at <offset>  断点续转

　　-d/--data <data>   HTTP POST方式传送数据

　　--data-ascii <data>  以ascii的方式post数据

　　--data-binary <data> 以二进制的方式post数据

　　--negotiate     使用HTTP身份验证

　　--digest        使用数字身份验证

　　--disable-eprt  禁止使用EPRT或LPRT

　　--disable-epsv  禁止使用EPSV

　　-D/--dump-header <file> 把header信息写入到该文件中

　　--egd-file <file> 为随机数据(SSL)设置EGD socket路径

　　--tcp-nodelay   使用TCP_NODELAY选项

　　-e/--referer 来源网址

　　-E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)

　　--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)

　　--key <key>     私钥文件名 (SSL)

　　--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)

　　--pass  <pass>  私钥密码 (SSL)

　　--engine <eng>  加密引擎使用 (SSL). "--engine list" for list

　　--cacert <file> CA证书 (SSL)

　　--capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)

　　--ciphers <list>  SSL密码

　　--compressed    要求返回是压缩的形势 (using deflate or gzip)

　　--connect-timeout <seconds> 设置最大请求时间

　　--create-dirs   建立本地目录的目录层次结构

　　--crlf          上传是把LF转变成CRLF

　　-f/--fail          连接失败时不显示http错误

　　--ftp-create-dirs 如果远程目录不存在，创建远程目录

　　--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

　　--ftp-pasv      使用 PASV/EPSV 代替端口

　　--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址

　　--ftp-ssl       尝试用 SSL/TLS 来进行ftp数据传输

　　--ftp-ssl-reqd  要求用 SSL/TLS 来进行ftp数据传输

　　-F/--form <name=content> 模拟http表单提交数据

　　-form-string <name=string> 模拟http表单提交数据

　　-g/--globoff 禁用网址序列和范围使用{}和[]

　　-G/--get 以get的方式来发送数据

　　-h/--help 帮助

　　-H/--header <line>自定义头信息传递给服务器

　　--ignore-content-length  忽略的HTTP头信息的长度

　　-i/--include 输出时包括protocol头信息

　　-I/--head  只显示文档信息

　　从文件中读取-j/--junk-session-cookies忽略会话Cookie

　　- 界面<interface>指定网络接口/地址使用

　　- krb4 <级别>启用与指定的安全级别krb4

　　-j/--junk-session-cookies 读取文件进忽略session cookie

　　--interface <interface> 使用指定网络接口/地址

　　--krb4 <level>  使用指定安全级别的krb4

　　-k/--insecure 允许不使用证书到SSL站点

　　-K/--config  指定的配置文件读取

　　-l/--list-only 列出ftp目录下的文件名称

　　--limit-rate <rate> 设置传输速度

　　--local-port<NUM> 强制使用本地端口号

　　-m/--max-time <seconds> 设置最大传输时间

　　--max-redirs <num> 设置最大读取的目录数

　　--max-filesize <bytes> 设置最大下载的文件总量
-M/--manual  显示全手动

　　-n/--netrc 从netrc文件中读取用户名和密码

　　--netrc-optional 使用 .netrc 或者 URL来覆盖-n

　　--ntlm          使用 HTTP NTLM 身份验证

　　-N/--no-buffer 禁用缓冲输出

　　-o/--output 把输出写到该文件中

　　-O/--remote-name 把输出写到该文件中，保留远程文件的文件名

　　-p/--proxytunnel   使用HTTP代理

　　--proxy-anyauth 选择任一代理身份验证方法

　　--proxy-basic   在代理上使用基本身份验证

　　--proxy-digest  在代理上使用数字身份验证

　　--proxy-ntlm    在代理上使用ntlm身份验证

　　-P/--ftp-port <address> 使用端口地址，而不是使用PASV

　　-Q/--quote <cmd>文件传输前，发送命令到服务器

　　-r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围

　　--range-file 读取（SSL）的随机文件

　　-R/--remote-time   在本地生成文件时，保留远程文件时间

　　--retry <num>   传输出现问题时，重试的次数

　　--retry-delay <seconds>  传输出现问题时，设置重试间隔时间

　　--retry-max-time <seconds> 传输出现问题时，设置最大重试时间

　　-s/--silent静音模式。不输出任何东西

　　-S/--show-error   显示错误

　　--socks4 <host[:port]> 用socks4代理给定主机和端口

　　--socks5 <host[:port]> 用socks5代理给定主机和端口

　　--stderr <file>

　　-t/--telnet-option <OPT=val> Telnet选项设置

　　--trace <file>  对指定文件进行debug

　　--trace-ascii <file> Like --跟踪但没有hex输出

　　--trace-time    跟踪/详细输出时，添加时间戳

　　-T/--upload-file <file> 上传文件

　　--url <URL>     Spet URL to work with

　　-u/--user <user[:password]>设置服务器的用户和密码

　　-U/--proxy-user <user[:password]>设置代理用户名和密码

　　-v/--verbose

　　-V/--version 显示版本信息

　　-w/--write-out [format]什么输出完成后

　　-x/--proxy <host[:port]>在给定的端口上使用HTTP代理

　　-X/--request <command>指定什么命令

　　-y/--speed-time 放弃限速所要的时间。默认为30

　　-Y/--speed-limit 停止传输速度的限制，速度时间'秒

　　-z/--time-cond  传送时间设置

　　-0/--http1.0  使用HTTP 1.0

　　-1/--tlsv1  使用TLSv1（SSL）

　　-2/--sslv2 使用SSLv2的（SSL）

　　-3/--sslv3         使用的SSLv3（SSL）

　　--3p-quote      like -Q for the source URL for 3rd party transfer

　　--3p-url        使用url，进行第三方传送

　　--3p-user       使用用户名和密码，进行第三方传送

　　-4/--ipv4   使用IP4

　　-6/--ipv6   使用IP6

　　-#/--progress-bar 用进度条显示当前的传送状态

下面的实例

下载单个文件，默认将输出打印到标准输出中(STDOUT)中

curl http://www.centos.org

通过-o/-O选项保存下载的文件到指定的文件中：
-o：将文件保存为命令行中指定的文件名的文件中
-O：使用URL中默认的文件名保存文件到本地

# 将文件下载到本地并命名为mygettext.html2 curl -o mygettext.html http://www.gnu.org/software/gettext/manual/gettext.html3 4 # 将文件保存到本地并命名为gettext.html5 curl -O http://www.gnu.org/software/gettext/manual/gettext.html

同样可以使用转向字符">"对输出进行转向输出

同时获取多个文件

curl -O URL1 -O URL2

若同时从同一站点下载多个文件时，curl会尝试重用链接(connection)。

通过-L选项进行重定向
默认情况下CURL不会发送HTTP Location headers(重定向).当一个被请求页面移动到另一个站点时，会发送一个HTTP Loaction header作为请求，然后将请求重定向到新的地址上。
例如：访问google.com时，会自动将地址重定向到google.com.hk上。

curl http://www.google.com 2 <HTML> 3 <HEAD> 4     <meta http-equiv="content-type" content="text/html;charset=utf-8"> 5     <TITLE>302 Moved</TITLE> 6 </HEAD> 7 <BODY> 8     <H1>302 Moved</H1> 9     The document has moved10     <A HREF="http://www.google.com.hk/url?sa=p&amp;hl=zh-CN&amp;pref=hkredirect&amp;pval=yes&amp;q=http://www.google.com.hk/&amp;ust=1379402837567135amp;usg=AFQjCNF3o7umf3jyJpNDPuF7KTibavE4aA">here</A>.11 </BODY>12 </HTML>

上述输出说明所请求的档案被转移到了http://www.google.com.hk。

这是可以通过使用-L选项进行强制重定向

# 让curl使用地址重定向，此时会查询google.com.hk站点2 curl -L http://www.google.com

断点续传

通过使用-C选项可对大文件使用断点续传功能，如：

# 当文件在下载完成之前结束该进程2 $ curl -O http://www.gnu.org/software/gettext/manual/gettext.html3 ##############             20.1%4 5 # 通过添加-C选项继续对该文件进行下载，已经下载过的文件不会被重新下载6 curl -C - -O http://www.gnu.org/software/gettext/manual/gettext.html7 ###############            21.1%

对CURL使用网络限速
通过--limit-rate选项对CURL的最大网络使用进行限制

# 下载速度最大不会超过1000B/second2 3 curl --limit-rate 1000B -O http://www.gnu.org/software/gettext/manual/gettext.html

下载指定时间内修改过的文件

当下载一个文件时，可对该文件的最后修改日期进行判断，如果该文件在指定日期内修改过，就进行下载，否则不下载。
该功能可通过使用-z选项来实现：

# 若yy.html文件在2011/12/21之后有过更新才会进行下载2 curl -z 21-Dec-11 http://www.example.com/yy.html

CURL授权

在访问需要授权的页面时，可通过-u选项提供用户名和密码进行授权

curl -u username:password URL2 3 # 通常的做法是在命令行只输入用户名，之后会提示输入密码，这样可以保证在查看历史记录时不会将密码泄露4 curl -u username URL

从FTP服务器下载文件

CURL同样支持FTP下载，若在url中指定的是某个文件路径而非具体的某个要下载的文件名，CURL则会列出该目录下的所有文件名而并非下载该目录下的所有文件

# 列出public_html下的所有文件夹和文件2 curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/3 4 # 下载xss.php文件5 curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php

上传文件到FTP服务器

通过 -T 选项可将指定的本地文件上传到FTP服务器上

# 将myfile.txt文件上传到服务器curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com# 同时上传多个文件curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com# 从标准输入获取内容保存到服务器指定的文件中curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt

获取更多信息

通过使用 -v 和 -trace获取更多的链接信息

通过字典查询单词

# 查询bash单词的含义2 curl dict://dict.org/d:bash3 4 # 列出所有可用词典5 curl dict://dict.org/show:db6 7 # 在foldoc词典中查询bash单词的含义8 curl dict://dict.org/d:bash:foldoc

为CURL设置代理

-x 选项可以为CURL添加代理功能

# 指定代理主机和端口2 curl -x proxysever.test.com:3128 http://google.co.in

 

其他网站整理

保存与使用网站cookie信息

# 将网站的cookies信息保存到sugarcookies文件中2 curl -D sugarcookies http://localhost/sugarcrm/index.php3 4 # 使用上次保存的cookie信息5 curl -b sugarcookies http://localhost/sugarcrm/index.php

传递请求数据

默认curl使用GET方式请求数据，这种方式下直接通过URL传递数据
可以通过 --data/-d 方式指定使用POST方式传递数据

# GET2 curl -u username https://api.github.com/user?access_token=XXXXXXXXXX3 4 # POST5 curl -u username --data "param1=value1&param2=value" https://api.github.com6 7 # 也可以指定一个文件，将该文件中的内容当作数据传递给服务器端8 curl --data @filename https://github.api.com/authorizations

注：默认情况下，通过POST方式传递过去的数据中若有特殊字符，首先需要将特殊字符转义在传递给服务器端，如value值中包含有空格，则需要先将空格转换成%20，如：

curl -d "value%201" http://hostname.com

在新版本的CURL中，提供了新的选项 --data-urlencode，通过该选项提供的参数会自动转义特殊字符。

curl --data-urlencode "value 1" http://hostname.com

除了使用GET和POST协议外，还可以通过 -X 选项指定其它协议，如：

curl -I -X DELETE https://api.github.cim

上传文件

curl --form "fileupload=@filename.txt" http://hostname/resource

 

http://curl.haxx.se/docs/httpscripting.html

 转载自：https://www.cnblogs.com/gbyukg/p/3326825.html

   http://blog.csdn.net/foxman209/article/details/6278093/