php curl 抓取数据

因为在学习微信平台开发，学到的关于php curl的知识点，记录下来。

CURL是一个非常强大的开源库，支持很多协议，包括HTTP、FTP、TELNET等，我们使用它来发送HTTP请求。它给我们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数，并且支持HTTPS。CURL可以根据URL前缀是“HTTP” 还是“HTTPS”自动选择是否加密发送内容。

1.curl常用的抓取数据例子(适合抓取无访问控制的网页即可以直接访问的页面)

// 1. 初始化 $ch = curl_init(); // 2. 设置选项，包括URL $url='http://www.baidu.com';    //抓取的目的地 curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); curl_setopt($ch,CURLOPT_HEADER,0); // 3. 抓取到HTML内容 $output = curl_exec($ch); if($output === FALSE ){ echo "CURL Error:".curl_error($ch);  //或者直接var_dump($output);输出也行 } // 4. 释放curl curl_close($ch);

1.curl_init() 和 curl_close() 分别是初始化CURL连接和关闭CURL连接，都比较简单。
2.curl_exec() 执行CURL请求，如果没有错误发生，该函数的返回是对应URL返回的数据，以字符串表示满意；如果发生错误，该函数返回 FALSE。需要注意的是，判断输出是否为FALSE用的是全等号，这是为了区分返回空串和出错的情况。
3.CURL函数库里最重要的函数是curl_setopt(),它可以通过设定CURL函数库定义的选项来定制HTTP请求。上述代码片段中使用了三个重要的选项：
4.CURLOPT_URL 指定请求的URL；
5.CURLOPT_RETURNTRANSFER 设置为1表示稍后执行的curl_exec函数的返回是URL的返回字符串，而不是把返回字符串定向到标准输出并返回TRUE；
6.CURLLOPT_HEADER设置为0表示不返回HTTP头部信息。

7.在curl_exec()函数执行之后，可以使用curl_getinfo()函数获取CURL请求输出的相关信息

curl_getinfo返回的是一个关联数组；如下

url:网络地址。
content_type:内容编码。
http_code:HTTP状态码。
header_size:header的大小。
request_size:请求的大小。
filetime:文件创建的时间。
ssl_verify_result:SSL验证结果。
redirect_count:跳转计数。
total_time:总耗时。
namelookup_time:DNS查询耗时。
connect_time:等待连接耗时。
pretransfer_time:传输前准备耗时。
size_uplpad:上传数据的大小。
size_download:下载数据的大小。
speed_download:下载速度。
speed_upload:上传速度。
download_content_length:下载内容的长度。
upload_content_length:上传内容的长度。
starttransfer_time:开始传输的时间表。
redirect_time:重定向耗时。

curl_getinfo()函数还有一个可选择参数$opt,通过这个参数可以设置一些常量，对应到上术这个字段，如果设置了第二个参数，那么返回的只有指定的信息。例如设置$opt为CURLINFO_TOTAL_TIME，则curl_getinfo()函数只返回total_time,即总传输消耗的时间，在只需要关注某些传输信息时，设置$opt参数很有意义。

2.curl利用代理抓取例子

比如抓取google数据，操作频繁的话，google会对IP进行限制，这时可以用换代理来抓取

<?php$ch = curl_init();curl_setopt($ch, CURLOPT_URL, "http://blog.51yip.com");curl_setopt($ch, CURLOPT_HEADER, false);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE);curl_setopt($ch, CURLOPT_PROXY, 125.21.23.6:8080);//url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密码的话，加上这个$result=curl_exec($ch);curl_close($ch);?>

3.curl发送GET请求

如何使用CURL来发送GET请求，发送GET请求的关键是拼装格式正确的URL。请求地址和GET数据由一个“?”分割,然后GET变量的名称和值用“=”分隔，各个GET名称和值由“&”连接。PHP为我们提供了一个函数专门用来拼装GET请求和数据部分——http_build_query,该函数接受一个关联数组，返回由该关联数据描述的GET请求字符串。使用这个函数，结合CURL发送HTTP请求的一般流程，我们封闭了一个发送GET请求的函数——doCurlGetRequest，这个函数把使用http_build_query 拼装好的带GET参数的URL传给curl_init函数，然后使用CURL发送HTTP请求。

function doCurlGetRequest($url,$data,$timeout = 5){ if($curl == "" || $timeout <= 0){ return false; } $url = $url.'?'.http_bulid_query($data); $con = curl_init((string)$url); curl_setopt($con, CURLOPT_HEADER, false); curl_setopt($con, CURLOPT_RETURNTRANSFER,true); curl_setopt($con, CURLOPT_TIMEOUT, (int)$timeout);  return curl_exec($con);}

4.curl发送post请求

可以使用CURL提供的选项CURLOPT_POSTFIELDS，设置该选项为POST字符串数据就可以把请求放在正文中。同样我们实现了一个发送POST请求的函数——doCurlPostRequest。

function doCurlPostRequest($url,$requestString,$timeout = 5){ if($url == '' || $requestString == '' || $timeout <=0){ return false; } $con = curl_init((string)$url); curl_setopt($con, CURLOPT_HEADER, false); curl_setopt($con, CURLOPT_POSTFIELDS, $requestString); curl_setopt($con, CURLOPT_POST,true); curl_setopt($con, CURLOPT_RETURNTRANSFER,true); curl_setopt($con, CURLOPT_TIMEOUT,(int)$timeout); return curl_exec($con); }

5.curl抓取有访问控制的页面

如果用上面的方法访问，会直接抛出

You are not authorized to view this page
You do not have permission to view this directory or page using the credentials that you supplied because your Web browser is sending a WWW-Authenticate header field that the Web server is not configured to accept.

可以看下抓取一些有页面访问控制的页面写的，写得很好。