基于curl实现登录页面数据采集（百度搜藏版）

本文以百度搜藏为例，提供一种基于curl采集登录页数据的方法。

1. 获取cURL命令

   这个可以借助Firebug的控制台得到，如图（一）所示： 
   

   1. 解析cURL命令

   cURL具有一定的格式，我们这里需要得到两个数据：

（1）请求链接 
它可以基于正则"#curl '([^']*?)'#is"解析得到，唯一，使用preg_match匹配。

（2）请求头HTTPHEADER 
它可以基于正则"#-H '([^']*?)'#is"得到，一个或多个，基于preg_match_all匹配。 
3. 通过cURL采集数据

本demo基于php多线程采集实现，此时只需要给curl采集请求添加：

（1）压缩参数

CURLOPT_ENCODING="gzip"

（2）HTTP头参数

CURLOPT_HTTPHEADER=cURL解析头结果 
4. 程序核心源码（curlBaiduSoucang.php）

1. <?php
2. header("Content-type: text/html; charset=utf-8");
3. require_once'CurlMulti.php';
4. require_once'MyCurl.php';
5. /**
6. * 抓取百度搜藏数据
7. * @author Zjmainstay
8. * @website http://www.zjmainstay.cn
9. * @year 2014
10. * @usage
11. cli命令： php curlBaiduSoucang.php 1 20 //1~20页
12. 浏览器： http://localhost/curlmulti/curlBaiduSoucang.php?start=1&end=20
13. *
14. */
15. class curlBaiduSoucang extendsMyCurl{
16. function __construct(){
17. parent::__construct();
19. $curlTextFile= dirname(__FILE__).'/curlText.txt';
20. if(!file_exists($curlTextFile)){
21. exit('curl 命令文件（./curlText.txt）不存在。');
22. }
23. $curlContent= trim(file_get_contents($curlTextFile));
25. if(!preg_match("#curl '([^']*?)'#is", $curlContent, $match)){
26. exit('请确认curl命令是否正确，无法匹配链接地址。');
27. }
29. $this->soucangUrl= $match[1];
31. if(!preg_match_all("#-H '([^']*?)'#is", $curlContent, $matches)){
32. echo('请确认curl命令是否正确，无法匹配HTTP HEADER信息，可能导致采集失败
33. ');
34. }else{
35. $httpHeader= $matches[1];
36. }
38. $this->curl->opt[CURLOPT_ENCODING]='gzip';
39. if(!empty($httpHeader)){
40. $this->curl->opt[CURLOPT_HTTPHEADER]= $httpHeader;
41. }
42. }
44. //采集开始处理
45. function run(){
46. if(PHP_SAPI=='cli'){
47. global $argv;
48. $this->lineBreak="\n";
49. }else{
50. $this->lineBreak="<br />";
51. $argv[2]=(int)@$_GET['start'];
52. $argv[3]=(int)@$_GET['end'];
53. }
55. $startPage= max(1,(int)@$argv[2]);
56. $endPage= max(1,(int)@$argv[3]);
58. $process= array(
59. $this,
60. 'parse'
61. );
64. for($i= $startPage; $i <= $endPage; $i++){
65. $this->curl->add( array(
66. 'url'=> preg_replace('#(?<=pn=)\d+#i', $i, $this->soucangUrl),
67. 'args'=> array(
68. //args
69. 'page'=> $i,
70. )
71. ), $process );
72. }
73. $this->curl->start();
74. }
76. function parse($res, $param){
77. if(! $this->httpError( $res['info'])){
78. $filename= dirname(__FILE__)."/soucang/soucang-{$param['page']}.txt";
79. file_put_contents($filename, trim(iconv('gbk','utf-8//IGNORE', $res['content'])));
80. }
81. echo"Page: {$param['page']} (ok)". $this->lineBreak;
82. }
84. function cbCurlInfo($info){
85. parent::cbCurlInfo($info);
86. echo $this->lineBreak;
87. }
88. }
90. ini_set('max_execution_time',0);
91. ini_set('display_errors','on');
92. error_reporting(E_ALL);
93. $curlObj=new curlBaiduSoucang;
94. $curlObj->run();