多线程的cURL
来源：互联网 发布：制作驾驶证软件 编辑：程序博客网 时间：2024/05/18 00:29
本处是一个可以灵活的多线程的调用 cURL的。
这里跟php手册 http://us2.php.net/manual/zh/function.curl-multi-select.php 中提供的样例不同，代码执行效率要高不少
<?phpclass request_setting { public $url = false; public $method = 'GET'; public $post_data = null; public $headers = null; public $options = null; function __construct($url, $method = "GET", $post_data = null, $headers = null, $options = null) { $this->url = $url; $this->method = $method; $this->post_data = $post_data; $this->headers = $headers; $this->options = $options; } public function __destruct() { unset($this->url, $this->method, $this->post_data, $this->headers, $this->options); }}/***********************************************************************************************批量操作的类*******************************************************************************************/class muti_curl {protected$thread_size = 100;protected $timeout = 30; private $callback;protected $options = array( CURLOPT_SSL_VERIFYPEER => false,//禁用后cURL将终止从服务端进行验证。使用CURLOPT_CAINFO选项设置证书使用CURLOPT_CAPATH选项设置证书目录 如果CURLOPT_SSL_VERIFYPEER(默认值为2)被启用，CURLOPT_SSL_VERIFYHOST需要被设置成TRUE否则设置为FALSE。 自cURL 7.10开始默认为TRUE。从cURL 7.10开始默认绑定安装。 CURLOPT_RETURNTRANSFER => true, //将 curl_exec()获取的信息以文件流的形式返回，而不是直接输 CURLOPT_CONNECTTIMEOUT => 15, CURLOPT_TIMEOUT => 30,//CURLOPT_HTTP_VERSION=>CURL_HTTP_VERSION_1_0, //使用代理的时候用这个去抓取数据，更爽//CURLOPT_AUTOREFERER=>false,// 当根据Location:重定向时，自动设置header中的Referer:信息。//CURLOPT_BINARYTRANSFER=>false, //在启用CURLOPT_RETURNTRANSFER的时候，返回原生的（Raw）输出这个不用设置。//CURLOPT_COOKIESESSION=>true,// 启用时curl会仅仅传递一个session cookie，忽略其他的cookie，默认状况下cURL会将所有的cookie返回//CURLOPT_CRLF=>false,// 启用时将Unix的换行符转换成回车换行符。//CURLOPT_DNS_USE_GLOBAL_CACHE=>false,// 启用时会启用一个全局的DNS缓存，此项为线程安全的，并且默认启用。//CURLOPT_FAILONERROR=>false,// 显示HTTP状态码，默认行为是忽略编号小于等于400的HTTP信息。//CURLOPT_FILETIME=>true, //启用时会尝试修改远程文档中的信息。结果信息会通过 curl_getinfo()函数的CURLINFO_FILETIME选项返回。 curl_getinfo().//CURLOPT_FOLLOWLOCATION=>false, // 启用时会将服务器服务器返回的"Location: "放在header中递归的返回给服务器，使用CURLOPT_MAXREDIRS可以限定递归返回的数量。//CURLOPT_FORBID_REUSE=>true, //在完成交互以后强迫断开连接，不能重用。//CURLOPT_FRESH_CONNECT=>true,// 强制获取一个新的连接，替代缓存中的连接。//CURLOPT_FTP_USE_EPRT=>false,// 启用时当FTP下载时，使用EPRT (或 LPRT)命令。设置为FALSE时禁用EPRT和LPRT，使用PORT命令 only.//CURLOPT_FTP_USE_EPSV=>false,// 启用时，在FTP传输过程中回复到PASV模式前首先尝试EPSV命令。设置为FALSE时禁用EPSV命令。//CURLOPT_FTPAPPEND=>false,// 启用时追加写入文件而不是覆盖它。//CURLOPT_FTPASCII=>false,//CURLOPT_TRANSFERTEXT的别名。//CURLOPT_FTPLISTONLY=>false,// 启用时只列出FTP目录的名字。//CURLOPT_HEADER=>true,// 启用时会将头文件的信息作为数据流输出。//CURLINFO_HEADER_OUT=>false, //启用时追踪句柄的请求字符串。//CURLOPT_HTTPGET=>true,// 启用时会设置HTTP的method为GET，因为GET是默认是，所以只在被修改的情况下使用。//CURLOPT_HTTPPROXYTUNNEL=>true,// 启用时会通过HTTP代理来传输。//CURLOPT_MUTE=>true,// 启用时将cURL函数中所有修改过的参数恢复默认值。//CURLOPT_NETRC=>false,// 在连接建立以后，访问~/.netrc文件获取用户名和密码信息连接远程站点。//CURLOPT_NOBODY=>true, 启用时将不对HTML中的BODY部分进行输出。//CURLOPT_NOPROGRESS=>false,//启用时关闭curl传输的进度条，此项的默认设置为启用。//CURLOPT_NOSIGNAL=>false,// 启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认启用。 cURL 7.10时被加入。//CURLOPT_POST=>false,// 启用时会发送一个常规的POST请求，类型为：application/x-www-form-urlencoded，就像表单提交的一样。//CURLOPT_PUT=>false,// 启用时允许HTTP发送文件，必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE。//CURLOPT_TRANSFERTEXT=>false,// 启用后对FTP传输使用ASCII模式。对于LDAP，它检索纯文本信息而非HTML。在Windows系统上，系统不会把STDOUT设置成binary模式。//CURLOPT_UNRESTRICTED_AUTH=>true,// 在使用CURLOPT_FOLLOWLOCATION产生的header中的多个locations中持续追加用户名和密码信息，即使域名已发生改变。//CURLOPT_UPLOAD=>false,// 启用后允许文件上传。//CURLOPT_VERBOSE=>true,// 启用时会汇报所有的信息，存放在STDERR或指定的CURLOPT_STDERR中。 ); private $headers = array(); private $requests = array();private $requestMap = array();/*********************构造一个callback的函数********************/function __construct($callback = null) { $this->callback = $callback; } /******************************************************************** 重载 __get的方法 *******************************************************************/ public function __get($name) { return (isset($this->{$name})) ? $this->{$name} : null;} /********************************************************************* 重载 __set的方法 *******************************************************/ public function __set($name, $value) { // 增加一个设置到headers if ($name == "options" || $name == "headers") { $this->{$name} = $value + $this->{$name}; } else { $this->{$name} = $value; } return true; }//增加一个请求 public function add($request) { $this->requests[] = $request; return true; } public function request($url, $method = "GET", $post_data = null, $headers = null, $options = null) { $this->requests[] = new request_setting($url, $method, $post_data, $headers, $options); return true; } public function get($url, $headers = null, $options = null) { return $this->request($url, "GET", null, $headers, $options); } public function post($url, $post_data = null, $headers = null, $options = null) { return $this->request($url, "POST", $post_data, $headers, $options); } private function single_curl() { $ch = curl_init(); //初始化 $request = array_shift($this->requests);//把第一个单元移出并作为结果 $options = $this->get_options($request);//获得该单元的设置 curl_setopt_array($ch, $options);//批设置 $output = curl_exec($ch); $curl_info = curl_getinfo($ch); if ($this->callback) { $callback = $this->callback; if (is_callable($this->callback)) { call_user_func($callback, $output, $curl_info, $request); } } else return $output; return true; } private function rolling_curl($thread_size = null) {if ($thread_size){$this->thread_size = $thread_size;} if (count($this->requests) < $this->thread_size){$this->thread_size = count($this->requests);}if ($this->thread_size < 2) { $errorinfo = '线程大小必须大于 1!!!!'; throw new Exception($errorinfo); }$queue = curl_multi_init(); //在线程里开始增加任务队列 for ($i = 0; $i < $this->thread_size; $i++) { $ch = curl_init(); $options = $this->get_options($this->requests[$i]); curl_setopt_array($ch, $options);//获得设置 curl_multi_add_handle($queue, $ch);//添加进去 $key = (string) $ch; $this->requestMap[$key] = $i; }do {while (($statu_run_muti_exec = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM) ;if ($statu_run_muti_exec != CURLM_OK){break;} // 发现完成的一个请求，进行处理 while ($done = curl_multi_info_read($queue)) {$curl_info = curl_getinfo($done['handle']);$output = curl_multi_getcontent($done['handle']);$callback = $this->callback;if (is_callable($callback)){$key = (string) $done['handle'];$request = $this->requests[$this->requestMap[$key]];unset($this->requestMap[$key]);//这个销毁变量用得很帅call_user_func($callback, $output, $curl_info, $request); }//增加一个未处理的请求加入到一个已经完成的队列中if ($i < count($this->requests) && isset($this->requests[$i]) && $i < count($this->requests)) {$ch = curl_init();$options = $this->get_options($this->requests[$i]);curl_setopt_array($ch, $options);curl_multi_add_handle($queue, $ch); $key = (string) $ch; $this->requestMap[$key] = $i;$i++; } curl_multi_remove_handle($queue, $done['handle']);echo "done ";print_r($queue);print_r ($done); }// 这一步非常非常重要如果有一个完成后，要重新设置设置timeout的时间//这里很关键的一点，就是要保证第一次所有的线程里的请求最少有一个是有效的，否则就出现第一次所有的都没有效果，导致 $active=0,因此不执行下面的东西 if ($active >0){curl_multi_select($queue, $this->timeout);} } while ($active); curl_multi_close($queue); return true; } public function execute($thread_size = null) { //判断thread_size的大小如果只有一个请求，就用单线程模式 if (count($this->requests) == 1) { return $this->single_curl(); } else { return $this->rolling_curl($thread_size); } } private function get_options($request) {$options = $this->__get('options');if (ini_get('safe_mode') == 'Off' || !ini_get('safe_mode')) {//$options[CURLOPT_FOLLOWLOCATION] = 1;//$options[CURLOPT_MAXREDIRS] = 5;}$headers = $this->__get('headers');if ($request->options) {$options = $request->options + $options;}$options[CURLOPT_URL] = $request->url;//下面分别对post选项与header选项进行设置if ($request->post_data){$options[CURLOPT_POST] = 1;$options[CURLOPT_POSTFIELDS] = $request->post_data;}if ($headers) {$options[CURLOPT_HEADER] = 0;$options[CURLOPT_HTTPHEADER] = $headers; }return $options; } public function __destruct() { unset($this->thread_size, $this->callback, $this->options, $this->headers, $this->requests); }}?>- 多线程的cURL
- php中curl的多线程
- CURL多线程的严重错误
- php中curl的多线程
- 利用curl 多线程 模拟 并发的详解
- CURL多线程抓取网页
- curl多线程实例
- Curl 多线程类
- CURL 多线程问题
- php curl 多线程抓取
- curl多线程注意事项
- curl多线程下载实现
- Curl多线程|CurlMulti
- curl多线程采集
- curl多线程采集----评论
- curl类多线程采集
- curl多线程抓取数据
- php curl 多线程
- ora-01031:insufficient privileges解决方法
- Kinect程序流程
- 基于opencv2.0的haar算法以人脸识别为例的训练分类器xml的方法
- C# List<T>分页
- ifcfg-eth0 配置
- 多线程的cURL
- static成员变量在两个不同程序分别运行时，数据能否共享的问题。
- JSON.parse()和JSON.stringify()
- 【Android基础入门〖19〗】ExpandableListView酷我音乐界面的下拉菜单
- TOMCAT监控工具Probe的正确安装与使用（注：互联网资料整理而成）
- 与陈总聊的，国家形势与个人选择
- OpenCV训练分类器制作xml文档
- Future和FutureTask
- C和Java JNA获取系统空闲时间 --GetLastInputInfo 函数
