curl_init()和curl_multi_init()多线程的速度比较
来源:互联网 发布:男主是程序员的小说 编辑:程序博客网 时间:2024/05/18 16:54
php中curl_init()的作用很大,尤其是在抓取网页内容或文件信息的时候,例如之前文章curl获得header检测GZip压缩的源代码就介绍到curl_init()的强大。
curl_init()处理事物是单线程模式,如果需要对事务处理走多线程模式,那么php里提供了一个函数curl_multi_init()给我们,这就是多线程模式处理事务的函数。
curl_init()与curl_multi_init()的速度比较
curl_multi_init()多线程能提高网页的处理速度吗?今天我通过实验来验证一下这个问题。
今天我的测试很简单,那就是要抓取www.webkaka.com网页的内容,要连续抓5次,分别用curl_init()和curl_multi_init()函数来完成,记录两者的耗时,比较得出结论。
首先,用curl_init()单线程连续抓5次www.webkaka.com网页的内容。
程序代码如下:
- <?php
- $mtime = explode(" ", microtime());
- $mtime = $mtime[1].($mtime[0] * 1000);
- $mtime2 = explode(".", $mtime);
- $mtime = $mtime2[0];
- echo $mtime;
- echo "<br>";
- for($i=1; $i<=5; $i++){
- $szUrl = 'http://www.webkaka.com/';
- $curl = curl_init();
- curl_setopt($curl, CURLOPT_URL, $szUrl);
- curl_setopt($curl, CURLOPT_HEADER, 0);
- curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($curl, CURLOPT_ENCODING, '');
- $data=curl_exec($curl);
- echo $data;
- echo "<br>";
- $mtime_ = explode(" ", microtime());
- $mtime_ = $mtime_[1].($mtime_[0] * 1000);
- $mtime2_ = explode(".", $mtime_);
- $mtime_ = $mtime2_[0];
- echo $mtime_;
- echo "<br>";
- echo $mtime_ - $mtime;
- }
- ?>
然后,用curl_multi_init()多线程连续抓5次www.webkaka.com网页的内容。
代码如下:
- <?php
- echo date("Y-m-d H:m:s",time());
- echo " ";
- echo floor(microtime()*1000);
- echo "<br>";
- $mtime = explode(" ", microtime());
- $mtime = $mtime[1].($mtime[0] * 1000);
- $mtime2 = explode(".", $mtime);
- $mtime = $mtime2[0];
- echo $mtime;
- echo "<br>";
- $urls = array(
- 'http://www.webkaka.com',
- 'http://www.webkaka.com',
- 'http://www.webkaka.com',
- 'http://www.webkaka.com',
- 'http://www.webkaka.com');
- print_r(async_get_url($urls)); // [0] => example1, [1] => example2
- echo "<br>";
- echo date("Y-m-d H:m:s",time());
- echo " ";
- echo floor(microtime()*1000);
- echo "<br>";
- $mtime_ = explode(" ", microtime());
- $mtime_ = $mtime_[1].($mtime_[0] * 1000);
- $mtime2_ = explode(".", $mtime_);
- $mtime_ = $mtime2_[0];
- echo $mtime_;
- echo "<br>";
- echo $mtime_ - $mtime;
- function async_get_url($url_array, $wait_usec = 0)
- {
- if (!is_array($url_array))
- return false;
- $wait_usec = intval($wait_usec);
- $data = array();
- $handle = array();
- $running = 0;
- $mh = curl_multi_init(); // multi curl handler
- $i = 0;
- foreach($url_array as $url) {
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, $url);
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
- curl_setopt($ch, CURLOPT_TIMEOUT, 30);
- curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
- curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
- curl_setopt($ch, CURLOPT_MAXREDIRS, 7);
- curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
- $handle[$i++] = $ch;
- }
- /* 执行 */
- do {
- curl_multi_exec($mh, $running);
- if ($wait_usec > 0) /* 每个 connect 要间隔多久 */
- usleep($wait_usec); // 250000 = 0.25 sec
- } while ($running > 0);
- /* 读取资料 */
- foreach($handle as $i => $ch) {
- $content = curl_multi_getcontent($ch);
- $data[$i] = (curl_errno($ch) == 0) ? $content : false;
- }
- /* 移除 handle*/
- foreach($handle as $ch) {
- curl_multi_remove_handle($mh, $ch);
- }
- curl_multi_close($mh);
- return $data;
- }
- ?>
为了避免随机性,我分别测了5次(用CTRL+F5强行刷新的方式),数据如下:
curl_init():
第一次第二次第三次第四次第五次平均耗时(ms)372436152540195727942926curl_multi_init():
第一次第二次第三次第四次第五次平均耗时(ms)427529123691419838913793从测试结果来看,我们发现两种方法的耗时差不了太多,只有700多毫秒。很多人原本以为多线程比单线程耗时会短很多,实际上并不是这样的,从数据来看,多线程反而比单线程耗时更多了一点。不过,对于某些事务来说,用多线程来处理不一定是为了追求速度,这个是需要注意的。
关于curl_multi_init()
一般来说,想到要用curl_multi_init()时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()了。
不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看如何解决curl_multi导致网页假死的问题
使用curl_multi的步骤总结如下:
第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close
各函数作用解释:
curl_multi_init()
初始化一个curl批处理句柄资源。
curl_multi_add_handle()
向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
curl_multi_exec()
解析一个curl批处理句柄,curl_multi_exec()函数有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。
curl_multi_remove_handle()
移除curl批处理句柄资源中的某个句柄资源,curl_multi_remove_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。
curl_multi_close()
关闭一个批处理句柄资源。
curl_multi_getcontent()
在设置了CURLOPT_RETURNTRANSFER的情况下,返回获取的输出的文本流。
curl_multi_info_read()
获取当前解析的curl的相关传输信息。
实例
请看本文里async_get_url()的写法。
Tags: curl_init curl_multi_init curl_multi
- curl_init()和curl_multi_init()多线程的速度比较
- curl_init()和curl_multi_init()多线程的速度比较
- curl_init()和curl_multi_init()多线程的速度比较
- curl_multi_init()多线程
- curl_multi_init比curl_init快30倍
- 多线程与串行的速度比较
- curl_multi_init
- VB和API绘图的速度比较
- 比较Swing和SWT的速度
- 比较Java和C++的运行速度
- decimal 和double的运算速度比较
- 利用curl_multi_init并行多线程处理网络数据
- 文件和数据库存储数据的速度比较
- 几个比较常用和速度不错的ubuntu更新源
- 几个比较常用和速度不错的ubuntu更新源
- 几个比较常用和速度不错的ubuntu更新源
- 【转】几个比较常用和速度不错的ubuntu源
- V8和JavaScriptCore在Android Froyo上的速度比较
- hdu2055 An easy problem(C语言)
- 2017.7.28 tls相关测试
- 亲身经历唐山大地震的人生感悟
- hpu暑假训练C
- UVA699-例题6-10 下落的树叶(The Falling Leaves,UVa 699)
- curl_init()和curl_multi_init()多线程的速度比较
- 当加载一个动态库时,可能因为这个动态库依赖于其他的动态库,而加载他的时候找到这个动态库之后默认到系统盘去找其依赖的动态库而导致没有找到其 依赖的动态库。
- HDU 3746 KMP
- IOC容器的简单介绍
- 【QT】QPA
- 定制自己的Unity场景编辑工具界面(一)
- android 检测USB是U盘还是外设
- 面试题
- HDU 2017 多校联赛2 1011 Regular polygon