php多进程处理
来源:互联网 发布:matlab定义未知数组 编辑:程序博客网 时间:2024/06/05 19:37
来源:http://www.cnblogs.com/yjf512/p/4688451.html
往往我们会碰到一个情况,需要写一个脚本,这个脚本要处理的数据量极大,单进程处理脚本非常慢,那么这个时候就会想到使用多进程或者多线程的方式了。
我习惯使用多进程的方式,php中使用多进程的时候需要使用pcntl,pcntl的使用可以看这个PHP的pcntl多进程
但是这里有一个问题,一个主进程把任务分成n个部分,然后把任务分配给多个子进程,但是任务可能是有返回值的,所有的子进程处理完返回值以后需要把返回值返回给主进程。
这个就涉及到了进程间通信了。进程间通信可以使用的方法当然很多了,比如用redis,用数据库,用文件等。
php中最简单的要算shmop相关函数了。
- shmop_open
- shmop_read
- shmop_write
- shmop_size
- shmop_delete
那怎么让一个类很容易有多进程处理的能力呢?可以使用php的trait,创建一个PcntlTrait,所有需要有多进程处理功能的类就use 这个trait就行。
PcntlTrait代码如下:
<?php namespace App\Console\Commands;trait PcntlTrait{ private $workers = 1; public function worker($count) { $this->workers = $count; } public function pcntl_call($all, \Closure $callback) { $perNum = ceil(count($all) / $this->workers); $pids = []; for($i = 0; $i < $this->workers; $i++){ $pids[$i] = pcntl_fork(); switch ($pids[$i]) { case -1: echo "fork error : {$i} \r\n"; exit; case 0: $data = []; try { $data = $callback(array_slice($all, $i * $perNum, $perNum)); } catch(\Exception $e) { echo ($e->getMessage()); } $shm_key = ftok(__FILE__, 't') . getmypid(); $data = json_encode($data); $shm_id = shmop_open($shm_key, "c", 0777, strlen($data) + 10); shmop_write($shm_id, $data, 0); shmop_close($shm_id); exit; default: break; } } // only master process will go into here $ret = []; foreach ($pids as $i => $pid) { if($pid) { pcntl_waitpid($pid, $status); $shm_key = ftok(__FILE__, 't') . $pid; $shm_id = shmop_open($shm_key, "w", 0, 0); $data = trim(shmop_read($shm_id, 0, shmop_size($shm_id))); $data = json_decode($data, true); $ret = array_merge($ret, $data); @shmop_close($shm_id); @shmop_delete($shm_id); } } return $ret; }}
它有两个参数,第一个参数为传入数组,第二个参数为数组处理函数。
它的具体使用通过下面这个测试用例可以看出:
<?phpuse App\Console\Commands\PcntlTrait;class PcntlImp{ use PcntlTrait;}class TestPcntlTrait extends \TestCase{ public function setup() { $this->createApplication(); } public function testPcntlCall() { $arr = [1,2,3,4,5,6,7,8,9,10]; $imp = new \PcntlImp(); $imp->worker(2); $data = $imp->pcntl_call($arr, function($info){ if (empty($info)){ return []; } $ret = []; foreach ($info as $item) { $ret[] = $item * $item; } return $ret; }); $this->assertEquals(10, count($data)); $this->assertEquals(25, $data[4]); }}
非常方便~~
0 0
- php 多进程处理
- php多进程处理
- PHP nodejs 多进程处理
- PHP后台多进程任务处理类
- PHP多进程处理并行处理任务实例
- PHP多进程处理并行处理任务实例
- PHP多进程处理并行处理任务实例
- liunx下php处理多进程样例
- PHP使用多进程解决办法处理大数据/内存泄漏
- python 启动多个php进程处理数据
- PHP利用Gearman来处理并行多进程问题
- PHP使用QPM实现多进程并行任务处理程序
- PHP 使用 QPM 实现多进程并行任务处理程序
- [并发] -- PHP并发多进程处理利器Gearman
- Socket学习 - PHP+Socket多进程处理请求学习
- Socket学习 - php+Socket多进程处理速学:防止子进程无限增加
- python多进程处理
- PHP多进程编程
- Python学习笔记(三)
- Google 面试题 10 | 最多有k个不同字符的最长子字符串
- POJ 1502 MPI Maelstrom (SPFA)
- 插入排序的疑问
- ON、WHERE、HAVING的区别
- php多进程处理
- Android学习路线图
- orcale 中varchar2 和nvarchar2的区别
- oracle面试题
- 数据库 Oracle分区介绍
- Python学习笔记(四)
- 存在一个表而不在另一个表的数据
- PHP的pcntl多进程
- VIM编辑器基本使用命令