[并发] -- PHP并发多进程处理利器Gearman
来源:互联网 发布:淘宝上传图片不清楚 编辑:程序博客网 时间:2024/06/18 10:18
PHP并发多进程处理利器Gearman
工作中我们有时候会遇到比如需要同时发布数据到多个个服务器上,或者同时处理多个任务。可以使用PHP的curl_multi的方式并发处理请求,但是由于网络和数据以及各个服务器等等的一些情况导致这种并发处理的响应时间很慢,因为在并发请求的过程中还包括记录日志,处理数据等逻辑,等待处理结果并返回,所以也不能友好的满足后台操作的体验。
现在有另外一种方案,利Gearman来实现并发的需求。通过Client将请求发送到Gearman的Jobs,在每个Work中来再来进行curl_multi和数据处理和日志等一些操作,同时用supervisor 来监控Gearman以及Works的进程,这样可以实现一个并行的多进程和负载均衡的方案。
Gearman可以做什么:
异步处理:图片处理,订单处理,批量邮件/通知之类的
要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志聚集,视频编码
分布式和并行的处理
定时处理:增量更新,数据复制
限制速率的FIFO处理
分布式的系统监控任务
Gearman工作原理:
使用Gearman的应用通常有三部分组成:一个Client、一个Worker、一个 任务服务器。 Client的作用是提出一个 Job 任务 交给 Job Server 任务服务器。Job Server 会去寻找一个 合适的 Worker 来完成这项任务。Worker 执行由 Client 发送过来的 Job,并且将结果通过 Job Server 返回给 Client。Gearman 提供了 Client 和 Worker 的 API,利用这些API 应用可以同 Gearman Job Server来进行通信。Gearman 内部 Client 和 Worker 之间的通信都是通过 TCP 连接来进行的。
Gearman可以将工作的负载分担到不同的机器中。
安装:
rpm -ivh http://dl.iuscommunity.org/pub/ius/stable/Redhat/6/x86_64/epel-release-6-5.noarch.rpmyum install -y gearmand启动:
gearmand -d
安装PHP Gearman扩展
我都是用pcel来安装的,你也可以下载源码包来编译安装,但是记得要先安装libgearman和re2c,不然扩展编译安装会出错。
pecl install gearman #不成功并提示版本问题可以试试 pecl install gearman-1.0.3,默认好像是1.1.21编译安装也很简单1wget -c http://pecl.php.net/get/gearman-1.1.1.tgztar zxvf gearman-1.1.1.tgzphpize./configuremake && make installecho "extension=gearman.so" >> /etc/php.ini
PHP接口函数
Gearman提供很多完善的扩展函数,包括GearmanClient,GearmanJob,GearmanTask,GearmanWorker,具体可以查看PHP官方手册.
这是官方提供的Example其中的一个,相当与一个并发的分发任务处理的例子
<?php$client = new GearmanClient();$client->addServer();// initialize the results of our 3 "query results" here$userInfo = $friends = $posts = null;// This sets up what gearman will callback to as tasks are returned to us.// The $context helps us know which function is being returned so we can// handle it correctly.$client->setCompleteCallback(function(GearmanTask $task, $context) use (&$userInfo, &$friends, &$posts) {switch ($context){case 'lookup_user':$userInfo = $task->data();break;case 'baconate':$friends = $task->data();break;case 'get_latest_posts_by':$posts = $task->data();break;}});// Here we queue up multiple tasks to be execute in *as much* parallelism as gearmand can give us$client->addTask('lookup_user', 'joe@joe.com', 'lookup_user');$client->addTask('baconate', 'joe@joe.com', 'baconate');$client->addTask('get_latest_posts_by', 'joe@joe.com', 'get_latest_posts_by');echo "Fetching...\n";$start = microtime(true);$client->runTasks();$totaltime = number_format(microtime(true) - $start, 2);echo "Got user info in: $totaltime seconds:\n";var_dump($userInfo, $friends, $posts);gearman_work.php
<?php$worker = new GearmanWorker();$worker->addServer();$worker->addFunction('lookup_user', function(GearmanJob $job) {// normally you'd so some very safe type checking and query binding to a database here.// ...and we're gonna fake that.sleep(3);return 'The user requested (' . $job->workload() . ') is 7 feet tall and awesome';});$worker->addFunction('baconate', function(GearmanJob $job) {sleep(3);return 'The user (' . $job->workload() . ') is 1 degree away from Kevin Bacon';});$worker->addFunction('get_latest_posts_by', function(GearmanJob $job) {sleep(3);return 'The user (' . $job->workload() . ') has no posts, sorry!';});while ($worker->work());
我在3个终端中都执行了gearman_work.php
ryan@ryan-lamp:~$ ps aux | grep gearman* | grep -v grepgearman 1504 0.0 0.1 60536 1264 ? Ssl 11:06 0:00 /usr/sbin/gearmand --pid-file=/var/run/gearman/gearmand.pid --user=gearman --daemon --log-file=/var/log/gearman-job-server/gearman.log --listen=127.0.0.1ryan 2992 0.0 0.8 43340 9036 pts/0 S+ 14:05 0:00 php /var/www/gearmand_work.phpryan 3713 0.0 0.8 43340 9036 pts/1 S+ 14:05 0:00 php /var/www/gearmand_work.phpryan 3715 0.0 0.8 43340 9036 pts/2 S+ 14:05 0:00 php /var/www/gearmand_work.php来查看下执行gearman_work.php的结果shell
Fetching...Got user info in: 3.03 seconds:string(59) "The user requested (joe@joe.com) is 7 feet tall and awesome"string(56) "The user (joe@joe.com) is 1 degree away from Kevin Bacon"string(43) "The user (joe@joe.com) has no posts, sorry!"
看到上面的3.03 seconds,说明client请求过去的任务被并行分发执行了。
在实际的生产环境中,为了监测gearmand和work的进程没有被意外退出,我们可以借助Supervisor这个工具.
- [并发] -- PHP并发多进程处理利器Gearman
- PHP实现异步处理利器-Gearman
- PHP利用Gearman来处理并行多进程问题
- php并发处理
- php并发处理
- php 多线程并发处理
- Nginx多进程并发连接处理模型
- 并发处理随想-多进程与多线程
- php命令行脚本多进程并发执行
- SimpleFork php多进程并发框架
- 从并发处理谈PHP进程间通信----并发锁表操作
- PHP 线程,进程和并发
- PHP 处理高并发问题
- php+redis+TP处理并发
- 1.多进程并发
- 摘录:多进程并发
- 多进程并发编程
- 多进程并发服务器
- jquery里面.length和.size()有什么区别
- 在线查询CD
- 论文数据查找和论文参考准确搜索定位
- elasticsearch.yml 集群配置文件参数
- 利用Openfire+spark+Smack实现XMPP即时通信
- [并发] -- PHP并发多进程处理利器Gearman
- C++处理json数据——jsoncpp在Visual Studio 2010 的配置与使用(上)
- Yii2.0 增删改查
- sql高级语法入门
- typedef 函数指针的用法
- oracle查看/修改最大连接数和当前连接数/用户等信息
- 线程局部变量__thread关键字
- tomcat server
- swift中让控件浮在上层