高并发下CURL请求缓慢原因及解决方…
来源:互联网 发布:js 打开页面 编辑:程序博客网 时间:2024/06/05 08:17
这几天在做一个对内的服务:
由一个封装好的类发送curl请求到接收端,接收端收到鉴权后入到队列内。
开发完毕后自己使用php单进程能够达到每秒400左右请求。
但是使用ab、loadrunner,100高并发的时候发现每秒只能处理8个请求。
而并发在10个的时候一切正常
经过测试发现当发送端和接收端都在同一台服务器的时候会有这个现象。
起初怀疑是curl有问题,几次尝试无果。
又通过写性能日志进行排查,发现php客户端处curl执行时间很长(平均8秒处理完一个),响应端代码实际处理时间很短。
而用top命令发现php-fpm进程启动很少,只有10几个每秒
百思不得其解……
后来单步调试逐步将注意力从curl上转到nginx及php-fpm上,首先觉得nginx肯定没问题,后来转移到php-fpm上,发现curl请求虽然过去,但是php-fpm好像被限制住,启动很多链接接口但是就是不处理一直在等待。
查看linux load正常
中午吃饭前四处搜索了下优化相关信息
突然发现linux下最大文件打开数的提示
悲催啊,终于找到原因在哪里了
php-fpm自己限制了进程可以打开文件个数,linux下也对最大打开文件个数进行了限制
我们的开发机是虚拟机,所以也没有针对运营时使用环境进行优化……
解决方法如下
修改php-fpm.conf
rlimit_files改成65535
修改/etc/security/limits.conf
* soft nofile 51200
* hard nofile 51200
用命令netstat-np | grep:9000 |wc -l如果很少
那么修改php-fpm.conf
max_children改多一些比如200
手动执行以下命令可以增加系统打开文件句柄个数
ulimit-HSn 65536
ulimit -n可以查看当前最大打开文件句柄个数
以上……经过测试,每秒8个请求的事情解决掉了,各种黑线……
由一个封装好的类发送curl请求到接收端,接收端收到鉴权后入到队列内。
开发完毕后自己使用php单进程能够达到每秒400左右请求。
但是使用ab、loadrunner,100高并发的时候发现每秒只能处理8个请求。
而并发在10个的时候一切正常
经过测试发现当发送端和接收端都在同一台服务器的时候会有这个现象。
起初怀疑是curl有问题,几次尝试无果。
又通过写性能日志进行排查,发现php客户端处curl执行时间很长(平均8秒处理完一个),响应端代码实际处理时间很短。
而用top命令发现php-fpm进程启动很少,只有10几个每秒
百思不得其解……
后来单步调试逐步将注意力从curl上转到nginx及php-fpm上,首先觉得nginx肯定没问题,后来转移到php-fpm上,发现curl请求虽然过去,但是php-fpm好像被限制住,启动很多链接接口但是就是不处理一直在等待。
查看linux load正常
中午吃饭前四处搜索了下优化相关信息
突然发现linux下最大文件打开数的提示
悲催啊,终于找到原因在哪里了
php-fpm自己限制了进程可以打开文件个数,linux下也对最大打开文件个数进行了限制
我们的开发机是虚拟机,所以也没有针对运营时使用环境进行优化……
解决方法如下
修改php-fpm.conf
rlimit_files改成65535
修改/etc/security/limits.conf
*
*
用命令netstat
那么修改php-fpm.conf
max_children改多一些比如200
手动执行以下命令可以增加系统打开文件句柄个数
ulimit
ulimit -n可以查看当前最大打开文件句柄个数
以上……经过测试,每秒8个请求的事情解决掉了,各种黑线……
阅读全文
0 0
- 高并发下CURL请求缓慢原因及解决方…
- 高并发测试下的一些问题及解决
- 高并发测试下的一些问题及解决
- 高并发测试下的一些问题及解决
- Redis和请求队列解决高并发
- 数据库优化相关的知识,及高并发下的数据库优化,解决数据库并发瓶颈
- 高并发下合并接口请求
- 利用redis缓存解决高并发下后端重复请求措施
- 利用redis缓存解决高并发下后端重复请求措施
- CPU使用率高的原因及解决
- curl多请求并发使用
- 大数据高并发系统架构解决千万上亿请求
- DVD刻录缓慢的原因及方法
- 模拟高并发请求
- curl 获取最后一次传输的http_code的应用和解决请求并发的问题
- 高并发下PHP请求Redis异常处理
- 高并发下PHP请求Redis异常处理
- 高并发情况下 如何支撑大量的请求
- JPA学习
- innodb变态分页,COUNT
- JAVA积累
- log文件owener自动变化问题
- 将博客搬至CSDN
- 高并发下CURL请求缓慢原因及解决方…
- PHP可控制并发数的异步并发CURL
- SocketIO总结
- 科学家制作出首张黑洞相片的猜想
- mysql什么时候支持反向索引?
- 30 spinlock_t自旋锁和semaphore信号量
- sphinx的实时索引
- mysql集成的key-value引擎-个人翻…
- Gearman Manager安装及碰到的问题