nginx服务，HTTPS_性能测试调优（辅助同事一起测试研究的）

来源：互联网发布：仅限数据连接编辑：程序博客网时间：2024/06/17 15:02

通过线下虚拟机做实际测试，寻找 SSL 的优化方法

以上测试均是 HTTPS 在 MISS 情况的压测。

#1 #2 均是未调整 SSL 算法和 cache buffer

#3 #4 均是调整过 SSL 算法和 cache buffer

结论，通过总完成时间、并发请求完成时间、单一请求完成时间、链接处理完成平均时间对比，发现并无性能提升。

[root@fcdtest-haproxy ~]# ab -n 10000 -c 100 https://imga.yukusoft.com/cdntest.apk
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking imga.yukusoft.com (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Completed 10000 requests
Finished 10000 requests

Server Software: nginx/1.9.9
Server Hostname: imga.yukusoft.com
Server Port: 443
SSL/TLS Protocol: TLSv1/SSLv3,ECDHE-RSA-AES256-GCM-SHA384,2048,256

Document Path: /cdntest.apk
Document Length: 1895420 bytes

Concurrency Level: 100
Time taken for tests: 112.750 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 18958885699 bytes
HTML transferred: 18956095420 bytes
Requests per second: 88.69 [#/sec] (mean)
Time per request: 1127.503 [ms] (mean)
Time per request: 11.275 [ms] (mean, across all concurrent requests)
Transfer rate: 164208.29 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 11 68 54.0 55 544
Processing: 22 1058 83.5 1064 1561
Waiting: 1 25 20.8 19 195
Total: 35 1126 105.2 1119 2085

Percentage of the requests served within a certain time (ms)
50% 1119
66% 1129
75% 1137
80% 1144
90% 1175
95% 1220
98% 1290
99% 1394
100% 2085 (longest request)
[root@fcdtest-haproxy ~]# ab -n 10000 -c 100 https://imga.yukusoft.com/cdntest.apk
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking imga.yukusoft.com (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Completed 10000 requests
Finished 10000 requests

Server Software: nginx/1.9.9
Server Hostname: imga.yukusoft.com
Server Port: 443
SSL/TLS Protocol: TLSv1/SSLv3,ECDHE-RSA-AES256-GCM-SHA384,2048,256

Document Path: /cdntest.apk
Document Length: 1895420 bytes

Concurrency Level: 100
Time taken for tests: 115.199 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 18956990000 bytes
HTML transferred: 18954200000 bytes
Requests per second: 86.81 [#/sec] (mean)
Time per request: 1151.994 [ms] (mean)
Time per request: 11.520 [ms] (mean, across all concurrent requests)
Transfer rate: 160701.20 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 11 79 54.1 69 543
Processing: 21 1071 85.4 1074 1588
Waiting: 1 25 20.5 18 187
Total: 33 1150 106.9 1145 2075

Percentage of the requests served within a certain time (ms)
50% 1145
66% 1155
75% 1163
80% 1169
90% 1187
95% 1207
98% 1266
99% 1393
100% 2075 (longest request)

测试方法：

通过增量测试 Nginx 参数，reload Nginx，然后分别通过 chrom ，IE10 进行访问，每次访问都要刷新浏览器。同时开启 WireShark 抓包。

测试节点：

北京 PC 机固定 host 访问山西联通 edge

测试参数：

proxy_ssl_session_reuse on;
ssl_session_cache shared:SSL:50m;
ssl_ciphers ALL:!DH:!EXPORT:!RC4:+HIGH:+MEDIUM:!LOW:!aNULL:!eNULL;

#ssl_ciphers ALL:!kEDH!ADH:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
ssl_prefer_server_ciphers on;
ssl_session_tickets on;
ssl_buffer_size 1460;

tcp_nodelay on;

测试结果：

chrom 测试：

#1 调整任何参数，对 SSL 的验证时间都不会产生明显的优化效果，

从 TCP 三次握手到 SSL 握手成功，总共耗时 45-50ms 左右，

TCP 建联的 RTT 消耗在 20ms 左右。

#2 服务端每次增量修改 Nginx 配置 reload 后，都会触发 chrom 客户端的 ssl_session_ticket。

IE 10 测试：

#1 调整任何参数，对 SSL 的验证时间都不会产生明显的优化效果，

但从 TCP 三次握手到 SSL 握手成功，总共耗时 90ms 左右，比 chrom 测试多了 2 倍 RTT。

TCP 建联的 RTT 消耗在 20ms 左右。

#2 服务端每次增量修改 Nginx 配置 reload 后，都不会触发 IE 客户端的 ssl_session_ticket。

其他测试（openssl 证书性能验证）

测试方法：

通过 openssl s_time -connect test.fastweb.com.cn:443 方法，验证两台 TTL 不同的机器（跳板机到目标的 TTL）。每次增量修改 Nginx 配置，两台机器保持一致。

221.204.202.115 test.fastweb.com.cn （TTL 52）
202.150.18.15 test.fastweb.com.cn（TTL 49）

针对证书的生成方式上又做了相关的调整验证，测试结果还在用基调观测中。

测试方法：

openssl ecparam -name secp256k1 -genkey -noout -out myecdsa.private.key

openssl req -new -sha256 -key [私钥地址] -out [想要csr的地址]

openssl req -new -nodes -x509 -key [私钥地址] -out [想要的crt的地址] -days [想要的天数]

测试结果：

使用新生成的证书布置到线上，目前基调只采出了一个调整后的点，性能耗时已经下来，但还需大量的数据采集来验证。

测试结论：

通过近几天的测试，发现 Nginx 能控制的参数基本都是在网络层面，而现在能够看到我们的瓶颈还是在证书验证上出现问题（已经证实证书的验证时间长短和 RTT 有直接关系，但是目前已经将 RTT 保持本地设备覆盖，所以 RTT 问题基本可以忽略）。

最新测试结果：

#1 通过 openssl s_time -connect 的测试方法，验证快网的证书，在 reuse 时候，经常会出现重用失败的现象。

该现象会随机出现在任意 c06.i06 平台节点。Nginx 上已经配置过 proxy_ssl_session_reuse

ssl_session_cache 相关参数。但是无法解决重用失败的现象。

#2 通过抓包发现，目前时间开销出现在两个地方。

客户端验证证书直到服务端交换秘钥完成。

客户端和发送 Application Data，到服务端接收。

[root@ctl-jx-059-063-188-151 ~]# openssl s_time -connect test.fastweb.com.cn:443
No CIPHER specified
Collecting connection statistics for 30 seconds
*********************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************

477 connections in 1.45s; 328.97 connections/user sec, bytes read 0
477 connections in 31 real seconds, 0 bytes read per connection

Now timing with session id reuse.
starting
*****r****rrr*****r*r**r***r*******r******rrrr****r*rr*r*****r****r**********r*******r*****r*****rr**r*****r**rr*rr***r***************r************r*r**********************r*********r**r*r**r*************rr**r********rr******r**r***r*****r*r******r*rrrr****rr*****r***r********r***rr*******r*rr****r***rr***r*r**r********r*r******r*****r***r**r********r******r********r****r***r*r**r******rrr*********r****r*****r***r****r**r*r*****r****r****r*r*r*******r*********r****r**rr*r**r**rr**************r***rrr*rrr**r***r*****

520 connections in 1.28s; 406.25 connections/user sec, bytes read 0
520 connections in 31 real seconds, 0 bytes read per connection

目前 Nginx 配置如下：

server {
listen 443;
server_name test.fastweb.com.cn;
ssl on;
ssl_certificate /*/nginx/ssl/auto_test.fastweb.com.cn(0).crt;
ssl_certificate_key /*/nginx/ssl/auto_test.fastweb.com.cn(1).key;
access_log "|/usr/sbin/cronolog -p '1 min' /*/logs/%Y%m%d%H%M/nginx-test.fastweb.com.cn-%Y%m%d%H%M.log" main;
error_log "|/usr/sbin/cronolog /*/logs/err_log/%Y%m%d_test.fastweb.com.cn_error.log";

################################
#新增关于 ocsp 的配置
################################
ssl_stapling on;
ssl_stapling_verify on;
resolver DNS_IP valid=300s;
resolver_timeout 10s;
ssl_trusted_certificate /opt/nginx/ssl/gd_bundle-g2-g1.crt;
ssl_stapling_file /opt/nginx/ssl/stapling_ocsp;
add_header Strict-Transport-Security "max-age=31536000";
################################
#END
################################

################################
#新增关于 nginx 的配置
################################
proxy_ssl_session_reuse on;
ssl_session_cache shared:ssl:50m;
ssl_ciphers ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-RC4-SHA:!ECDHE-RSA-RC4-SHA:ECDH-ECDSA-RC4-SHA:ECDH-RSA-RC4-SHA:ECDHE-RSA-AES256-SHA:!RC4-SHA:HIGH:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!CBC:!EDH:!kEDH:!PSK:!SRP:!kECDH;
ssl_prefer_server_ciphers on;
ssl_session_tickets on;
ssl_buffer_size 128;
################################
#END
################################

location / {
add_header X-Cache "PASS from front.ssl.nginx";
proxy_pass_header User-Agent;
proxy_pass http://local_fastcache;
}
}

目前优化瓶颈：

即使配置过 OCSP 和 Nginx 的参数后，但依然无法提升基调数据的性能

测试结束：

总结调优完的效果：

从 1.5 号起，对 vivo 进行线上优化参数部署，主要分为：Nginx 参数， OCSP 证书参数，两部分。

测试效果数据已经添加到附件中，数据无明显好转，目前已经恢复到测试之前的状况。

主要影响数据不稳定的因素：

高点基本上很多都是 RTT 不稳定的情况，一般都很大。

快网证书的性能确实不如友商证书性能高，retry 时总会有失败的情况

0 0