nginx模块之计算HTTP首包响应时间
来源:互联网 发布:官方双色球选号软件 编辑:程序博客网 时间:2024/06/09 15:53
这里讲计算nginx的首包响应时间,那首先首包是什么意思呢?它表示从nginx收到GET请求到发送第一个数据包的这段时间。这段时间包括了nginx协议分析到准备数据的这段时间,在CDN系统上它可作为一项质量监控指标。例如有可能服务器磁盘io过高导致准备数据的时间过长,也有可能本地缓存MISS需要回源等。那么,我们怎么设计一个HTTP模块来计算这个首包响应时间呢?NGINX HTTP框架依据常见的处理流程划分了11个HTTP请求处理阶段,我们自己设计模块的时候通常是在相应的阶段添加自己的请求处理方法,这里也不例外。当HTTP框架在建立的TCP连接上接收到客户发送的完整HTTP请求头部时,首先会执行NGX_HTTP_POST_READ_PHASE阶段的checker方法。任意HTTP模块需要在NGX_HTTP_POST_READ_PHASE阶段处理HTTP请求时,必然首先在ngx_http_core_main_conf_t结构体中的phases[NGX_HTTP_POST_READ_PHASE]动态数组中添加自己实现的ngx_http_handler_pt方法。例如,nginx realip模块的ngx_http_realip_handlers方法就是添加在这个阶段,在nginx作为反向代理时,它会获取用户的真实ip,并将该ip添加到HTTP头部,这样proxy后端的服务器通过解析HTTP头部字段就能拿到用户的真实ip了。nginx realip它在postconfiguration方法中是这样将自己定义的ngx_http_handle_pt处理方法添加到HTTP框架中去的,如下所示:
//该方法就是postfiguration接口的实现static ngx_int_tngx_http_realip_init(ngx_conf_t *cf){ ngx_http_handler_pt *h; ngx_http_core_main_conf_t *cmcf; cmcf = ngx_http_conf_get_module_main_conf(cf, ngx_http_core_module); h = ngx_array_push(&cmcf->phases[NGX_HTTP_POST_READ_PHASE].handlers); if (h == NULL) { return NGX_ERROR; } *h = ngx_http_realip_handler; h = ngx_array_push(&cmcf->phases[NGX_HTTP_PREACCESS_PHASE].handlers); if (h == NULL) { return NGX_ERROR; } *h = ngx_http_realip_handler; return NGX_OK;}
我们要计算nginx首包响应的时间,也就是要计算收到完整请求到发送首包的这段时间,因此可以考虑在NGX_HTTP_POST_READ_PHASE阶段添加自定义方法,先初始化一个时间,这就是开始时间。那么,我们在哪里去标记发送首包的这个时间呢?这个需要先了解一下nginx发送响应的流程。nginx明确地将HTTP响应分为两个部分:HTTP头部和HTTP包体,它调用ngx_http_send_header发送HTTP头部,如果还有包体要发送将调用ngx_http_output_filter发送HTTP包体。我们标记首包发送时间理应在发送头部响应的逻辑里,此时普通HTTP模块已经处理请求完毕。以下是ngx_http_send_header代码:
ngx_int_tngx_http_send_header(ngx_http_request_t *r){ if (r->post_action) { return NGX_OK; } if (r->header_sent) { ngx_log_error(NGX_LOG_ALERT, r->connection->log, 0, "header already sent"); return NGX_ERROR; } if (r->err_status) { r->headers_out.status = r->err_status; r->headers_out.status_line.len = 0; } return ngx_http_top_header_filter(r);}发送头部时调用了ngx_http_top_header_filter,HTTP框架对其定义如下:
extern ngx_http_output_header_filter_pt ngx_http_top_header_filter;
typedef ngx_int_t (*ngx_http_output_header_filter_pt) (ngx_http_request_t *r);
ngx_http_output_header_filter_pt是HTTP过滤模块处理HTTP头部的方法原型,HTTP框架将所有过滤模块组成一个过滤链表,而ngx_http_top_header_filter为该链表头。在发送HTTP头部时,从ngx_http_top_header_filter指针指向的过滤模块开始执行。我们要做的就是新增一个过滤模块,目的在于记录首包发送的时间。计算首包响应的模块代码如下:
#include <ngx_config.h>#include <ngx_core.h>#include <ngx_http.h>typedef struct { ngx_flag_t onoff;} ngx_http_first_byte_loc_conf_t;typedef struct { time_t first_byte_sec; /* head filter phase */ ngx_msec_t first_byte_msec; /* head filter phase */} ngx_http_first_byte_ctx_t;static ngx_command_t ngx_http_first_byte_commands[] = { { ngx_string("first_byte"), NGX_HTTP_MAIN_CONF | NGX_HTTP_SRV_CONF | NGX_HTTP_LOC_CONF | NGX_CONF_TAKE1, ngx_conf_set_flag_slot, NGX_HTTP_LOC_CONF_OFFSET, offsetof(ngx_http_first_byte_loc_conf_t, onoff), NULL }, ngx_null_command};static ngx_int_t ngx_http_first_byte_init(ngx_conf_t* cf);static void* ngx_http_first_byte_create_loc_conf(ngx_conf_t* cf);static char* ngx_http_first_byte_merge_loc_conf(ngx_conf_t* cf, void* parent, void* child);static ngx_int_t ngx_http_first_byte_add_variable(ngx_conf_t* cf);static ngx_int_t ngx_http_first_byte_var_get_handler(ngx_http_request_t* r, ngx_http_variable_value_t* v, uintptr_t data);static ngx_http_output_header_filter_pt ngx_http_next_header_filter;static ngx_int_t ngx_http_first_byte_post_read_phase_handler(ngx_http_request_t* r);static ngx_http_module_t ngx_http_first_byte_module_ctx = { ngx_http_first_byte_add_variable, /* preconfiguration */ ngx_http_first_byte_init, /* postconfiguration */ NULL, /* create main configuration */ NULL, /* init main configuration */ NULL, /* create server configuration */ NULL, /* merge server configuration */ ngx_http_first_byte_create_loc_conf, /* create location configuration */ ngx_http_first_byte_merge_loc_conf, /* merge location configuration */};ngx_module_t ngx_http_first_byte_module = { NGX_MODULE_V1, &ngx_http_first_byte_module_ctx, /* module context */ ngx_http_first_byte_commands, /* module directives */ NGX_HTTP_MODULE, /* module type */ NULL, /* init master */ NULL, /* init module */ NULL, /* init process */ NULL, /* init thread */ NULL, /* exit thread */ NULL, /* exit process */ NULL, /* exit master */ NGX_MODULE_V1_PADDING};static ngx_int_t ngx_http_first_byte_add_variable(ngx_conf_t* cf) { ngx_http_variable_t* var = NULL; ngx_str_t str = ngx_string("first_byte"); var = ngx_http_add_variable(cf, &str, NGX_HTTP_VAR_CHANGEABLE); if (var == NULL) { return NGX_ERROR; } var->get_handler = ngx_http_first_byte_var_get_handler; return NGX_OK;}static ngx_int_t ngx_http_first_byte_var_get_handler(ngx_http_request_t* r, ngx_http_variable_value_t* v, uintptr_t data) { ngx_http_first_byte_ctx_t* ctx = ngx_http_get_module_ctx(r, ngx_http_first_byte_module); if (!ctx || ctx->first_byte_sec == 0) { v->valid = 0; v->not_found = 1; return NGX_OK; } u_char* p = ngx_pcalloc(r->pool, 20); v->len = ngx_sprintf(p, "%l", (ctx->first_byte_sec - r->start_sec) * 1000 + (ctx->first_byte_msec - r->start_msec)) - p; v->data = p; v->valid = 1; v->not_found = 0; return NGX_OK;}/*响应头过滤方法中设置first_byte_sec,first_byte_msec时间*/static ngx_int_t ngx_http_first_byte_header_filter(ngx_http_request_t* r) { ngx_http_first_byte_loc_conf_t* fblcf = ngx_http_get_module_loc_conf(r, ngx_http_first_byte_module); if (!fblcf->onoff) { return ngx_http_next_header_filter(r); } ngx_time_t* tp = NULL; tp = ngx_timeofday(); ngx_http_first_byte_ctx_t* ctx = ngx_http_get_module_ctx(r, ngx_http_first_byte_module); if (!ctx) { return ngx_http_next_header_filter(r); } ctx->first_byte_sec = tp->sec; //开始发送请求响应头,计时 ctx->first_byte_msec = tp->msec; return ngx_http_next_header_filter(r);}static ngx_int_t ngx_http_first_byte_post_read_phase_handler(ngx_http_request_t* r) { // get config value ngx_http_first_byte_loc_conf_t* fblcf = ngx_http_get_module_loc_conf(r, ngx_http_first_byte_module); // if == 0 return next handler if (!fblcf->onoff) { return NGX_DECLINED; //当前处理方法执行完毕,按照顺序执行下一个ngx_http_handler_pt方法 } ngx_time_t* tp = NULL; tp = ngx_timeofday(); // maollc memory form current ngx_http_request mem pool // so when the request is closed,the mem is GCed too //必须在当前请求的内存池r->pool中分配上下文结构体,这样请求结束的时候占用的结构体才会释放 ngx_http_first_byte_ctx_t* ctx = ngx_pcalloc(r->pool, sizeof(ngx_http_first_byte_ctx_t)); ctx->first_byte_sec = 0; ctx->first_byte_msec = 0; ngx_http_set_ctx(r, ctx, ngx_http_first_byte_module); return NGX_DECLINED;}static ngx_int_t ngx_http_first_byte_init(ngx_conf_t* cf) { ngx_http_handler_pt* h = NULL; ngx_http_core_main_conf_t* cmcf = NULL; ngx_http_next_header_filter = ngx_http_top_header_filter; ngx_http_top_header_filter = ngx_http_first_byte_header_filter; cmcf = ngx_http_conf_get_module_main_conf(cf, ngx_http_core_module); h = ngx_array_push(&cmcf->phases[NGX_HTTP_POST_READ_PHASE].handlers); if (h == NULL) { return NGX_ERROR; } *h = ngx_http_first_byte_post_read_phase_handler; return NGX_OK;}static void* ngx_http_first_byte_create_loc_conf(ngx_conf_t* cf) { ngx_http_first_byte_loc_conf_t* fblcf = ngx_pcalloc(cf->pool, sizeof(ngx_http_first_byte_loc_conf_t)); fblcf->onoff = NGX_CONF_UNSET; return fblcf;}static char* ngx_http_first_byte_merge_loc_conf(ngx_conf_t* cf, void* parent, void* child) { ngx_http_first_byte_loc_conf_t* prev = (ngx_http_first_byte_loc_conf_t*) parent; ngx_http_first_byte_loc_conf_t* conf = (ngx_http_first_byte_loc_conf_t*) child; ngx_conf_merge_value(conf->onoff, prev->onoff, 0); return NGX_CONF_OK;}
- nginx模块之计算HTTP首包响应时间
- nginx处理post请求(http响应包体收发之下游网速优先策略)
- nginx处理post请求(http响应包体收发之上游网速优先策略)
- 《深入理解Nginx》之HTTP模块
- nginx配置详解之http模块
- 页面响应时间计算
- Nginx Http模块开发
- Nginx Http模块开发
- nginx---HTTP模块
- nginx HTTP模块组成
- nginx设置HTTP响应头
- Nginx 最大响应时间配置
- nginx http模块 http过滤模块
- nginx模块开发—HTTP初始化之listen
- HTTP响应时间测试代码
- http请求包和响应包介绍
- HTTP协议之响应
- HTTP协议之响应
- pwnable.tw刷题之dubblesort
- 算法(递归)--汉诺塔
- MyBatis学习笔记
- maven仓库--私服(Nexus的配置使用)
- dfs枚举 + 最小生成树 hdoj2489 Minimal Ratio Tree
- nginx模块之计算HTTP首包响应时间
- 如何删除本地的git仓库 和 github的仓库
- CodeForces808a_水(求整数长度)
- CAS 在 Tomcat 中实现单点登录
- cf 807C Success Rate
- HDU
- PhP操作数据库(查询数据)
- C++日志调试打印接口
- 面试题13:在O(1)时间删除链表结点