用Nginx实现接口慢查询并可示化展示TOP 20
相信很多小伙伴都见过一些商业产品中的url接口响应时间,实时汇总显示功能。可以理解为web接口的慢查询,与sql的慢查询有异曲同工之妙,但是想做却无从入手不知道怎么实现此功能,所以今天就教大家如何实现用grafana+nginx+mysql来实现此功能。
0x0
其实nginx本身就带有接口响应时间的功能,只不过还需要改造下,比如说单独记录超过1000ms(1秒)的响应,并写入数据库中。要注意的是并不建议大家将记录直接写入数据库中,因为数据库有时会成为nginx的负担,间接写入即可。需要简单修改下log模块,涉及文件ngx_http_log_module.c 通常位于nginx-1.17.9/src/http/modules/ngx_http_log_module.c
大约838行, 找到ngx_http_log_request_time函数并修改如下:
static u_char * ngx_http_log_request_time(ngx_http_request_t *r, u_char *buf, ngx_http_log_op_t *op) { ngx_time_t *tp; ngx_msec_int_t ms; time_t t = time(NULL); struct tm *loc_time = localtime(&t); tp = ngx_timeofday(); u_char slow_log[2048]; memset(slow_log, 0, sizeof(slow_log)); ms = (ngx_msec_int_t) ((tp->sec - r->start_sec) * 1000 + (tp->msec - r->start_msec)); ms = ngx_max(ms, 0); ngx_sprintf(slow_log, "%04d/%02d/%02d %02d:%02d:%02d %V %V?%V waste time %d.%d\n", loc_time->tm_year + 1900, loc_time->tm_mon + 1, loc_time->tm_mday, loc_time->tm_hour, loc_time->tm_min, loc_time->tm_sec, &r->headers_in.server, &r->uri, &r->args, (time_t) ms / 1000, ms % 1000); int logfd; if ((logfd = open("/var/log/nginx/nginx_slow.log", O_RDWR | O_CREAT | O_APPEND, S_IRUSR | S_IWUSR)) == -1) { ngx_log_error(NGX_LOG_ERR, r->connection->log, 0, "can not open file:logfile\n"); } char Server_name[256]; const char *server_name = "%.*s"; memset(Server_name, 0, sizeof(Server_name)); snprintf((char *) Server_name, sizeof(Server_name), server_name, r->headers_in.server.len, r->headers_in.server.data); /* 只记录大于1秒的并且域名不是grafana.sshfortress.com */ if (ms > 1000 && strcmp("grafana.sshfortress.com", Server_name) != 0) write(logfd, slow_log, strlen((char *)slow_log)); close(logfd); return ngx_sprintf(buf, "%T.%03M", (time_t) ms / 1000, ms % 1000); }
之后再编译即可
# ./configure --prefix=/usr/local/nginx1.17.9 # make -j4 ; make install #mkdir -p /var/log/nginx; chmod -R 777 /var/log/nginx
简单配置下
server {
listen *:80;
server_name slow.sshfortress.com;
location / {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:3000;
}
}
启动nginx即可,如果接口响应时间超过1秒,那么 /var/log/nginx/nginx_slow.log 中就会有记录了。但这只是将慢查询记录而已,我们还需要排序以及可示化的展示。记录也可以直接写入mysql但我并没有这么做,为什么不直接写入呢,原因是如果mysql如果响应慢则会影响nginx的响应,但写入磁盘就不会出现这种情形了。接下来就简单实现下把数据同步写入到数据库中。
0x01
首先建个表 用于同步写入记录
CREATE TABLE `nginx_slow` ( `id` int(11) NOT NULL AUTO_INCREMENT, `date` datetime NOT NULL, `server_name` varchar(255) NOT NULL, `url` varchar(255) NOT NULL, `waste_time` decimal(11,3) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;
之后实现一个同步数据的工具,这里用shell即可实现,代码如下:
#!/bin/bash # insert_mysql.sh set -x if [ $# != 1 ] then echo "Usage insert_mysql.sh /var/log/nginx/nginx_slow.log" exit 1 fi tail -n 1 -f ${1}|while read var do value=`echo $var|awk '{print $3}'` value2=`echo $var|awk '{print $4}'` value3=`echo $var|awk '{print $7}'` echo "$value $value2 $value3" mysql -h 127.0.0.1 -usuper -pxxxxxxxxx -e "use nginx; INSERT INTO nginx_slow( date, server_name, url, waste_time) VALUES ( now(), '${value}', '${value2}', '$value3');" done
运行脚本就可以同步写入数据了,是不是很简单呢
# ./insert_mysql.sh /var/log/nginx/nginx_slow.log 建议后台运行,因为要实时同步嘛 # nohub ./insert_mysql.sh /var/log/nginx/nginx_slow.log >> /dev/null 2>&1 &
0x02
最后在grafana里面配置下当天接口慢查询TOP 20即可,相关语句是
select n.url,avg(n.waste_time) 平均响应时长 from nginx_slow n WHERE n.`date` > curdate() group by 1 order by 2 desc limit 20 或者 select n.server_name,n.url,avg(n.waste_time) 平均响应时长,count(1) 调用次数 from nginx_slow n WHERE n.`date` > curdate() group by 1,2 order by 3 desc limit 50
最后效果图如下
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
当Tomcat遇上Netty
故事背景 嘀~嘀~嘀~,生产事故,内存泄漏! 昨天下午,突然收到运维的消息,分部某系统生产环境内存泄漏了,帮忙排查一下。 排查过程 第一步,要日志 分部给到的异常日志大概是这样(鉴于公司规定禁止截图禁止拍照禁止外传任何信息,下面是我网上找到一张类似的报错): LEAK: ByteBuf.release() was not called before it's garbage-collected. See http://netty.io/wiki/reference-counted-objects.html for more information. Recent access records: #1: io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:273) io.netty.channel.CombinedChannelDuplexHandler.channelRead(CombinedChannelDuplexHandler.java:253) io.netty.ch...
- 下一篇
从X86指令深扒JVM的位移操作
本文来自: PerfMa技术社区 PerfMa(笨马网络)官网 概述 之所以会写这个,主要是因为最近做的一个项目碰到了一个移位的问题,因为位移操作溢出导致结果不准确,本来可以点到为止,问题也能很快解决,但是不痛不痒的感觉着实让人不爽,于是深扒了下个中细节,直到看到Intel的指令规约才算释然,希望这篇文章能引起大家共鸣。 本文或许看起来会比较枯燥,不过其实认真看挺有意思的,如果实在看不下去,告诉你一个极简路径,先看下下面的Demo,然后直接跳到后面的小结,如果懂了,别忘记顺便点个赞,请叫我雷锋,哈哈。 Demo 还是从一个简单的例子说起 大家可以尝试做几个改变,看看结果怎样 4 << shift改成4L << shift 将35改成291,PS:提示一下291=25+256*1 如果上面的各种结果你都能解释,那说明你对位移操作还是有一定了解的,不过本文主要从JVM到Intel X86_64指令角度来分析这个问题,或许也值得一看 JVM里4和4L的区别 要知道区别,我们看doShiftL方法通过javac编译出来的指令有什么不一样 4 << shift...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Hadoop3单机部署,实现最简伪集群