grafana+ prometheus+php 监控系统实践
背景
团队在开发流媒体服务,需要实现一个监控在线人数的功能,可以看到历史有多少人在线,当前有多少人在线的功能。
如果用mysql等关系型数据库来实现,可以用事件记录日志,然后通过PHP加上一些绘图的插件来实现,但这种方式并不好,首先用关系型数据库随着时间累积,会存在数据量越来越大,导致查询缓慢,再者需要编写这部分统计代码,因此并不是最佳选择。
我们很快找到了一个“时序性数据库”(prometheus),这种数据库会以时间节点来记录我们要存储的数据,然后结合他的一些绘图功能,我们完全可以不用写绘图的逻辑,而且prometheus还提供数据收集的功能,我们只需要把需要统计的数据按照固定的格式传递就好了。而Grafana是一个专门绘图的,支持很多种数据源,比如mysql,prometheus,es等数据库,绘图功能特别强大,因此我们便使用了这两种软件的结合实现了一个监控功能。
实现过程
两个工具都是英文的,如果英文和我一样不怎么好,建议使用谷歌浏览器的网页翻译功能,可以节省很多时间
操作步骤:
- 安装
- 数据收集
- 收集验证
- 绘图配置
- 完成
一、安装
1. Grafana
官方安装文档:https://grafana.com/grafana/download
mac下安装
brew install grafana
docker安装
docker run -d --name=grafana -p 3000:3000 grafana/grafana
2. prometheus
官方安装文档:https://prometheus.io/docs/prometheus/latest/installation/
配置文件
在安装之前我们先建立好配置文件,让安装后可以直接启动,配置文件的模板在官方文档中有,下面是我使用的配置文件,也可以直接使用,记得把配置文件的(#后面的内容删除)
--- global: #全局配置 scrape_interval: 5s #5秒钟收集一次数据 scrape_timeout: 3s #连接超时时间 scrape_configs: #子配置 - job_name: 'media' # 任务名称为media scrape_interval: 3s # 3秒钟收集一次数据 metrics_path: "/api/v1/rrd/metrics" # 收集数据的URI static_configs: #子项配置 - targets: ['gslb.offcncloud.com:8080'] #收集数据的目标主机以及端口
mac下安装
brew install prometheus
docker安装
(注意配置文件得我们先建好才能运行下面的命令)
docker run -p 9090:9090 -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
二、数据收集
1. 解惑
在第一步我们安装prometheus的时候就建立了一个配置文件,其中有一个任务会去收集数据,主机名为(gslb.offcncloud.com:8080),URI地址为(/api/v1/rrd/metrics),因此会不断向 http://gslb.offcncloud.com:8080/api/v1/rrd/metrics 进行请求,来获取数据。
2. 数据格式
这个时候我们需要来了解这个数据的格式是怎么样的,先来看一段我返回的数据格式。
media_network 2 media_connectNum 12 media_on_push 2
在上面有三行数据,每条数据分别代表不同的key => value ,中间使用空格隔开。
比如:
- 第一个media_network是代表当前的网络延时数量,
- 第二项media_connectNum则是代表当前的用户连接数,
- 第三项media_on_push 则是代表当前的推流人数。
3. 数据来源
上面的这写数据是怎么得来的呢?其实我们的系统当中并不能直接获取到当前的数量,比如连接人数,但是我们可以通过一些日志或者事件来进行统计,比如当有一个人播放视频,那么我们将会在cache中给他+1,当他离线的时候我们则会给他-1,这样便可以得到数量,我们可以来看下下面的伪代码
事件触发计数的代码部分
<?php /** * 计数 * @param string $name network|connectNum 要统计的名称 * @param bool $type 上线还是离线 * @param bool $clean 是否每次清空 * @return int|string */ public static function count(string $name, $type = true { //定义名称 $name = addslashes($name); $fileName = self::BASEDATA . $name ; //定义累加值 $addNum = $type ? 1 : -1; //更新次数 $num = "cat $fileName"; $num = intval(exec($num)) + $addNum; //连接数不能小于0 $num = ($num < 0) ? 0 : $num; $cmd = "echo $num > $fileName"; exec($cmd); return $num; }
prometheus来收集数据的对应代码部分
public static function getCountNum() { $control_arr = ['network', 'connectNum', 'on_push']; self::createDir(); foreach ($control_arr as $path) { //存放临时数据文件 $tmp_file = self::BASEDATA . $path; $num = exec("cat $tmp_file"); switch ($path) { case 'network'://网络延时数量 system("echo 0 > $tmp_file"); echo "media_{$path} $num" . PHP_EOL; break; case 'connectNum'://连接数 echo "media_{$path} $num" . PHP_EOL; break; case 'on_push'://推流数 echo "media_{$path} $num" . PHP_EOL; break; } } }
在计数部分代码会根据用户是上线还是下线来处理不同的逻辑,比如上线数量会+1,下线则会-1
在获取数据部分,会根据不同的类型来处理他的逻辑,比如网络延时数量,会在获取数据后清空为0,而连接数则不在这个位置进行清空
三、数据验证
- 前言
经过前面两个步骤,如果是docker安装应该已经启动了,如果是mac安装启动命令为(注意配置文件路径):
prometheus --config.file=/tmp/prometheus.yml
- 验证收集地址正确性
当启动之后,可以打开浏览器访问如下URL地址:
http://127.0.0.1:9090/targets
如上图,上面没有绿色的说明连接地址配置成功了,此时prometheus会不断的收集数据
- 验证数据格式
接着要验证数据格式是否正确,打开URL地址
http://127.0.0.1:9090/graph?g0.range_input=1h&g0.expr=&g0.tab=0
如果能看到我们在代码里面返回的key,便说明数据收集对接成功了
四、绘图配置
- 简介
绘图时候我们采用Grafana来进行,因此我们首先得启动它,如果使用docker安装时,此时应该已经启动起来了,如果是mac系统的brew安装,启动命令为
brew services start Grafana
在启动之后,我们打开浏览器,访问URL地址为:
http://192.168.43.34:3000/
可以在界面中看到登录框,默认的账号以及密码为 admin admin
- 对接数据源
进来之后首先需要进行配置数据来源,数据源的配置如下图
点击保存按钮,进行保存并验证,如果没有提示异常说明已经成功了。
- 进行绘图
现在已经有数据源了,那我们需要把这些数据展示为图表就很简单了,点击页面中很明显的+号,创建仪表盘,选择graph,如下图
接着变回出现一个图表,但是没有任何效果,所以我们需要编辑这个走势图,如下图所示
接着下方便会出现图表的配置项,这里我们可以选择数据源,如下图
选择数据源之后,我们需要选择使用哪一个字段,并把这个字段改为设置一个中文名称,同时这里可以设置多个字段,如下图
配置好之后一定要保存!
完成
- 查看效果
限制我们将可以看到效果,如下图
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
LeetCode刷题指南(Java版)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/81389292 微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站。(关注公众号后回复”Java“即可领取 Java基础、进阶、项目和架构师等免费学习资料,更有数据库、分布式、微服务等热门技术学习视频,内容丰富,兼顾原理和实践,另外也将赠送作者原创的Java学习指南、Java程序员面试指南等干货资源) 参考@CyC2018的leetcode题解。Java工程师LeetCode刷题必备。主要根据LeetCode的tag进行模块划分,每部分都选取了比较经典的题目,题目以medium和easy为主,少量hard题目。 我在@CyC2018大佬的基础上又加上了部分题解,并且筛选了比较经典的题目,去除了比较晦涩难懂的题目,以及一些很少考的题目,以便大家积累经验,在面试笔试中能够游刃有余。 详情请见我的仓库:https://github.com/h2pl/leetcode 数组和矩阵 把数组中的 0 移到末尾 283. Move Z...
- 下一篇
阿里Java面经大全(整合版)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/81389605 微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站。(关注公众号后回复”Java“即可领取 Java基础、进阶、项目和架构师等免费学习资料,更有数据库、分布式、微服务等热门技术学习视频,内容丰富,兼顾原理和实践,另外也将赠送作者原创的Java学习指南、Java程序员面试指南等干货资源) 本文里的面经内容全部来源于牛客网,作为秋招备战复习与查缺补漏时使用。里面部分面经有我的注释和想法,以及部分解答,不一定正确,大家可以查询补充。 阿里巴巴,三面,java实习 昨天晚上11点打电话来,问我可以面试不,我说不可以,然后就约到了今天, 1.上来问我项目用的框架,然后问我springmvc里面有的参数的设定,问的是细节,然后问我如果传的多个值是一个对象的属性,问我如何处理,我说直接在后端接收为对象就行了,然后突然问我http怎么传对象,这里有点不明白面试官想问啥,然后就换别的问题了, 可以序列化对象为二进制数据,然...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度