利用谷歌开源工具cAdvisor 结合influxdb存储＋Grafana前端展示进行Docker容器的监控-低调大师

利用谷歌开源工具cAdvisor 结合influxdb存储＋Grafana前端展示进行Docker容器的监控

2017-11-02 625

一、Docker 监控方式

1.利用docker 的 docker stats API

命令： docker stats [容器ID/容器名称]

[root@docker ~]# docker stats --help

Usage:    docker stats [OPTIONS] [CONTAINER...]

Display a live stream of container(s) resource usage statistics

  -a, --all          Show all containers (default shows just running)
  --help             Print usage
  --no-stream        Disable streaming stats and only pull the first result

参数：-a, --all 　　表示查看所有容器包括已经exit状态的

　　 --no-stream　　表示仅拉取第一次的请求结果后就结束

示例：查看下某个容器的状态

[root@docker ~]# docker stats --no-stream cadvisor
CONTAINER           CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O
cadvisor            1.48%               62.48 MB / 3.977 GB   1.57%               4.902 MB / 378 MB   18.93 MB / 0 B

从上面可以看到容器的资源使用，包括CPU、内存、内存使用率、网络入口IO、磁盘IO、及内存LIMIT。该方式比较简单明了，就像系统自带的top命令一样。

2.利用谷歌开源工具cAdvisor（官网）

创建容器，如果docker主机上没有该容器，可能需要喝杯热茶的时间（去docker hub上下载镜像，视网速）

[root@docker ~]# docker run   --volume=/:/rootfs:ro   --volume=/var/run:/var/run:rw   --volume=/sys:/sys:ro   --volume=/var/lib/docker/:/var/lib/docker:ro   --publish=8080:8080   --detach=true   --name=cadvisor-test   google/cadvisor:latest

创建完成后，可以访问http://主机ip:8080/,如下图

3.利用独立开源项目Prometheus监控工具（官网），后续有时间会专门对其进行系统学习下。

来自官网资料：Prometheus及其一些生态系统组件的总体架构

二、本文案例开源工具介绍

1.cAdvisor (Container Advisor)该程序是由Google 开源的一个项目。提供了给使用容器的用户对其主机上运行容器的资源使用情况和性能的了解，它是一个以容器方式运行的守护进程，用来数据采集、汇聚、可视化和导出运行中容器的信息。具体来说，对于每个容器，它保留资源的隔离参数，历史资源使用，完整历史资源使用的直方图，和网络统计。此数据由机器上的容器输出。

2.InfluxDB（官网）是一个由Go编写的开源数据库，专门用于处理具有高可用性和高性能要求的时间序列数据。InfluxDB安装没有外部依赖，可以在几分钟内完成，然而它的灵活性、可扩展性足够复杂的部署。具有实时分析、历史分析、预测分析、异常检测等特点。

3.Grafana（官网）提供了一个强大而优雅的方式来创建、探索，并可以共享仪表板和数据。也是用于查询、可视化时间序列和指标的主要工具。支持的数据源有Graphite、Prometheus、Elasticsearch、InfluxDB、OpenTSDB、AWS CloudWatch等，并且在4.0及更高版本中加入了警报功能（but现在只支持一些数据源。它们包括Graphite，Prometheus，InfluxDB和OpenTSDB）。目前报警规则只有Graph面板支持，Table和Singlestat会在未来版本中出现。支持的通知方式有Email、即时通讯工具Slack、Webhook等。

三、监控部署

1.创建第一个容器influxdb

[root@docker ~]# docker run -d -p 8083:8083 -p 8086:8086 --expose 8090 --expose 8099 --name influxsrv -e PRE_CREATE_DB=cadvisor tutum/influxdb:0.13

注：默认情况下，InfluxDB使用以下网络端口：

　　TCP端口8083用于InfluxDB的管理面板
　　TCP端口8086用于通过InfluxDB的HTTP API进行客户端 - 服务器的通信

创建完成后，打开浏览器，访问http://ip:8083，默认用户名，密码是root、root，如下图

2.创建cAdvisor容器并将其link到InfluxDB容器

[root@docker ~]# docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --publish=8080:8080 --detach=true --link influxsrv:influxsrv --name=cadvisor google/cadvisor:v0.24.1 -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086

3.创建Grafana容器并将其链接到InfluxDB容器：

docker run -d -p 3000:3000 -e INFLUXDB_HOST=localhost -e INFLUXDB_PORT=8086 -e INFLUXDB_NAME=cadvisor -e INFLUXDB_USER=root -e INFLUXDB_PASS=root --link influxsrv:influxsrv --name grafana grafana/grafana:3.1.1

4.打开浏览器，访问http://ip:3000/ Grafana界面

　　　　　　　　如有转载，请注明原文出处。飞走不可：http://www.cnblogs.com/hanyifeng/p/6233851.html

5.登录上去后，将Influxdb设置为Grafana的数据源，按照下图添加：

之后点击Add data source，add增加。信息如下：

最后保存测试连接。

6.我们使用Grafana设置我们的第一个Dashboard，并可视化来自cAdvisor的数据。

首先，添加一个Dashboard：

然后新建一个graph，如下图：

先设置Graph中的每个标题选项，如下：

General：

　　Title：Memory

　　Height：300px

Metrics：输入查询语句及选择数据源，default 已经是influxdb，可以不用设置（点击可切换模式）。

　　query 1: SELECT mean("value") FROM "memory_usage" WHERE container_name='cadvisor' AND container_name='cadvisor' AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)

　　ALIAS BY：$tag_container_name.memory

　　Format as：Time series

Axes：主要修改一下Y轴的显示单位

　　Left Y-->Unit：bytes、Y-Min：0

Legend：可以在图标左下方显示统计的最大、最小、及平均值等。

Display：主要修改下显示的波浪线或者点，还可以修改区域的显示深度（可以按个人喜好）

　　Mode Options-->Fill：4、LineWidth：2

修改设置完成后，记得点击正上面的保存按钮。完整的一个dashboard就出来了。如下图：

点击ADD ROW ，可以增加其它监控Graph、Table、Text等。剩下需要监控的如CPU、磁盘IO、网络IO。创建方式和上面基本一致，除了左Y轴那里需要注意下单位。

7.完整的几个图，以及查询语句如下：

cpu 查询：

SELECT derivative(mean("value"), 10s) FROM "cpu_usage_total" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

网络 i/o 查询：
tx：

SELECT derivative(mean("value"), 10s)/8 FROM "tx_bytes" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

rx：

SELECT derivative(mean("value"), 10s)/8 FROM "rx_bytes" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

文件系统使用及limit：

fs

SELECT mean("value") FROM "fs_usage" WHERE container_name='cadvisor' AND container_name='cadvisor' AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)

limit

SELECT mean("value") FROM "fs_limit" WHERE container_name='cadvisor'  AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)

四、总结一下

　　Docker 容器的监控不容忽视，毕竟里面是有业务程序在跑的，有了监控，还要有相关预警规则，及报警的处理动作，就像zabbix 一样。不知道cAdvisor监控Docker 集群有木有其它的开源技术方案，毕竟Dcoker 服务器是集群存在的。下次我找到好的技术方案，再来分享。

　　如果文中有错误，还望大家不吝赐教。

如有转载，请注明原文出处。飞走不可：http://www.cnblogs.com/hanyifeng/p/6233851.html

参考资料：

https://segmentfault.com/a/1190000002527178

https://www.brianchristner.io/how-to-setup-docker-monitoring/

微信关注我们

原文链接：https://yq.aliyun.com/articles/683306

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CentOS内外网互调

大家好： VMware里CentOS7.0克隆时出现网卡错乱的解决办法，我这里给大家整理了一下，顺便附上几张截图，供大家参考；后面介绍CentOS7之前版本的解决办法；一、CentOS7安装一台后，后续经克隆产生的虚拟机会出现网卡错乱的问题。此问题经查是因为CentOS7的网络配置是由NetworkManager及systemd联合造成的。 ①安装完一台CentOS7，正常配置完ip之后，先运行nmtui选择编辑连接，然后在第二个界面内将所有连接删除，然后退出。运行nmtui之后会出现如下界面：选择“Edit a connect”之后会看到存在的所有连接，“Delete”删除所有的连接之后退出（quit）；这里的nmtui我的理解跟之前版本的setup差不多，提供一个可交互的界面进行编辑设置，跟直接在命令行操作只是殊途同归；比如你在这里编辑ens160，点ok之后，系统会自动把你更改的内容写到ifcfg-ens160配置文件里。 ②之后再执行下面三个步骤。 1. systemctlstopNetworkManager #停止NetworkManag...

2017-11-03

599

主机名 ip 备注 k8s_master 192.168.234.130 Master&etcd k8s_node1 192.168.234.131 Node1 k8s_node2 192.168.234.132 Node2 Kubernetes是goole开源的大规模容器集群管理系统，使用centos7自带的Kubernetes组件、分布式键值存储系统etcd以及flannel实现Docker容器中跨容器访问。（集群环境需要ntp时钟一致，因为是云的机器，系统默认有时钟核对）第一步组件安装 Master节点： systemctl stop firewalld && sudo systemctl disable firewalld yum install -y kubernetes etcddockerflannel Node节点： systemctl stop firewalld && sudo systemctl disable firewalld yum install -y kubernetes dockerflannel ...

2017-11-03

645

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。