Kubernetes监控实践(2):可行监控方案之Prometheus和Sensu
本文介绍两个可行的K8s监控方案:Prometheus和Sensu。两个方案都能全面提供系统级的监控数据,帮助开发人员跟踪K8s关键组件的性能、定位故障、接收预警。
拓展阅读:Kubernetes监控实践(1):K8s的工作原理与监控实践
一、K8s监控之Prometheus
1.1 简介
Prometheus是针对容器和微服务的开源监控预警工具,功能稳健,适用于开发流程中的云端管理员和开发人员等各个相关方。Prometheus定时聚合配置对象中的指标数据,评估规则表达式,展示结果,发送预警。
Prometheus不仅能够监控预定义指标,还能实现多维数据模型,进行深度分析,并针对多个指标建立关联,从多个角度为开发人员和管理员提供数据支持。
1.2 工作原理
Prometheus是K8s环境的附加层。首次安装时应定义数据采集参数和数据采集时间间隔。Prometheus既能实时监控K8s节点,也能对监控数据进行定时分析。Prometheus也可以针对节点失效等故障发送预警。
1.3 Prometheus Operator
很多用户会混淆controller和operator。K8s Operator是指Controller向K8s API中添加新的对象、配置管理Prometheus等应用的模式。简而言之,operator是针对特定领域的controller。
PrometheusOperator简化了Prometheus在K8s中的运行,不需要改变K8s的配置。使用Prometheus Operator可以轻松监控K8s的服务。可以通过预定义的.yml文件运行Prometheus。Prometheus Operator能够创建、配置并管理K8s上的所有监控实例。部署新应用时,K8s会创建新的pod(容器)。创建完毕后,原有pod会被销毁。Prometheus持续监控API,如发现不一致,则基于服务或pod变化创建新的Prometheus配置。
1.4 核心组件
作为一款稳健的监控工具,Prometheus从服务上拉取数据,不需要服务主动推送数据。不过Prometheus提供推送入口,但无法拉取数据时可以接受服务推送上来的数据。
此外,Prometheus支持将时间序列与指标名称和键值对关联起来,简化了对多云端的监控。Prometheus不仅监控应用全局,还能钻取到微服务层面。用户可通过查询功能管理数据,了解应用状况;也可以使用PromQL创建图表和表格,实现数据可视化,并根据具体参数生成预警。
Prometheus的Web控制台展示了所有功能和工具。用户可通过正则表达式和高级PromQL检索条件创建数据集和预警。Prometheus还支持外网访问。
1.5 优势
Prometheus最大的优势在于简单灵活,可以实现监控的多维数据模型。用户可以轻松搭建容器集群的监控框架,还可以结合Grafana,进一步提高监控数据的可视化水平。
Prometheus可以通过K8s的本地服务发现配置采集node、pod和服务指标。用户可直接定义表达式,创建预警,不需要在不同的监控系统中来回切换。
Prometheus的抓取能力能够集成到K8s、Docker和StatsD等工具中。用户还可以通过Web GUI配置预警、管理图表。
不过Prometheus也存在不足:数据模型受限。Prometheus默认的时序数据采集模型有利有弊:一方面,这种模型有助于按照标准格式采集数据;另一方面,标准化数据格式导致数据模型受限。Prometheus通过discovery机制与K8s保持通信,因此存在延迟。
二、K8s监控之Sensu
2.1 简介
Sensu是多云端容器基础设施监控工具。Sensu agent是跨平台事件生成器,用户可通过执行service check监控系统和服务的健康状况,同时采集分析metrics,不仅提供预警或事件管理功能、监控API、客户端库以及多脚本或编程语言插件,还支持自定义工作流,丰富了Sensu能力。
Prometheus通过拉取的方式主动抓取数据,而Sensu则采用消息总线的通信机制,通过发布/订阅(Pub/Sub)的方式推送或拉取数据。
2.2 工作原理
Sensu使用本地插件从StatsD库、Prometheus exporter、Nagios插件、SNMP陷阱等主流程序中采集数据。不同于Prometheus等其他监控工具,Sensu开箱即用,支持多云端环境,用户配置框架后即可提供高可用性。
Sensu提供event filter、mutator和operator handler,支持创建并自动化模型工作量。这样,外部监控工具的数据便可与Sensu的监控数据整合,形成基于事件的监控路径。
2.3 核心组件
Sensu针对K8s容器优化了自动发现能力。用户可针对K8s和Docker等容器环境轻松配置监控check和collector,也可以针对K8s所有组件和运行在K8s上的应用配置多个check。
Sensu也支持本地集成和插件,可以与日志工具和Prometheus同时使用。用户可同时运行Sensu和Prometheus,处理不同的数据集。Sensu可以采集StatsD metrics,并将采集结果写入Prometheus。
Sensu还能在K8s环境中运行。假设一开始将Sensu部署在某个容器中,后来决定将整个应用迁移到其他容器环境中。迁移完成后,Sensu agent依然能够在新的环境中正常运行,也能被Sensu发现,因为Sensu具备自动发现机制。
2.4 在K8s中的应用
Sensu可扩展性强,可随着部署应用和云环境的增加不断扩展,提供具体的功能监控服务。Sensu监控对象的数量没有上限,也不会因为监控对象的增加变得更加复杂。
三、K8s监控之Sensu+Prometheus
同时运行Sensu和Prometheus能够提高监控的可见性,实现各自功能的优势互补。
3.1 工作原理
SensuPrometheus Collector是Sensu Check插件,聚合从Prometheus exporter或Prometheus query API抓取的数据。采集的数据以Influx(默认)、Graphite、JSON格式存储在STDOUT中。
SensuPrometheus Collector集成了Sensu的工作量自动化能力和Prometheus的数据抓取能力。用户可根据需求自行设计实现代码和预警接收时间。Sensu还可以将采集到的metrics数据存储到InfluxDB、Graphite和Prometheus等外部时序数据集中。
3.2 安装Sensu PrometheusCollector
用户可以通过Sensu的资产索引库Bonsai发现、下载、共享资产。点击Bonsai信息页面的下载按钮,下载Sensu后端平台和架构的资产定义。收到check、filter、mutator或handler请求时,Sensu会根据资产定义下载验证资产。
下载资产定义后,可以通过Sensu的资源管理命令行工具sensuctl进行资产注册,然后创建监控工作流。
下方是Prometheus collector的资产定义及相应的Linux sensuctl命令:
下方为Prometheus Collector的check实例:
3.3 优势
同时运行Sensu和Prometheus具有下列优势:
- 既能监控K8s集群的健康状况又能动态监控周边基础设施的健康状况,并采集相关指标。
- 既能实现问题自动发现,又能通过自动化工作流简化监控流程。
- 同时运行Prometheus和Sensu能够获得更多上下文信息,实现更细粒度的数据抓取分析。
- Sensu采用标准通信密码,可通过单个agent安全采集传输数据。
- 便于管理配置监控设置。
- 能够监控整个基础设施。
四、结论
Sensu能够监控整个基础设施,且定制化水平高,上下文更丰富。Prometheus模型稳健,能够实现深度数据钻取;Sensu则采用行业标准技术和格式(如Nagios和StatsD),监控整个基础设施。Sensu能够与Prometheus相互补充,提供更加丰富的上下文信息。
随着我们对软件依赖程度的加深,软件的可用性和故障修复时间对企业的存活非常重要。因此,只有充分了解系统才能克服这些挑战,基础设施和应用监控正是关键的一环。要想充分利用K8s的能力,必须实施统一的监控解决方案,实现新老技术的有效衔接。
本篇为译文,原文作者:STEFAN THORPE
原文链接:https://dzone.com/refcardz/monitoring-kubernetes
译文首发于UAVStack智能运维
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
# Schedulerx正式登陆Ali-k8s应用目录
简介 分布式任务调度 SchedulerX 是阿里巴巴基于 Akka 架构自研的的分布式任务调度平台,今天正式登陆阿里云容器服务Kubernetes应用目录,支持用户以云原生的方式获取定时、工作流任务编排、分布式批量调度等功能,同时具有高可靠、海量任务、秒级调度能力,Schedulerx详细信息请查看产品文档了解更多。本文将带您快速了解如何在阿里云容器服务Kubernetes上使用Schedulerx,让您在5min内以云原生的方式获得强大的任务调度能力。 前提条件 创建Kubernetes集群 开通EDAS(免费) EDAS组件中心开通Schedulerx组件(免费) 安装SchedulerX任务调度组件 登录容器服务Kubernetes 版控制台; 在左侧导航栏选择市场 > 应用目录,在右侧选中 ack-schedulerx; 进入ack
- 下一篇
运维编排场景系列---更新镜像后自动更新伸缩配置镜像
场景介绍 每次通过运维编排生成新的镜像后,直接替换掉弹性伸缩里面的镜像。 解决方案 伸缩配置源镜像为公共镜像aliyun_2_1903_64_20G_alibase_20190829.vhd。登录运维编排控制台。如果您之前从未开通过OOS服务,请点击“立即开通”按钮,即可一键开通。OOS运维编排是安全免费的服务,请放心开通。开通后进入运维编排界面,在公共模板页面搜索ACS-ESS-UpdateScalingConfigurationImage,点击创建执行。选择自动执行,点击 下一步:设置参数。参数设置页面根据参数说明输入所需参数,确认无误后点击 下一步:确认。确认风险可接受后点击确认风险并执行。确认执行后在执行管理页面查看执行详情。执行成功后查看伸缩配置镜像ID已替换为最新镜像。 欢迎使用OOS OOS客户支持钉钉群:23330931OOS管理控制台的链接OOS帮助文档的链接 系列文章 主题文章 阿里云重磅发布云上自动化利器——运维编排OOS 最佳实践 玩转运维编排服务的权限:Assume Role+Pass Role阿里云运维编排新功能:一键批量克隆ECS 场景系列 运维编排场景系...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案