Observability:使用 Elastic Agent 轻松、全面地监控 Logstash
作者:来自 Elastic Trevor Blackford
Logstash 是一个强大的工具,可以从各种来源提取、转换和传送数据。对 Logstash 的可见性对于优化性能和解决与数据提取相关的问题至关重要。我们极大地改进了 Logstash 集成,以便一目了然地显示你的 Logstash 节点和管道的状态。该集成现在由 Elastic Agent 提供支持,它查询 Logstash 监控 API 以获取填充托管仪表板的数据。
本博客将指导你了解集成提供的可视化功能、如何配置和安装它们以及提供数据的底层 API。通过更新的集成一目了然地查看 Logstash 节点的运行状况。
使用 Logstash 集成进行监控
通过集成提供的仪表板彻底打破了黑匣子。你可以在 Overview 仪表板中轻松获得需要大量查询的见解。在这里,你可以看到总体上重要的内容,Logstash 已收到的事件数、已处理和发送的事件数以及花费的时间。
对于单个节点的性能,Node Overview 仪表板提供有关系统和进程健康状况的详细信息。这有助于确定问题是否局限于单个主机或是否在整个部署中普遍存在。
管道是 Logstash 中真正发生工作的地方,我们对管道性能的见解非常丰富。Pipeline Overview 仪表板提供有关整个部署中管道活动的高级详细信息,以便快速发现问题并评估性能。按管道细分,你可以看到处理事件所需的平均时间,也就是推送到队列所需的时间。超出分配容差范围的项目将以红色加粗显示,以快速引起注意并指导用户采取行动。
当你深入研究单个管道时,你将看到有关工人利用率和随时间推移处理的详细信息。这对于确定问题的原因非常有价值。隔离时间峰值可以更容易地与配置更改或外部事件进行关联。
但你不应该止步于管道。使用 Logstash 的一大好处是其庞大的插件生态系统。这种强度确实会引入可变性,从而使得故障排除更加困难。值得庆幸的是,集成通过按类型提供插件详细信息解决了该问题,使用户能够进一步深入了解。
查看最新动态
健康报告仪表板是最新添加的功能,它们能够快速传达的信息量将使每个 Logstash 操作员的生活更加轻松。只需快速查看一下即可确定你的 Logstash 部署是否存在问题。
管道健康状况提供了更详细的数据以及有关故障排除步骤的可操作见解。
Logstash 与 Elastic Agent 集成
安装集成只需几分钟即可完成,并且你获得的数据将为你节省数小时的故障排除时间。以下是安装集成并将代理部署到 Logstash 实例的步骤,这些代理将收集和转换来自 Logstash 监控 API 的数据。
1. 添加 Logstash 集成来监控你的部署
从集成页面搜索 Logstash。单击 “Add Logstash”,你将获得有关 Elastic Agent 如何从你的实例收集监控数据的配置选项的指导。
请务必选择 Metrics(Elastic Agent)以获取最多数据和我们最新的仪表板。你可以指定要收集的数据和 API 轮询间隔,或者保留我们的默认设置。默认情况下,Health Reporting 是禁用的,但你需要启用它以充分利用集成。如果你已修改 Logstash 配置以监听不同的端口,请在此处指定。
2. 在 Logstash 节点上配置并安装 Elastic Agents
你很可能会将其部署给新代理。创建一个有意义的名称,然后保存并继续。如果你已经有代理监控你的 Logstash 部署,则可以将此策略(policy)添加到现有主机。
系统将提示你将 Elastic Agent 添加到你的 Logstash 节点。
选择将 Add Elastic Agent to your hosts,然后你将获得有关 Fleet 注册、代理安装和验证的指导。
一旦你验证代理正在与 Fleet 通信,数据就会开始流入并填充仪表板。
可通过 Logstash 监控 API 获取数据
Logstash 公开了多个监控 API,可以提供对单个实例的广泛可见性。 Logstash 集成使用这些 API 与 Elastic Agent 来解析并将这些数据传送到你的监控集群。希望为 Logstash 监控创建自定义集成的客户可以根据他们的要求查询这些 API。
节点统计 - Node Stats
在节点和管道级别提供有关各种资源、事件和利用率的详细信息。在 8.5 版本中,我们添加了一个额外的数据类型 - 流统计 - 其中包括性能的衍生指标,包括吞吐量、背压和工作器并发性。
健康报告 - Health Report
Logstash 8.16 版中的新功能是,它根据各种指标(例如管道状态和工作者利用率)返回 Logstash 实例的颜色编码健康状态。症状包含细节。你还可以查看不健康的结果,其中包括潜在影响、诊断和解决问题的建议措施。
立即开始
准备好开始了吗?立即探索 Elastic Cloud 的 14 天免费试用版 - 包含所有最新功能的托管 Elasticsearch 服务。
本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
原文:Easy, comprehensive Logstash monitoring with Elastic Agent | Elastic Blog

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
开源社区该如何帮助DeepSeek?--------“不添乱,尽帮忙”
(图片来自AI配图) 引子: 近日“开源老DJ”应邀去沙特参加沙特开源峰会并介绍DeepSeek项目,感受到现场观众即中东企业和开发者们对DeepSeek项目的极大热情;同时老DJ也跟中国驻沙特大使馆、中资驻沙特科技企业等进行了大量交流,一致认为DeepSeek的出现,对于中国和全球的IT产业都是一个里程碑的绝大好事。同时老DJ也有些担心,可能是杞人忧天吧,担心他昙花一现,不能长期持续下去,不能抓住这个有利机会进一步扩大战机,老DJ对此进行了广泛和深入的讨论。Dean写了一系列的文章,分别从商业、组织、生态等DeepSeek可能会面临的挑战进行了推演,详见“开源”阳谋出圈的DeepSeek会不会昙花一现?DeepSeek该如何选择开源的组织模式?推演DeepSeek避免OpenAI和百度的开源之困(二)。 而我呢,也看到了杭州市政府支持科技创新企业、加强营商环境建设的几个非常赞的理念:“无事不扰,有求必应”,就从正面进行了分析,提出我们社区应该如何帮助DeepSeek的一些想法。 1. 首先是态度上,一定是先“不添乱“,别想着赶紧去蹭牌子,蹭流量,让DeepSeek公司做一些不在他们目...
- 下一篇
阿里云Milvus 2.5:支持全文检索,1次查询实现文本+向量双精度匹配
随着大模型时代带来的各种新型应用探索,结合传统基于文本匹配的精确检索与语义检索所带来的增益日益显著,尤其在一些深度依赖关键字词匹配的场景中,这种需求变得尤为关键。目前,阿里云向量检索服务 Milvus 版(简称阿里云 Milvus)集成开源 Milvus2.5版本内核,在支持向量检索的基础上,新增支持原生全文检索、基于特定词汇的精准文本匹配等功能,在 RAG、多模态搜索等场景下搜索精度明显提升,使用体验大幅优化。 阿里云 Milvus 是一款全托管向量检索引擎,100%兼容开源 Milvus,提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,成为多样化 AI 应用场景的理想选择。本次2.5版本的上线,使得阿里云 Milvus 能够实现从文本输入到向量检索的端到端流程,在电商、法律、新闻等多行业搜索场景中发挥多模态融合和场景化增强的价值。 全文检索(Full Text Search) 全文检索能力基于内置的 Sparse-BM25 算法,首次实现原生全文检索功能,与现有的语义搜索能力形成完美互补。 核心能力: 内置分词器,无需额外预处理:通过...
相关文章
文章评论
共有0条评论来说两句吧...