ELK系统之logstash问题：retrying failed action with response code: 429-低调大师

ELK系统之logstash问题：retrying failed action with response code: 429

2017-12-27 484

问题来源

　　logstash在进行单机导入数据的时候，效果一直都是不错的，但是，当使用es集群之后，多台集群服务器一起运行logstash导入程序，一开始还是没问题的，但是运行了一段时间之后，就可能会产生以下的问题：

[ERROR][logstash.outputs.elasticsearch]Retrying individual actions
[INFO][logstash.outputs.elasticsearch]retrying failed action with response code: 429 (“reason”=>”rejected execution of org.elasticsearch.transport.TransportService……
[ERROR][logstash.outputs.elasticsearch]Attempted to send a bulk request to elasticsearch’ but Elasticsearch appears to be unreachable or down! ……

问题说明

　　从报错的内容提示来看，说明logstash写入到elasticsearch的速度赶不上从数据库读取数据的速度，输出数据阶段未完成的情况下，logstash仍然在不断的、快速的给ES发送bulk reuqest，从而导致ES集群的网络io过载，进而产生以上的问题提示，表明elasticsearch无法继续接收数据；

解决方法

　　根据以上问题的产生提示，再参照官网的建议和网友的解决方案，以下则是解决问题的一些步骤：
　　
１. 首先，需要了解解决这个问题的相关的几个参数：

（1）. flush_size: 批量写入ES数量，累计缓冲event事件条数达到flush_size值会flush一次，这个参数默认是500；　这个参数就是调整缓冲区大小的；　为了高效使用elasticsearch的bulk API调用，我们将在刷新事件到Elasticsearch之前缓冲一定数量的事件；　flush_size这个参数就是控制有多少事件在被批量写入到Elasticsearch之前需要被缓冲，增大flush_size的同时也增大Logstash的Heap大小；　这个参数在logstash.conf的output进行设置；

（２）. idle_flush_time: 批量写入ES频率，距离上次flush的时间之后idle_flush_time秒后也会flush一次,通常会结合flush_size一起来控制写入es的数量和频率，提高es的插入性能；　这个参数在logstash.conf的output进行设置；

（３）. pipeline.workers: pipeline管道线程数，官方建议是等于CPU内核数；

（４）. pipeline.output.workers: pipeline管道实际output时的线程数，一般小于或等于管道线程数，建议等于cpu内核数；

（５）. pipeline.batch.size: 单个工作线程在尝试执行过滤器和输出之前收集的最大事件数，默认125；　数值越大，处理则通常更高效，但增加了内存开销；　某些硬件配置要求通过设置LS_HEAP_SIZE变量来增加JVM堆大小，以避免使用此选项导致性能下降；　此参数的值超过最佳范围会导致由于频繁的垃圾回收或与内存不足异常相关的JVM崩溃而导致性能下降；　调整pipeline.batch.size设置大小可调整发送到Elasticsearch的批量请求的大小。

（６）. pipeline.batch.delay: 此设置调整Logstash管道的延迟，默认5；　流水线批处理延迟是Logstash在当前管道工作线程中接收到事件后等待新消息的最大时间（毫秒）；　在此时间过后，Logstash开始执行过滤器和输出.Logstash在接收事件和在过滤器中处理该事件之间等待的最大时间是pipeline.batch.delay和pipeline.batch.size设置的乘积。

（７）. 流动计数:　logstash管道处理事件的总数由pipeline.workers和pipeline.batch.size设置的乘积确定，称为流动计数；　在调整pipeline.workers和pipeline.batch.size设置时，应考虑当接收事件总数过大时，保证管道需要足够的内存来处理这些尖峰。

２. 解决途径：
　　延长管道接收事件等待事件，增大单个工作线程接收的批量处理的事件数，从而降低bulk-request的发送频率，防止网络io过载；
　　同时在输出端使用flush_size和idle_flush_time结合去控制批量写入es的数量和刷新频率；

３. 结果参数(参数配置需结合自身的生产环境，需自行去调优，这里仅供参考)：
　　logstash.conf文件的output参数：
　　　　flush_size=>1000
　　　　idle_flush_time=>15

　　logstash.yml文件的配置参数：
　　　　pipeline.workers:10
　　　　pipeline.output.workers:10
　　　　pipeline.batch.size:3000
　　　　pipeline.batch.delay:100

微信关注我们

原文链接：https://yq.aliyun.com/articles/662166

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【聚能聊有奖话题】数据分析神器 Quick BI推出2.0版本，你还会用excel来处理数据报表吗？

本话题地址，参与即可获得礼品：https://yq.aliyun.com/roundtable/62883 云栖大会北京峰会19日下午TI的Alibaba Cloud Workshop上，阿里云的产品专家米砂向大家做了数据分析：构建可视化报表服务的演讲：如何快速搭建互联网在线运营分析平台。该工具在上个月，刚刚推出了全新的2.0版本。解决了企业在数据分析中遇到的诸多问题，比如临时需求多、时间紧，响应流程长，口径不统一，“本地化”严重，专业人才紧缺等。 Quick BI以多、快、强大、易用著称。那么到底怎么易用呢？需要4步，只需要4步，只需要4步。重要的事情说三遍总体特征：多：支持 RDS、MaxCompute、Analytic DB、本地文件等多种数据源。快：亿级数据秒级响应。强大：内置完整的电子表格工具，可以让您轻松完成复杂的中国式报表的制作。、易用：丰富的数据可视化功能，自动识别数据特征，自动智能为您生成最合适的图表。 Quick BI 产品架构如下图所示。应用场景：数据及时分析与决策能够解决：取数难、报表产出效率低，维护难、图表效果设计不佳，人力成本高报表与自有系统集成能够实...

2017-12-28

696

1.前言刚接触mapreduce的人肯定为碰到这样的问题，就是我们在程序中如下类似的命令 [cpp] view plain copy print ? System.out.println(year+""+airTemperature);//无效，控制台没有输出。但是console控制台不给我们输出相应的结果，这对于很多通过System.out来调试的人来说，会是一个很头疼的事情，我也对这个很头疼。昨天在看《hadoop权威指南第二版》的第五章的时候，书中有介绍通过web界面来浏览hadoop的作业信息，发现在web界面中能看到许多作业的相关信息。并且知道mapreduce的作业信息都写在了用户日志中，存放在目录hadoop_home/logs/userlogs中。其他日志存放地点参考《hadoop权威指南第二版》p152的表5-2。通过web界面很容用找到这些日志。 2.给出测试程序的代码 NewMaxTemperature.java [cpp] view plain copy print ? packagehadoop.chapter2; //ccNewMaxTemperatu...

2017-12-28

553

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。