首页 文章 精选 留言 我的

精选列表

搜索[elk],共1238篇文章
优秀的个人博客,低调大师

ELK数据抽取工具logstash报错:Your application used more memory than the safety ...

版权声明:本文为博主原创文章,如需转载,请标明出处。 https://blog.csdn.net/alan_liuyue/article/details/78976755 问题来源 logstash在数据量少的情况下,是正常抽取数据的,但当多台服务器一起启动logstash去抽取大量数据的时候,logstash就会出现Your application used more memory than the safety cap of 1G的问题,进而抽取程序就停掉了; 问题说明 从报错的提示来看,很明显就是内存溢出的问题(logstash的默认服务分配内存的1g),数据抽取缓存堆积太多,导致原本分配的堆内存空间不足,需要扩大服务的内存空间以解决内存溢出的问题; 解决方法 在logstash5.X版本以前,可以直接修改logstash的配置文件logstash.lib.sh,它的文件路径:/opt/logstash/bin; 修改内容: LS_HEAP_SIZE=”${LS_HEAP_SIZE:=1g}” 将其中的1g修改成32g,扩大es处理服务空间,修改之后的文件如下: LS_HEAP_SIZE=”${LS_HEAP_SIZE:=32g}” 在logstash5.X版本之后,修改的方式有所变动,需要修改es的配置文件,而不是logstash配置文件; 修改方式: 在es的bin目录下,找到elasticsearch启动文件,在头部新增命令语句:export ES_HEAP_SIZE=32g 说明: ES_HEAP_SIZE的大小可根据生产环境的大小进行修改,一般不超过32g; 新问题出现 当在elasticsearch设置了32g的分配内存之后,启动的时候发现又报错了,以下就是报错的内容: 1. Error: encountered environment variables that are no longer supported 2. Use jvm.options or ES_JAVA_OPTS to configure the JVM 3. ES_HEAP_SIZE=32g: set -Xms32g and -Xmx16g in jvm.options or add “-Xms32g -Xmx32g” to ES_JAVA_OPTS 解决方式: 从报错的提示来看,jvm里面没有16g的配置,所以提供了两种方式去修改: 1. 修改config目录下的jvm.options文件,修改配置:-Xms32g -Xmx32g 2. 直接在elasticsearch启动文件里面添加配置:ES_JAVA_OPTS=”-Xms32g -Xmx32g” 如果第一种修改方式不起作用,可选择第二种进行修改; 解决结果 修改成功上面的配置之后,重新启动es,然后多台服务器一起去运行logstash导入数据的时候,再也没有出现那些奇葩的问题了,perfect,希望对有遇到这些问题的程序猿有所帮助~

优秀的个人博客,低调大师

【Elasticsearch 入门公开课】在Docker环境中,实操详解 ELK 基本概念-回顾篇

讲师:阮一鸣——eBay Pronto 平台技术负责人、极客时间『Elasticsearch 核心技术与实战』课程讲师课程为了更多同学能快速体验 Elasticsearch,为大家提供了免费的阿里云 Elasticsearch (3节点1核2G)的测试环境>>>>去开通 课程回顾 7 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro8 | Logstash安装与导入数据9 | 基本概念:索引、文档和REST API10 | 基本概念:节点、集群、分片及副本 知识点一:在 Docker 容器中运行 Elasticsearch Kibana和 Cerebro lasticsearch 成立之初就开始拥抱容器技术,官方不仅提供 Docker Image,同时在2019年5月,在发布7

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码