关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录-低调大师

关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录

2018-05-24 677

之前写过一篇博客是关于记录日志的简单方式的主要就是应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的

https://www.cnblogs.com/zhyg/p/6994314.html

记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

虽然我们部分线上应用使用 redis单节点 logstash 也是使用单节点基本稳定流畅并且几乎不丢日志（单节点问题就不说了肯定有单点故障之后在分析）

上面的两个单节点一天承受1-3亿条日志是没有问题的前提是并发量不要太大

可是可是 tmd我今天就遇到了

主要分享一下解决方案

本方案同样是两个单节点

先说下今天发生的北京情况

我们的业务服务有些挤压这个时候我们把处理节点线程加多来处理

微信关注我们

原文链接：https://yq.aliyun.com/articles/617910

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据行业发展的九大痛点（个人观点）

前言尽管在Hadoop与NoSQL部署方面做足了准备，同样的问题仍然一次又一次反复出现。现在业界是时候尽快搞定这些麻烦事了。有时候一艘巨轮的侧方出现了破洞，但业界却决定坐等船体下沉、并把希望寄托在销售救生艇身上。也有些时候，这些问题似乎并没到要闹出人命的地步——类似我家里浴室的状况，只有往一边拧龙头才会出水。过一阵子我可能会找机会修理一下，但事实上这个问题已经存在了12年之久了。而在面对大数据业务时，我可以列出九个长久以来一直令人头痛的问题，时至今日它们依然存在着并困扰着无数用户。分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188 无论是大牛还是想转行想学习的大学生小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2018年学习的大数据教程，欢迎初学和进阶中的小伙伴。大数据痛点一号：GPU编程仍未得到普及 CPU的使用成本仍然较为昂贵，至少与GPU相比要贵得多。如果我们能够面向GPU开发出更理想的执行标准以及更多表现出色的驱动程序，那么相信一个新的市场将由此诞生。就目前来讲，GPU的使用成本优势并没能得到很好...

2018-05-24

425

前言 ELK官方的中文文档写的已经挺好了，为啥还要记录本文？因为我发现，我如果不写下来，过几天就忘记了，而再次捡起来必然还要经历资料查找筛选测试的过程。虽然这个过程很有意义，但并不总是有那么多时间去做。因此，接下来的内容仅仅是我根据查询到的资料，筛选，组装，测试后达到我的目标的一个过程。什么是ELK K我最初还以为是Kafka，事实上，ELK平台是一个完整的日志分析解决方案，由这三个开源工具构建而成：Elasticsearch、Logstash、Kibana。 Elasticsearch用于深度搜索和数据分析，它是基于Apache Lucene的分布式开源搜索引擎，无须预先定义数据结构就能动态地对数据进行索引； Logstash用于日志集中管理，包括从多台服务器上传输和转发日志，并对日志进行丰富和解析，是一个数据管道，提供了大量插件来支持数据的输入和输出处理；最后是Kibana，提供了强大而美观的数据可视化，Kibana完全使用HTML和Javascript编写，它利用Elasticsearch 的RESTful API来实现其强大的搜索能力，将结果显示位各种震撼的图形提供给最终的...

2018-05-26

494

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。