玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理-低调大师

玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

2017-01-16 704 89

实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis->Logstash->Elastic->Kibana、(Rsyslog/filebeat/...)->Kafka->Logstash->Elastic->Kibana等等，复杂点的有Spark的引用，再复杂点的引入Hadoop系列。每种方案适合不同的应用场景，没有优劣之分，我目前用的是Rsyslog->kafka->(Logstash/Spark)->Elastic->Kibana和Rsyslog->Rsyslog中继->Kafka->(Logstash/spark)->Elastic->Kibana方案，中间使用Spark对日志进行再次聚合。

从整体架构进行抽象总结，其实就是采集->清洗->索引->展现四个环节，再去考虑各环节中间缓存、队列的使用，然后每个环节用不同的软件工具来实现。下面介绍一下我目前方案集群的搭建和配置。希望对同行有所帮助，在ELK探索过程中多谢远川和冯超同学的奉献交流，常用的一个架构图如下：

.............

浏览全部请点击运维网咖社：玩儿透围绕ELK体系大型日志分析集群方案设计.搭建.调优.管理

微信关注我们

原文链接：https://blog.51cto.com/benpaozhe/1892388

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

第七章 Shell文本处理三剑客之awk

上节讲了grep、sed工具，已经能满足常见的文本处理需求，但有些需求对于他们来说心有余而力不足，今天所讲的工具就能完成他们大多数的功能，它就是三剑客中的老大AWK，我相信一定不会让你失望，下面一起看看吧！本章大纲： 8.3 awk awk是一个处理文本的编程语言工具，能用简短的程序处理标准输入或文件、数据排序、计算以及生成报表等等。在Linux系统下默认awk是gawk，它是awk的GNU版本。可以通过命令查看应用的版本：ls -l /bin/awk 基本的命令语法：awk option 'pattern {action}' file 其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号用于根据特定的模式对一系列指令进行分组。 awk处理的工作方式与数据库类似，支持对记录和字段处理，这也是grep和sed不能实现的。在awk中，缺省的情况下将文本文件中的一行视为一个记录，逐行放到内存中处理，而将一行中的某一部分作为记录中的一个字段。用1,2,3...数字的方式顺序的表示行（记录）中的不同字段。用$后跟数字，引用对应的字段，以...

560

zabbix3.0.4监控nginx性

在zabbixagentd客户端上，查看nginx是否加载了–with-http_stub_status_module。因为zabbix监控nginx是根据nginx的Stub Status模块，抓取Status模块所提供的数据。假如以前没开启，现在想启用StubStatus 模块，在编译nginx 的时候要加上参数 –with-http_stub_status_module，执行./configure && make就可以了，不用make install。不过，一般情况下都是安装了的。检查with-http_stub_status_module有没有安装 nginx status 开启方法： server{ ... location/status{ stub_statuson; access_logoff; allow123.123.123.123;#zabbix服务器IP地址，一般是内网地址。 allow127.0.0.1; denyall; } 在nginx配置文件中：启动nginx [root@iZ25sh42s8wZvhosts]#/usr/local/n...

589

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。