ELK之ES-Logstash-Kibana互联

好久没有写,这久都是在做ELK的数据化模板,觉得还是有些东西需要写下来的,前面我已经写过了EKL的安装,今天就来说一下ELK三个软件之间的连接把。
# 关系介绍:

ES是一个文档数据库,Logstash是一个数据收集工具,Kibana是一个数据处理工具,这么去理解这三个组件是无可厚非的。我们通过Logstash把数据收集起来,无论是通过读取日志,还是读取数据库,亦或是去监听某一个日志输出端口,总之Logstash就是一个数据收集工具,收集到数据之后再把数据发送给ES进行固化。好了,现在我们在ES中已经有了数据了,那么,通过什么来分析呢?没错,就是通过Kibana,它需要去ES数据库拿去数据,然后对数据进行分析。
现在我们应该可以理ELK三个组件的逻辑关系了。
image
现在把三者的关系理解清楚以后,就可以进行配置了。

# EKL相互配置

根据关系图我们可以知道,第一步需要做的是连接数据源和Logstash。
第一步:连接数据源和Logstsh

假设我们使用时是日志文件数据源,我们就需要使用Logstash的file{}插件

事例代码如下:

file{
        path=>['/data/access.log']
        type => "system"
        start_position => "beginning"
        sincedb_path => '/dev/null'


   }

path属性是指定元数据位置
type属性是指点该批元数据在ES中的类型
start_position 属性表示从头开始读取数据
sincedb_path 属性标识为/dev/null'时标识无论如何从头开始读取文件
更多file插件的字段属性,可以参考ELK文档。

第二步:让Ligstash把数据发送给ES
 elasticsearch{
             hosts => ["10.66.140.37:9200"]                      
               action=>"index"
               index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
                manage_template => false
                idle_flush_time => 10
                 sniffing => true
              document_id=>"%{[DocID]}"
            
         } 

hosts属性是表示ES在哪
index 属性表示事件要被写进的索引
idle_flush_time 属性表示每10秒发送一次数据到ES
active属性表示ES要执行的动作

第三步:连接ES和Kibana

前面我们已经把需要的数据发送到ES进行了存储了,现在要做的就是通过Kibana来分析我们的数据。
编辑Kibana的.ylm
image
设置ES的地址。
至此,ELK三大组件的连接已经完成。
你可以开心的去编辑你的数据格式和图标了...

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/149433

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。