logstash日志系统搭建-低调大师

logstash日志系统搭建

2017-11-28 627

本文将介绍如果使用logstash，elasticsearch，kibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛，支持nginx,postfix.windows系统日志，java日志以及mysql慢查询日志，Docker日志等，并带有强大的过滤器功能，还可以输出到elasticsearch，nagios,mail等，功能相当的强大，在我们要部署的日志分析系统中logstash用来收集各种日志，然后推送给elasticsearch，kibana负责通过web接口最终展示出来。

环境介绍：

操作系统版本：centos6.6 64bit

Logstash版本: logstash-2.0.0.tar.gz

Elasticsearch版本：elasticsearch-2.1.0.tar.gz

Kibana版本：Kibana 4.2.1

Java版本：1.8.0_45

一：软件下载

 
        # wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz
       
        # wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz
       
        # wget https://download.elastic.co/kibana/kibana/kibana-4.2.1-linux-x64.tar.gz

二：软件安装

1：安装java环境

 
        # java -version 
       
        java version "1.8.0_45"
       
        Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
       
        Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2：解压软件包

 
        # tar -zxvpf logstash-2.0.0.tar.gz 
       
        # mv logstash-2.0.0 /usr/local/logstash
       
        # tar -zxvpf  elasticsearch-2.1.0.tar.gz
       
        # mv elasticsearch /usr/local/elasticsearch
       
        # tar -zxvpf kibana-4.2.1-linux-x64.tar.gz
       
        # mv kibana-4.2.1 /usr/local/kibana

3：启动elasticsearch，kibana

这里可以根据自己的实际需求来修改yml配置文件

 
        # useradd  yang
       
        # chown  -R  yang.yang /usr/local/elasticsearch/
       
        # nohup su - yang -c /usr/local/elasticsearch/bin/elasticsearch &
       
        # /usr/local/kibana/bin/kibana

4：配置logstash,运行测试

 
        # logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

配置文件方式运行logstash测试, 将数据推送到elasticsearch

 
        # cat /usr/local/logstash/etc/logstash.conf 
       
        input {
       
        stdin { } 
       
        }
       
        output {
       
        stdout { 
       
        codec => rubydebug {} 
       
        }
       
        elasticsearch {  
       
        hosts => "192.168.115.5" }  
       
        } 
       
        # /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstach.conf

http://192.168.115.5:9200/_search?q=hello

Kibana上配置相应的索引前缀

本文转自斩月博客51CTO博客，原文链接http://blog.51cto.com/ylw6006/1718983如需转载请自行联系原作者

ylw6006

微信关注我们

原文链接：https://yq.aliyun.com/articles/407604

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

简单使用packetbeat

在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志，然后通过kibana以web的方式展示出来，但在生产环境中，需求会更复杂一些，而且通过logstash写正则，实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况；还有I/O吞吐量；这个时间段内经常执行的查询语句，http访问情况等信息；然后将分析出来的结果以图表的形式展现出来。听起来是不是有点头晕，有点高大上的感觉，其实通过packetbeat，一切将变得简单高效。本文介绍使用packetbeat，elasticsearch,kibana实现这个需求。操作系统版本：centos6.664bit Elasticsearch版本：elasticsearch-2.1.0.tar.gz Kibana版本：Kibana4.2.1 Packetbeat版本：packetbeat-1.0.0-1.x86_64 Topbeat版本：topbeat-1.0.0-x86_64（topbeat其实是用来收集操作系统信息的）在前两篇文章中未介绍如果安装elasticsearch...

2017-11-29

583

问题排查方式一般的错误，查看错误输出，按照关键字google 异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志 hadoop错误 1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下： Text代码 2013-06-2118:53:39,182FATALorg.apache.hadoop.hdfs.StateChange:BLOCK*NameSystem.getDatanode:Datanodex.x.x.x:50010isattemptingtoreportstorageIDDS-1357535176-x.x.x.x-50010-1371808472808.Nodey.y.y.y:50010isexpectedtoservethisstorage. 原因分析：拷贝hadoop安装包时，包含data与tmp文件夹（见本人《hadoop安装》一文），未成功格式化datanode 解决办法： Shell代码 ...

2017-11-29

1160

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。