用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统-低调大师

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

2013-11-07 769

安装环境

先看看都需要安装什么软件包
ruby 运行Kibana 必须，
rubygems 安装ruby扩展必须
bundler 功能类似于yum
JDK 运行java程序必须
redis 用来处理日志队列
logstash 收集、过滤日志
ElasticSearch 全文搜索服务(logstash集成了一个)
kibana 页面展示

192.168.18.240 logstash index，kibana，JDK
192.168.18.241 logstash agent，JDK
192.168.18.242 redis
192.168.18.243 ElasticSearch，JDK

先安装redis (192.168.18.242)

# wget http://redis.googlecode.com/files/redis-2.6.12.tar.gz

# tar zxvf redis-2.6.12.tar.gz

# mv redis-2.6.12 redis

# cd redis

# make -j24

# make install

# vi /root/soft/redis/redis.conf

修改level为 loglevel verbose

# redis-server /root/soft/redis/redis.conf &

看看 redis服务的状态

# lsof -i:6379

安装 elasticsearch (192.168.18.243)

 elasticsearch会依赖于java

 
           # vi /etc/apt/sources.list 
          

 
           deb http:
           //ftp.debian.org/debian/ squeeze main non-free

 
           deb-src http:
           //ftp.debian.org/debian/ squeeze main non-free

 
           # apt-get update 
          

 
           # apt-cache search sun-java 
          

 
           # apt-get install sun-java6-jdk sun-java6-jre 
          

 
           # java -version 
          

 
           # 
            wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.20.6.zip

 
           # 
            unzip 
            elasticsearch-0.20.6.zip 
          

 
           # 
            mv 
           elasticsearch-0.20.6 
            /usr/local/share/elasticsearch 
          

 
           # 
            cd /usr/local/share/elasticsearch/bin/

 
           # ./elasticsearch -f 
          

在 logstash index上安装基础的软件环境： (192.168.18.240)

 
           # vi /etc/apt/sources.list 
          

 
           deb http:
           //ftp.debian.org/debian/ squeeze main non-free

 
           deb-src http:
           //ftp.debian.org/debian/ squeeze main non-free

 
           # apt-get update 
          

 
           # apt-cache search sun-java 
          

 
           # apt-get install sun-java6-jdk sun-java6-jre 
          

 
           # java -version 
          

 
           开始安装logstash (
           其实logstash 就是一个java脚本，不需要安装... 下载即用 
           ) 
          

# wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar

# vi /root/soft/redis.conf

input {

redis {

host => '192.168.18.242'

data_type => 'list'

port => "6379"

key => 'logstash:redis'

type => 'redis-input'

}

output {

elasticsearch {

host => '192.168.18.243'

port => "9300"

}

# java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf -- web --backend elasticsearch:///?local

 现在可以通过浏览器访问一下 http://192.168.18.240:9292 看看logstash是的页面是个什么样子

配置logstash的agent (192.168.18.241)

安装sun-java6-jre sun-java6-jdk

# wget https://logstash.objects.dreamhost.com/release/logstash-1.1.9-monolithic.jar

# vi /root/soft/redis.conf

input {

stdin {

type => "stdin-type"

}

file {

type => "linux-syslog"

# Wildcards work, here :)

path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog" ]

}

output {

redis {

host => '192.168.18.242'

data_type => 'list'

key => 'logstash:redis'

}

# java -jar /root/soft/logstash-1.1.9-monolithic.jar agent -f /root/soft/redis.conf &

OK，最后就是 Kibana了，我把Kibana装在了 logstash index上面
下载地址为 http://kibana.org/intro.html

# apt-get install ruby rubygems
# gem install bundler
# bundle install ( /var/lib/gems/1.8/bin/bundle install )
以上为ruby运行环境
wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz
# tar zxvf Kibana-0.2.0.tar.gz
# cd Kibana-0.2.0
直接安装就好了，非常简单，因为之前咱们已经安装好了 bundle
编辑配置文件，指定 elasticsearch 的位置
[192.168.18.240 root@nodec:/soft/Kibana-0.2.0]
# vim KibanaConfig.rb
.....
Elasticsearch = "192.168.18.243:9200"
KibanaPort = 5601
KibanaHost = '0.0.0.0'
.....
主要是这几个参数
启动的话需要ruby
[192.168.18.240 root@nodec:/soft/Kibana-0.2.0]
# /usr/bin/ruby kibana.rb &
[192.168.18.240 root@nodec:/soft/Kibana-0.2.0]
# == Sinatra/1.3.5 has taken the stage on 5601 for development with backup from Thin
>> Thin web server (v1.5.0 codename Knife)
>> Maximum connections set to 1024
>> Listening on 0.0.0.0:5601, CTRL+C to stop
如果ruby的东西都不缺的话，启动会很顺利，ok 现在看看5601端口的状态
[192.168.233.128 root@nodec:/soft/Kibana-0.2.0]
# lsof -i:5601
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
ruby 3116 root 5u IPv4 28947 TCP *:esmagent (LISTEN)

访问一下试试看 http://192.168.18.240:5601 尝试搜索一下php的错误日志，比如mysql

呵呵，要的就是这个效果，日志会实时的汇总到 logstash index 上供我们查询，当然这只是开始使用logstash的第一步而已，更多的高级功能可以看看官方文档
http://logstash.net/docs/1.1.9 /

微信关注我们

原文链接：https://yq.aliyun.com/articles/449588

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

open source, distributed real-time search and analytics engine for the...

http://www.elasticsearch.org/

2013-11-07

799

chukwa是apache下的一个开源项目。主要是用于日志收集分析，结合hadoop进行有效的日志处理和计算。下面这张图片描述的比较形象。在这个架构中可以看出主要由agent,collector,hadoop，这样几块组成。而我现在要关注的就是agent和collector的交互部分。原来的日志收集系统是直接使用chukwa的一整套服务搭建起来的。但是这样子的系统有一个比较明显的缺点就是不能达到实时处理的要求。正常的情况下，日志处理的延时在5到10分钟左右。因此，需要在此基础上修改这样的架构。分析后发现，chukwa的agent还是比较好用的，拥有很多的配置方法，方便对服务器的调控。另外因为是线上服务器，也不可以随便换用agent。因为决定自己实现collector端，收集agent发过来的数据。因此就需要研究chunkwa传输的时候是怎么编码的。下面这张图片是我分析后得到的结果：每一次，agent会发送一个package过来，这个package包括很多个chunk。其中开始的4个字节表示的int值表示这个package有多少个chunk。上面这张图片表示的就是一个chunk的各个...

2013-11-08

881

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。