elasticsearch和logstash和kibana-低调大师

elasticsearch和logstash和kibana

2017-11-14 499

开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站：https://www.elastic.co

其中的3个软件是：

Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。

Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

系统	系统需要安装的软件	ip	描述
centos6.4	Elasticsearch/test5	192.168.48.133	搜索存储日志
centos6.4	Elasticsearch/test4	192.168.48.131	搜索存储日志
centos6.4	Logstash/nginx/test1	192.168.48.129	用来收集日志给上面
centos6.4	kibana,nginx/test2	192.168.48.130	用来后端的展示

一、先安装elasticsearch集群，并测试通过再进行其他软件安装。

在test5，test4上安装分别安装elasticsearch-2.3.3.rpm 前提要安装java1.8 步骤如下：

yum remove java-1.7.0-openjdk

rpm -ivh jdk-8u91-linux-x64.rpm

yum localinstall elasticsearch-2.3.3.rpm

配置elasticsearch 在目录/etc/elasticsearch目录下面

lasticsearch.yml elasticsearch.yml.bak logging.yml scripts

编辑 vim lasticsearch.yml

修改如下配置

cluster.name: myelk #设置集群的名称,在一个集群里面都是这个名称，必须相同

node.name: test5 #设置每一个节点的名，每个节点的名称必须不一样。

path.data: /path/to/data #指定数据的存放位置，线上的机器这个要放到单一的大分区里面。

path.logs: /path/to/logs #日志的目录

bootstrap.mlockall: true #启动最优内存配置，启动就分配了足够的内存，性能会好很多，测试我就不启动了。

network.host: 0.0.0.0 #监听的ip地址，这个表示所有的地址。

http.port: 9200 #监听的端口号

discovery.zen.ping.unicast.hosts: ["192.168.48.133", "192.168.48.131"] #知道集群的ip有那些，没有集群就会出现就一台工作

两台的配置都一样就是上面的IP和note名称要配置不一样就行

安装插件 head和kopf 之后访问 ip:9200/_plugin/head 和ip:9200/_plugin/kopf （插件可以图形查看elasticsearch的状态和删除创建索引）

/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

二、安装nginx和logstash软件

在test1上安装好nginx服务就是收集它的日志呢

yum -y install zlib zlib-devel openssl openssl--devel pcre pcre-devel

./configure --prefix=/usr/local/nginx --with-pcre --with-openssl= --with-zlib=

make && make install

日志在/usr/local/nginx/logs/access.log

然后在test1上安装logstash-2.3.3-1.noarch.rpm

yum remove java-1.7.0-openjdk

rpm -ivh jdk-8u91-linux-x64.rpm

rpm -ivh logstash-2.3.3-1.noarch.rpm

/etc/init.d/logstash start #启动服务

/opt/logstash/bin/logstash -e "input {stdin{}} output{stdout{ codec=>"rubydebug"}}"

#检测环境执行这个命令检测环境正常否，启动完成后直接输入东西就会出现之后输入

/opt/logstash/bin/logstash -e 'input {stdin{}} output{ elasticsearch { hosts => ["192.168.48.131:9200"] index => "test"}}'

就是输入东西到48.131的elasticsearch上会在/path/to/data/myelk/nodes/0/indices 生成你名称test索引文件目录可以多输入几个到48.131的目录看看有没有文件有就证明正常。

之后在/etc/logstash/conf.d 建立以.conf结尾的配置文件，我收集nginx就叫nginx.conf了内容如下；

###########################################################################################

input {

file {

type => "accesslog"

path => "/usr/local/nginx/logs/access.log" #日志的位置

start_position => "beginning" #日志收集文件，默认end

}

output {

if [type] == "accesslog" {

elasticsearch {

hosts => ["192.168.0.87"] ###elasticearch的地址

index => "nginx-access-%{+YYYY.MM.dd}" #生成的索引和刚才的test一样会在那里生成后面的是日期变量。

}

##########################################################################################

一定要仔细，之后运行/etc/init.d/logstash configtest检测配置是否正常。

之后在elasticearch查看有没有索引生成。多访问下nginx服务

如果没有就修改这个文件

vi /etc/init.d/logstash

######################################################################################################

LS_USER=root ###把这里换成root或者把访问的日志加个权限可以让logstash可以读取它重启服务就会生成索引了

LS_GROUP=root

LS_HOME=/var/lib/logstash

LS_HEAP_SIZE="1g"

LS_LOG_DIR=/var/log/logstash

LS_LOG_FILE="${LS_LOG_DIR}/$name.log"

LS_CONF_DIR=/etc/logstash/conf.d

LS_OPEN_FILES=16384

LS_NICE=19

KILL_ON_STOP_TIMEOUT=${KILL_ON_STOP_TIMEOUT-0} #default value is zero to this variable but could be updated by user request

LS_OPTS=""

#######################################################################################################

三、安装kibana软件

上面的都安装完成后在test2上面安装kibana

rpm -ivh kibana-4.5.1-1.x86_64.rpm

编辑配置文件在这里/opt/kibana/config/kibana.yml 就修改下面几项就行

#######################################################################################################

server.port: 5601 端口

server.host: "0.0.0.0" 监听

elasticsearch.url: "http://192.168.48.131:9200" elasticsearch地址

######################################################################################################

四、其他的一些配置。

kibana是直接访问的比较不安全，我们需要用nginx访问代理，并设置权限用户名和密码访问

先在kibana服务器上安装nginx 不介绍了

在nginx里面配置

#################################################################################

server

{

listen 80;

server_name localhost;

auth_basic "Restricted Access";

auth_basic_user_file /usr/local/nginx/conf/htpasswd.users; #密码和用户

location / {

proxy_pass http://localhost:5601; #代理kibana的5601之后就可以直接80访问了

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header REMOTE-HOST $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

}

####################################################################################

创建密码和用户文件：htpasswd.users

需要安装httpd-tool包先安装它

htpasswd -bc /usr/local/nginx/conf/htpasswd.users admin paswdadmin

#前面是用户后面是密码

##################################################################################

一、基本操作

1、命令行运行 bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

#bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

Logstash startup completed

hello world

{

"message" => "hello world",

"@version" => "1",

"@timestamp" => "2017-03-22T01:34:46.013Z",

"host" => "0.0.0.0"

}

2、加载配置文件运行 bin/logstash -f log.conf

input {

stdin { }

}

output {

stdout {

codec => rubydebug {}

}

elasticsearch {

embedded => true

}

3、语法

a、区段

logstash 用{} 定义区域，区域内可以包括插件区域定义，一个区域内可以定义多个插件如：

input {

stdin { }

syslg { }

}

b、数据类型

支持字符串、数值、数组、哈希

二、命令行参数

1、-e “执行”参数的默认值：

input {

stdin { }

}

output {

stdout { }

}

2、--config 或-f : 用来指定启动加载的配置文件

bin/logstash -f log.conf （读取单个配置文件）

bin/logstash -f /etclogstash.d/ （读取目录下所有的配置文件）

3、--configtest 或-t : 测试配置文件是否能正常解析，如果错误，会有提示

./bin/logstash -t -f filebeat20170109.conf

4、--log 或-l: 用于指定输出日志（logstash默认输出日志到标准错误）

bin/logstash -l /tmp/logstash.log

5、--filterworkers 或 -w :指定工作线程

bin/logstash -w 5

6、--pluginpath 或-P 指定插件

7、--verbose 输出一定的调试日志

8、--debug 输出更多的调试日志

三、插件

列出 bin/plugin list

安装 bin/plugin install logstash-output-webhdfs

升级 bin/plugin update logstash-input-tcp

四、启动方式 nohup bin/logstash -f log.conf &

建议启动方式 daemontools,如supervisord

一、输入

a、标准输入:

input {

stdin {

add_field => {"key" =>"value"}

codec =>"plain"

tags => ["add"]

type => "std"

}

output {

stdout {

codec => rubydebug {}

}

其中tags和type 是logstash中两个特殊字段。type 一般用来指定事件类型，tags是在数据处理过程中，由具体的插件来添加或删除。

b、文件输入

logstash 使用FileWatch的ruby gem库来监听文件变化，支持glob展开文件路径

FileWatch只支持文件的绝对路径而且不会自动递归目录，但可以用**来缩写表示递归全部子目录

/path/to/**/*.log

input {

file {

path => "/var/log/messages"

type => "syslog"

}

file {

path => "/var/log/httpd/access_log"

type => "apache_log"

}

filter {

if [type] == "syslog" {

grok {

match => [ "message", "%{SYSLOGBASE} %{GREEDYDATA:message}" ]

overwrite => [ "message" ]

}

else if [type] == "apache_log" {

grok {

match => ["message", "%{COMMONAPACHELOG}"]

}

output {

stdout { codec => rubydebug }

elasticsearch { embedded => "true"}

}

c、TCP输入，最常见的是配合nc命令导入旧数据

版本说明：

Elasticsearch 5.0

Logstash 5.0（暂时未用）

Filebeat 5.0

Kibana 5.0

ELK是一套采集日志并进行清洗分析的系统，由于目前的分析的需求较弱，所以仅仅采用filebeat做日志采集，没有使用logstash

一、环境准备&&软件安装：

1、首先，需要安装Java环境

下载安装包：jre-8u111-linux-x64.rpm

安装：yum install jre-8u111-linux-x64.rpm

2、新建一个用户，elsearch，用来启动elasticsearch，因为该软件必须用普通用户启动。

useradd elsearch

3、修改变量参数：否则启动elasticsearch会报bootstrap错误。

1、ulimit -u 10240 #

2、vim /etc/sysctl.conf

vm.max_map_count = 655360

sysctl -p

3、vim /etc/security/limits.conf

* soft noproc 65536

* hard noproc 65536

* soft nofile 65536

* hard nofile 65536

4、软件安装

安装包下载地址：https://www.elastic.co/downloads

使用的是绿色安装包，解压即用。

1、filebeat安装

tar -xvf filebeat-5.0.0-linux-x86_64.tar.gz

cp filebeat-5.0.0-linux-x86_64 /usr/local/filebeat -r

./filebeat -configtest 测试配置是否正确

2、kibana安装

tar -xvf kibana-5.0.0-linux-x86_64.tar.gz

cp kibana-5.0.0-linux-x86_64 /usr/local/kibana -r

3、logstash安装（暂时未用）

tar -xvf logstash-5.0.0.tar.gz

cp logstash-5.0.0 /usr/local/logstash -r

4、elasticsearch安装

unzip elasticsearch-5.0.0.zip

cp elasticsearch-5.0.0 /usr/local/elasticsearch -r

二、配置&&启动

1、启动elasticsearch

cd /usr/local/

chown -R elsearch:elsearch elasticsearch 将权限给elsearch用户

su elsearch

cd /usr/local/elasticsearch

修改配置文件如下：

cat config/elasticsearch.yml |grep -v "#"

path.data: /usr/local/elasticsearch/data

path.logs: /usr/local/elasticsearch/logs

network.host: 192.168.221.30

http.port: 9200

  #vim conf/elasticsearch.yml
 

 
  cluster.name: serverlog      
  #集群名称，可以自定义

 
  node.name: node-1         
  #节点名称，也可以自定义

 
  path.data: 
  /home/elasticsearch/elasticsearch-2
  .3.4
  /data        
  #data存储路径 
 

 
  path.logs: 
  /home/elasticsearch/elasticsearch-2
  .3.4
  /logs        
  #log存储路径 
 

 
  network.host: 10.0.18.148             
  #节点ip

 
  http.port: 9200             
  #节点端口

 
  discovery.zen.
  ping
  .unicast.hosts: [
  "10.0.18.149"
  ,
  "10.0.18.150"
  ]  
  #集群ip列表 
 

 
  discovery.zen.minimum_master_nodes: 3                            
  #集群几点数

启动：

cd /usr/local/elasticsearch/bin

./elasticsearch #使用-d参数，放到后台执行

我配置的elasticsearch.yml如下

cluster.name: es-5.0-ztgame

node.name: node-18

network.host: 0.0.0.0

http.port: 19200

http.cors.enabled: true

http.cors.allow-origin: "*"

我配置的kibana.yml如下

server.port: 15601

server.host: "0.0.0.0" #修改监听地址，不然只能本机访问

elasticsearch.url: "http://10.12.15.126:19200"

查看启动情况：

[root@localhost elasticsearch]# lsof -i:9200

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 29987 elsearch 237u IPv6 470519 0t0 TCP 192.168.221.30:wap-wsp

在浏览器中查看：

输入：192.168.221.30:9200

能看到类似信息则启动成功：

{

"name" : "FrmZoqD",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "IcATEXFBQkGsZdh4P_TiTw",

"version" : {

"number" : "5.0.0",

"build_hash" : "253032b",

"build_date" : "2016-10-26T04:37:51.531Z",

"build_snapshot" : false,

"lucene_version" : "6.2.0"

},

"tagline" : "You Know, for Search"

}

注意本机防火墙要关掉。

2、配置&&启动filebeat

#!/bin/bash

PATH=/usr/bin:/sbin:/bin:/usr/sbin

export PATH

agent="/usr/local/filebeat/filebeat"

args="-c /usr/local/filebeat/filebeat.yml -path.home /usr/local/filebeat -path.config /usr/local/filebeat -path.data /usr/local/filebeat/data -path.logs /var/log/filebeat"

test_args="-e -configtest"

test() {

$agent $args $test_args

}

start() {

pid=`ps -ef |grep /usr/local/filebeat/data |grep -v grep |awk '{print $2}'`

if [ ! "$pid" ];then

echo "Starting filebeat: "

test

if [ $? -ne 0 ]; then

echo

exit 1

fi

$agent $args &

if [ $? == '0' ];then

echo "start filebeat ok"

else

echo "start filebeat failed"

fi

else

echo "filebeat is still running!"

exit

fi

}

stop() {

echo -n $"Stopping filebeat: "

pid=`ps -ef |grep /usr/local/filebeat/data |grep -v grep |awk '{print $2}'`

if [ ! "$pid" ];then

echo "filebeat is not running"

else

kill $pid

echo "stop filebeat ok"

fi

}

restart() {

stop

start

}

status(){

pid=`ps -ef |grep /usr/local/filebeat/data |grep -v grep |awk '{print $2}'`

if [ ! "$pid" ];then

echo "filebeat is not running"

else

echo "filebeat is running"

fi

}

case "$1" in

start)

start

;;

stop)

stop

;;

restart)

restart

;;

status)

status

;;

*)

echo $"Usage: $0 {start|stop|restart|status}"

exit 1

esac

修改配置文件：

cd /usr/local/filebeat

cp filebeat.yml filebeat.yml.default

vim filebeat.yml

filebeat.prospectors:

- input_type: log

paths:

- /var/log/messages

document_type: "messages"

output.elasticsearch:

hosts: ["192.168.221.30:9200"] #filebeat传到Elasticsearch

index: filebeat-%{+yyyy.MM.dd} #这里的索引index会跟kibana的索引有关系

touch /var/log/test.log #测试日志文件

启动：

./filebeat -e -c filebeat.yml -d "publish"

测试

输入一条语句进行测试

echo "hello,test" >test.log

将filebeat放入后台执行：

nohup ./filebeat -e -c filebeat.yml >>/dev/null 2>&1 &

3、配置&&启动kibana

修改配置：

cd /usr/local/kibana

vim config/kibana.yml

server.port: 5601

server.host: "27.131.221.30"

elasticsearch.url: "http://27.131.221.30:9200"

修改以上三项。

启动动服务：

cd /usr/local/kibana/bin/

./kibana

如果都配置正确的话，会进入到kibana的页面，刚开始会让你配置一个index索引

这条索引跟我们上面filebeat里面配置的索引有关。

filebeat-*

*就是时间格式，我们是按照时间来进行索引的。

如果是用logstash进行采集数据的话，那么索引就是logstash-*

当然，我们也可以配置多条索引，例如我们同时用filebeat和logstash进行采集不同的业务日志。

3、安装logstash

解压

# tar -xzf logstash-5.2.0.tar.gz -C /usr/local/

编辑配置文件

# cat /usr/local/logstash-5.2.0/config/nginx.yml

input {

beats { #监听在5043端口接收来自filebeat的日志

port => "5043"

}

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}"} #过滤规则

}

geoip {

source => "clientip" #过滤规则获取IP

}

output {

elasticsearch { hosts => ["localhost:9200"] }

stdout { codec => rubydebug }

}

配置logstash的配置文件

#cd /etc/logstash/conf.d

#vim logstash.conf

input {

file {

path => ["/var/log/nginx/access.log"]

type => "nginx_log"

start_position => "beginning"

}

output {

stdout {

codec => rubydebug

}

检测语法是否有错

#/opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --configtest

Configuration OK #语法OK

修改logstash的配置文件，将日志数据输出到redis

#cat /etc/logstash/conf.d/logstash.conf

input {

file {

path => ["/var/log/nginx/access.log"]

type => "nginx_log"

start_position => "beginning"

}

output {

redis {

host => "10.0.18.146"

key => 'logstash-redis'

data_type => 'list'

}

检查语法并启动服务

#/opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --configtest

Configuration OK

启动

nohup /usr/local/logstash-5.2.0/bin/logstash -f /usr/local/logstash-5.2.0/config/nginx.yml &

4、安装filebeat

在客户端安装filebeat，用于推送日志

# tar -xzf filebeat-5.2.0-linux-x86_64.tar.gz -C /usr/local/

新建推送配置

vim /usr/local/filebeat-5.2.0-linux-x86_64/ipaper.yml

filebeat.prospectors:

- input_type: log

paths:

- /data/wwwlogs/test1.log #指定推送日志文件

- /data/wwwlogs/test2.log

output.logstash:

hosts: ["192.168.0.54:5043"] #指定接收logstash

启动filebeat

5、安装kibana

解压kibana

# tar -xzf kibana-5.2.0-linux-x86_64.tar.gz -C /usr/local/

修改监听地址，不然只能本机访问

# vim /usr/local/kibana-5.2.0-linux-x86_64/config/kibana.ym

server.host: "0.0.0.0"

启动

# /usr/local/kibana-5.2.0-linux-x86_64/bin/kibana &

本文转自 chengxuyonghu 51CTO博客，原文链接：http://blog.51cto.com/6226001001/1909819，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/524548

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源实时日志分析ELK平台部署

开源实时日志分析ELK平台部署日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products lElasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发...

2017-11-15

534

CentOS下安装Hive2.0.0详解本文环境如下：操作系统：CentOS 6 32位 Hive版本：2.0.0 JDK版本：1.8.0_77 32位 Hadoop版本：2.6.4 1.所需要的环境 Hive 2.0需要以下运行环境： Java 1.7以上（强烈建议使用Java 1.8） Hadoop 2.X 2.下载、解压Hive安装包 Hive官网地址: http://hive.apache.org/ 例如： wget "http://mirrors.cnnic.cn/apache/hive/hive-2.0.0/apache-hive-2.0.0-bin.tar.gz" tar -xzvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /opt/hive-2.0.0 3.配置环境变量（可选）将hive-2.0.0/bin添加到path，以方便访问 vi /etc/profile 在末尾添加： HIVE_HOME=/opt/hive-2.0.0 PATH=$PATH:$HIVE_HOME/bin 4. 启动单机模...

2017-11-15

736

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。