首页 文章 精选 留言 我的

CentOS7搭建开源分布式搜索平台ELK实现日志实时搜索并展示图表

2017-11-21 566

   一、简介 

    Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

    通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。因此使用一款能够自动实时收集日志的工具则完美的解决我们的问题，ELK官网提供的开源解决方案有elasticsearch、logstash、kiabana。


    ELK原理架构图：

    wKiom1hGbc2zIt6WAAE38vujqPM069.png

    说明：在此架构图中logstash agent负责将所有的应用服务日志收集并汇报给elasticsearch cluster集群中，而kibana则从ES集群中抽取数据生成图表，再返还给系统管理员。  


    二、ELK平台搭建

    ①ES平台是依赖于jdk的环境基础上进行的，所以在安装elasticsearch之前需安装jdk开发环境。   


    ②各个节点之间需做到时间同步，可使用时间服务器进行同步。


    ③各个节点之间能够通过主机名见名知意，方便自己的操作。  


安装配置如下：

实验环境 实验所需软件
CentOS7:(kernel-3.10.0-327.el7.x86_64) elasticsearch-1.7.2.noarch.rpm
Java: Openjdk version  ”1.8.0_65″ java-1.8.0-openjdk/openjdk-devel

  

#本文重要通过rpm包安装其环境极其软件，可自行到相依的官网下载rpm或源码包进行编译安装。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#安装openjdk开发环境
yum -y  install  java-1.8.0-openjdk java-1.8.0-openjdk-devel java-1.8.0-openjdk-headless
#配置其环境变量
export  JAVA_HOME= /usr
source  java.sh 
[root@node2 ~] # java -version
openjdk version  "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
[root@node2 ~] #
#安装elasticsearch    
yum -y elasticsearch-1.7.2.noarch.rpm 
#编辑配置文件，不使用默认的cluster.name和node.name可根据自己业务的需求进行修改
cluster.name= alrenES     node.name=  "node2.alren.com"   
#启动服务，查看其监听的9300/tcp端口
systemctl start elasticsearch.service  
[root@node2 ~] # systemctl status elasticsearch.service
● elasticsearch.service - Elasticsearch
    Loaded: loaded ( /usr/lib/systemd/system/elasticsearch .service; disabled; vendor preset: disabled)
    Active: active (running) since Mon 2016-12-05 21:05:47 CST; 19h ago
      Docs: http: //www .elastic.co
  Main PID: 7143 (java)
    CGroup:  /system .slice /elasticsearch .service
            └─7143  /bin/java  -Xms256m -Xmx1g -Djava.awt.headless= true  -XX...
 
Dec 05 21:05:47 node2.alren.com systemd[1]: Started Elasticsearch.
Dec 05 21:05:47 node2.alren.com systemd[1]: Starting Elasticsearch...
[root@node2 ~] #

 

    ES集群组件：

    Cluster：集群的标识为集群名称，默认为elasticsearch，节点就是靠此名字来加入到哪个集群中，一个节点只能属于一个集群。

    Node：运行单个ES实例的主机即为节点，用于存储数据，参与集群索引及搜索操作，节点的表示依靠节点名称。

    Shard：将索引切割成为物理存储组件，每个shard都是一个独立且完整的索引，创建索引时，ES默认将其分隔为5个shard，用户也可以按需自行定义，但一旦创建则不可修改，同时会产生一个replica副本。


    ES Cluster工作流程： 

    启动服务时，elasticsearch会监听在9300/tcp端口上，通过多播的方式查找同一类的集群的其他节点，并与之建立通信。集群中的所有节点会选举一个主节点负责管理整个集群状态，以及在集群范围内决定shard的分布方式，站在用户的角度而言，每个节点均可接受并响应用户的各类请求。   


    三、集群各管理及其操作

    常用的四类API:

    ①检查集群、节点、索引等健康状态与否，以及获取其相关的状态

    ②管理集群、节点、索引及元数据

    ③执行CRUD操作

    ④执行高级操作，例如paping,filetering等


    使用curl -X命令查看其节点状态信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
[root@node2 ~] # curl -X GET ' #?pretty则是显示  
{
   "status"  : 200, #响应的状态码信息
   "name"  :  "node2.alren.com" ,  #节点名
   "cluster_name"  :  "alrenES" ,  #ES集群名称
   "version"  : {
     "number"  :  "1.7.2" ,  #elasticsearch版本
     "build_hash"  :  "e43676b1385b8125d647f593f7202acbd816e8ec" ,
     "build_timestamp"  :  "2015-09-14T09:49:53Z" ,
     "build_snapshot"  :  false ,
     "lucene_version"  :  "4.10.4"
   },
   "tagline"  :  "You Know, for Search"
}
[root@node2 ~] # curl -X GET  #查看支持的API接口 
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/ {index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/ {index}
/_cat/segments
/_cat/segments/ {index}
/_cat/count
/_cat/count/ {index}
/_cat/recovery
/_cat/recovery/ {index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/ { alias }
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/ {fields}
[root@node2 ~] # curl -X GET  #查看其主节点为哪台主机 
c-iCqp3FQh27948gAsyKaw node3.alren.com 10.1.10.67 node3.alren.com
[root@node2 ~] # curl -X GET  #查看当前ES cluster集群的所有节点 
node2.alren.com 10.1.100.6  6 84 0.06 d m node2.alren.com
node4.alren.com 10.1.100.7  4 69 0.15 d m node4.alren.com
node3.alren.com 10.1.100.8 16 72 0.10 d * node3.alren.com
[root@node2 ~] # curl -X GET ' #查看集群状态 
{
   "cluster_name"  :  "alrenES" ,  #集群名称
   "status"  :  "green" ,         #集群健康状态
   "timed_out"  :  false ,    
   "number_of_nodes"  : 3,     #集群总共的节点数量        
   "number_of_data_nodes"  : 3,
   "active_primary_shards"  : 8,
   "active_shards"  : 16,
   "relocating_shards"  : 0,
   "initializing_shards"  : 0,
   "unassigned_shards"  : 0,
   "delayed_unassigned_shards"  : 0,
   "number_of_pending_tasks"  : 0,
   "number_of_in_flight_fetch"  : 0
}
[root@node2 ~] #


    插件安装的两种方式：

 给集群节点安装附加插件，可通插件扩展ES的功能，添加自定义的映射类型，自定义分析器，本地脚本，自定义发现方式。常用的插件有bigdesk,marvel,head,kopf等。

    ①直接解压插件的压缩包之或是插件放置于/usr/share/elasticsearch/plugins目录下即可

    ②使用全路径二进制脚本进行安装，例如：/usr/share/elasticsearch/bin/plugin -i bigdesk -u ftp://uri/bigdesk.lastest.zip ，安装完成之后可通过浏览器访问。访问的URL：http://uri:9200/_plugin/plugin_name


    插件实例图一：

 wKioL1hGjSqwxvR7AACNXRLF2Uo081.png


   插件实例图二：

wKiom1hGmkrT1J96AAD_3eHd_rk266.png


CRUD操作的相关API:增、删、改、查

1、创建文档：向索引中插入数据时将会自动创建索引

1
2
3
4
5
6
7
8
9
10
11
12
13
curl -X PUT  'http://localhost:9200/students/class1/1?pretty'  -d 
'{
"name" : "tom" ,
"gender" : "male" ,
"age" :21
}'
#同理插入第二个则修改相应的值即可
curl -X PUT  'http://localhost:9200/students/class1/2?pretty'  -d 
'{
"name" : "jerry" ,
"gender" : "female" ,
"age" :21
}'


2、获取文档：查询插入的内容

1
curl -X GET  'http://localhost:9200/students/class1/1?pretty'


3、更新文档：PUT方法会直接覆盖至原有的文档信息，想要局部的更新使用_update

1
2
3
4
curl -X POST  'http://localhost:9200/students/class1/2/_update?pretty'  -d 
'{
"doc" :{ "age" :10}
}'


4、删除文档及其索引

1
2
curl -X DELETE  'http://localhost:9200/students/class1/2/' 
curl -X DELETE  'http://localhost:9200/students'


5、查看当前索引

1
curl -X GET  'localhost:9200/_cat/indeces?v'


项目小实战：


IP地址、软件规划： 

IP地址 实验所需软件 环境部署 主机名
10.1.10.65

logstash-1.5.4-1

redis

 openjdk-1.8.0 node1
10.1.10.66

logstash-1.5.4-1

 openjdk-1.8.0

node2

 
10.1.10.67

elasticsearch-1.7.2

kibana-4.1.2

 openjdk-1.8.0 node3


    各个节点配置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
#node1需安装openjdk环境及logstash、redis 
yum -y  install  java-1.8.0-openjdk-devel java-1.8.0-openjdk java-1.8.0-openjdk-headless
yum -y  install  logstash-1.5.4-1.noarch.rpm 
yum -y  install  redis  
 
#node1配配置如下：
修改 /etc/redis/redis .conf
bind 0.0.0.0 
修改 /etc/logstash/conf .d /apache .conf 
input {
   file  {
     path    => [ "/var/log/httpd/access_log" ]
     type     =>  "httpd_log"
     start_position  =>  "beginning"
   }
}
 
filter {
   grok {
     match => { "message"  =>  "%{COMBINEDAPACHELOG}" }
   }
}
 
output {
   redis {
     port  =>  "6379"
     host  => [ "127.0.0.1" ]
     data_type   =>  "list"
     key   =>  "logstash-httpd_log"
   }
}
 
#完成上诉步骤后，启动服务 
#启动httpd服务，进行访问，查看本机的redis是否存在数据
[root@node1 ~] # redis-cli
127.0.0.1:6379> llen logstash-httpd_log
(integer) 72
127.0.0.1:6379> LINDEX logstash-httpd_log 0
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET / HTTP/1.1\\\" 403 4897 \\\"-\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.430Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/\",\"httpversion\":\"1.1\",\"response\":\"403\",\"bytes\":\"4897\",\"referrer\":\"\\\"-\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379> LINDEX logstash-httpd_log 1
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET /noindex/css/bootstrap.min.css HTTP/1.1\\\" 304 - \\\"http://10.1.10.65/\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.431Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/noindex/css/bootstrap.min.css\",\"httpversion\":\"1.1\",\"response\":\"304\",\"referrer\":\"\\\"http://10.1.10.65/\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379> LINDEX logstash-httpd_log 3
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET /images/apache_pb.gif HTTP/1.1\\\" 304 - \\\"http://10.1.10.65/\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.431Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/images/apache_pb.gif\",\"httpversion\":\"1.1\",\"response\":\"304\",\"referrer\":\"\\\"http://10.1.10.65/\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
.............
127.0.0.1:6379> LINDEX logstash-httpd_log 71
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:04 +0800] \\\"GET /noindex/css/fonts/Light/OpenSans-Light.ttf HTTP/1.1\\\" 404 240 \\\"http://10.1.10.65/noindex/css/open-sans.css\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:05.490Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:04 +0800\",\"verb\":\"GET\",\"request\":\"/noindex/css/fonts/Light/OpenSans-Light.ttf\",\"httpversion\":\"1.1\",\"response\":\"404\",\"bytes\":\"240\",\"referrer\":\"\\\"http://10.1.10.65/noindex/css/open-sans.css\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379>
 
#node2节点：从10.1.10.65中的redis取数据并能读取出来到elasticsearch集群中
编辑 /etc/logstash/conf .d /server .conf  
 
input {
   redis {
     port =>  "6379"
     host =>  "10.1.10.65"
     data_type =>  "list"
     key  =>  "logstash-httpd_log"
   }
}
 
output {
    elasticsearch {
       cluster =>  "logs"
     index   =>  "logstash-%{+YYYY.MM.dd}"
    }
}
 
#测试是否能够取得数据，使用logstash -f ./server.conf --configtest后查看node1上redis是否还存在数据
测试成功则使用：logstash -f . /server .conf & 
 
 
#node3上安装配置elasticsearch和kibana  
yum -y  install  elasticsearch-1.7.2.noarch.rpm
tar  xf kibana-4.2.1. tar .gz -C  /usr/local/ 
cd  /usr/local/
ln  -sv kibana-4.2.1 kibana  
 
#启动服务
systemctl start elasticserach.service 
/usr/local/kibana/bin/kibana  &  
 
#查看其集群状态及绘制图表信息  
{
   "status"  : 200,
   "name"  :  "Havok" ,
   "cluster_name"  :  "elasticsearch" ,
   "version"  : {
     "number"  :  "1.7.2" ,
     "build_hash"  :  "e43676b1385b8125d647f593f7202acbd816e8ec" ,
     "build_timestamp"  :  "2015-09-14T09:49:53Z" ,
     "build_snapshot"  :  false ,
     "lucene_version"  :  "4.10.4"
   },
   "tagline"  :  "You Know, for Search"
}


实验图：

wKiom1hIzfGyp4-XAACulsObQbI081.png    

    上诉为不可用状态，原因是logstash未连接至elasticsearch，elasticsearch未能从logstash中取得数据，如配置成功，将会出现create按钮，接下来将是一些图表上的操作就不过多解释和介绍。 



本文转自chengong1013 51CTO博客，原文链接：http://blog.51cto.com/purify/1880645，如需转载请自行联系原作者

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/466813

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

用nifi把hdfs数据导到hive

全景图： 1. ListHDFS & FetchHDFS: ListHDFS: FetchHDFS: 2. EvaluateJsonPath: {"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}} 如果json里有数组，需要先用SplitJson分隔： 3. RouteOnContent: 4. ReplaceText: 先在hive里创建一个表： create table tb_test( register string, register_url string ); 1 1 insert into yongli.tb_test(register, register_url)values( '${register}' , '${register_url}' ) 1 1 下面介绍一种效率更高的方式： 1 还是用ReplaceText: 1 1 再用MergeContent: 1 insert into yongli.tb_dtu(dtuid, addr, value...
2017-11-22
654
上一篇

手把手教你安装配置Openfire服务器

1. 登陆Openfire官网，下载最新版本的Openfire，目前最新版本为3.9.3. http://www.igniterealtime.org/downloads/index.jsp#openfire openfire提供了windows版本的两种安装包，我下载的是exe安装包。 2. 安装Openfire，一路next下去即可，傻瓜式安装就是好。安装完成后，启动Openfire服务器。 3. 启动Openfire成功后，选择“Launch Admin”，启动Openfire控制台，第一次进入Openfire控制台，需要配置服务器。 4. 设置Openfire服务器语言为简体中文，继续“continue”。 5. 配置服务器域名，本机或局域网使用的话，“域”配置为机器名，localhost，127.0.0.1何局域网的IP地址都是可以的。 如果是局域网或外网访问的话，“域”应配置为外网IP地址。 6. 配置数据库。配置为“嵌入的数据库”，对于学习的目的来说，这种方式简便实用。 7. 特性配置。默认的方式即可。 8. 配置管理员账户。电子邮件...
2017-11-22
798
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
OpenAi Nacos3 SpringBoot4 SpringCloud Rocky HarmonyOS6 Jdk25 Gemini3 Kubernetes Service Mesh Docker Redis DeepSeek

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册