ElasticSearch实战-入门
1.概述
今天接着《ElasticSearch实战-日志监控平台》一文来给大家分享后续的学习,在《ElasticSearch实战-日志监控平台》中给大家介绍一个日志监控平台的架构方案,接下来给大家分享如何去搭建部署这样一个平台,给大家做一个入门介绍。下面是今天的分享目录:
- 搭建部署 Elastic 套件
- 运行集群
- 截图预览
下面开始今天的内容分享。
2.搭建部署 Elastic 套件
搭建 Elastic 套件较为简单,下面我们开始去搭建部署相关套件,首先我们准备必要的环境。
2.1 基础软件
大家可以 Elastic 的官方网站下载对应的安装包,地址如下所示:
[下载地址]
另外,一个基础环境就是需要用到 JDK,ES 集群依赖 JDK,地址如下所示:
[下载地址]
2.2 Logstash 部署
这里我们将 Logstash 的服务部署在中心节点中,其核心配置文件如下所示:
- central.conf
input { redis { host => "10.211.55.18" port => 6379 type => "redis-input" data_type => "list" key => "key_count" } } filter { grok { match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""] } kv { source => "request" field_split => "&?" value_split => "=" } urldecode { all_fields => true } } output { elasticsearch { cluster => "elasticsearch" codec => "json" protocol => "http" } }
其代理节点,分别部署在日志生产节点之上,核心配置文件如下所示:
- shipper.conf
input { file { type => "type_count" path => ["/home/hadoop/dir/portal/t_customer_access.log"] exclude => ["*.gz", "access.log"] } } output { stdout {} redis { host => "10.211.55.18" port => 6379 data_type => "list" key => "key_count" } }
2.3 Elasticsearch 部署
接着,我们部署 ES 集群,配置较为简单,其配置内容如下所示:
- elasticsearch.yml
node.name: "node1"
这里我只配置了其节点名称信息,集群名称使用默认的,若大家需要配置其他信息可自行处理,需要注意的是,这里在实用 scp 命令分发到其他节点时,需要修改其属性值,保持每个节点的 node.name 值不一样即可。
另外,在安装插件 ES 集群的相关插件时,可以使用以下命令:
- head 插件
sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head
- bigdesk 插件
sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
其对应的 Web UI 界面如下图所示:
- head插件的界面
- bigdesk的界面
关于其他的 ES 集群的插件,搭建可以根据实际业务需求进行选择性的安装,这里就不多赘述了。
2.4 Kibana 部署
这里我们需要安装一个能够去可视化 ES 集群数据的工具,这里我们选择 Kibana 工具去可视化我们的数据,其安装较为简单,只需配置对应的核心文件即可,配置如下:
-
kibana.yml
elasticsearch_url: "http://10.211.55.18:9200"
这里去可视化 node1 节点 ES 集群中数据。
3.运行集群
接着,我们启动整个系统,启动步骤如下所示:
- 启动 Redis
[hadoop@dn1 ~]$ redis-server &
- 启动代理节点(分别在其代理节点启动shipper)
bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &
- 启动中心服务
bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &
- 启动 ES 集群(分别在 ES 节点启动)
bin/elasticsearch start
- 启动 Kibana 服务
bin/kibana
4.预览截图
这里,我们可以预览收集的日志,日志信息我只抽取了几条,截图如下:
我们还可以使用筛选功能,选取我们需要观察的数据结果,这里我们筛选了 IP 和 AppName 属性进行观察,如下图所示:
5.总结
这里需要注意的是,若是我们首次启动 Kibana 服务,收集日志信息为空的情况下,在我们创建索引时,Settings 模块下的界面中 Create 按钮会是灰色状态,导致无法创建,这里大家在创建的时候需要保证我们有日志已被收集存储到 ES 集群。如下图,由于我已收集存储日志到 ES 集群,所以按钮呈现绿色状态,供点击创建。如下图所示:
6.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
ElasticSearch实战-日志监控平台
1.概述 在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件——ElasticSearch,通过分布式搜索来解决当下业务上存在的问题。下面给大家列出今天分析的目录: ElasticSearch 套件介绍 ElasticSearch 应用场景和案例 平台架构 下面开始今天的内容分享。 2.ElasticSearch 套件 2.1LogStash LogStash是一个开源的、免费的日志收集工具,属于Elastic家族的一员,负责将收集的日志信息输送到ElasticSearch,为ElasticSearch提供数据源。 2.2ElasticSearch ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构 建的。支持时间索引和全文检索。官网:https://www.elastic.co 它对外提供一系列基于Java和HTTP的API,用于索引、检索、修改大多数配置。 2.3Kibana Kibana也是开源和免费的工具,同样也是Elastic家族的一员,它可以帮助我们汇总、分析和...
- 下一篇
ElasticSearch实战-编码实践
1.概述 前面在《ElasticSearch实战-入门》中给大家分享如何搭建这样一个集群,在完成集群的搭建后,今天给大家分享如何实现对应的业务功能模块,下面是今天的分享内容,目录如下所示: 编码实践 效果预览 总结 2.编码实践 由于 ES 集群支持 Restful 接口,我们可以直接通过 Java 来调用 Restful 接口来查询我们需要的数据结果,并将查询到的结果在在我们的业务界面可视化出来。我们知道在 ES 集群的 Web 管理界面有这样一个入口,如下图所示: 我们可以在此界面的入口中拼接 JSON 字符串来查询我们想要的结果,下面,我们通过 Java 的 API 去调用 Restful 接口来查询我们想要的结果。 2.1 字符串拼接实现 接着,我们去实现要查询的核心代码,具体内容实现如下所示: public String buildQueryString(Map<String, Object> param) throws ParseException { SimpleDateFormat dfs = new SimpleDateFormat("yyyy-MM-dd...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Linux系统CentOS6、CentOS7手动修改IP地址