ELKStack实战之Elasticsearch环境准备

2017-11-11 555

一、ELKStack简介

1、ELK介绍

中文指南：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details

ELK Stack包含：ElasticSearch、Logstash、Kibana

ElasticSearch是一个搜索引擎，用来搜索、分析、存储日志。它是分布式的，也就是说可以横向扩容，可以自动发现，索引自动分片，总之很强大。文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

Logstash用来采集日志，把日志解析为json格式交给ElasticSearch。

Kibana是一个数据可视化组件，把处理后的结果通过web界面展示

Beats在这里是一个轻量级日志采集器，其实Beats家族有5个成员

早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计

x-pack对Elastic Stack提供了安全、警报、监控、报表、图表于一身的扩展包，是收费的。

2、ELK架构：

二、Elasticsearch部署

1、安装JDK

[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_151"
OpenJDK Runtime Environment (build 1.8.0_151-b12)
OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)

源码安装JDK：
下载
[root@linux-node1 ~]# wget http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz
配置Java环境
[root@linux-node1 ~]# tar zxf jdk-8u151-linux-x64.tar.gz -C /usr/local/
[root@linux-node1 ~]#  ln –s /usr/local/jdk1.8.0_91 /usr/local/jdk

[root@linux-node1 ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
[root@linux-node1 ~]# source /etc/profile
[root@linux-node1 ~]# java -version

注：linux-node2节点上也安装JDK

2、安装Elasticsearch

linux-node2节点也需要安装elasticsearch
使用yum安装elasticsearch会很慢，建议先下载：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.rpm

（1）源码安装elasticsearch：

安装elasticsearch
[root@linux-node1 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.rpm
[root@linux-node1 ~]# yum install -y elasticsearch-6.0.0.rpm 
配置elasticsearch，linux-node2配置一个相同的节点，通过组播进行通信，会通过cluster进行查找，如果无法通过组播查询，修改成单播即可。
[root@linux-node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name：elk-cluster    #集群名称
node.name:elk-node1        #节点名称，一个集群之内节点的名称不能重复
path.data:/data/elkdata      #数据路径
path.logs:/data/logs              #日志路径
#bootstrap.memory_lock:true      #锁住es内存，保证内存不分配至交换分区，这里暂时不配置。注释掉
network.host:192.168.56.11       #网络监听地址
http.port:9200                       #用户访问查看的端口，9300是组件访问使用
discovery.zen,ping.unicast.hosts:["192.168.56.11","192.168.56.12"] #单播（配置一台即可，生产可以使用组播方式）
[root@linux-node1 ~]# mkdir /data/{elkdata,logs}
[root@linux-node1 ~]# chown elasticsearch.elasticsearch /data -R
[root@linux-node1 ~]# systemctl start elasticsearch.service
[root@linux-node1 ~]# netstat -tulnp |grep java
tcp6       0      0 192.168.56.11:9200      :::*                    LISTEN      26866/java          
tcp6       0      0 192.168.56.11:9300      :::*                    LISTEN      26866/java          

将配置文件拷贝到linux-node2
[root@linux-node1 ~]# scp /etc/elasticsearch/elasticsearch.yml 192.168.56.12:/etc/elasticsearch/
[root@linux-node2 ~]# vim /etc/elasticsearch/elasticsearch.yml
修改：
node.name=elk-node2
network.host=192.168.56.12
[root@linux-node2 ~]# mkdir /data/{elkdata,logs}
[root@linux-node2 ~]# chown elasticsearch.elasticsearch /data -R
[root@linux-node2 ~]# systemctl start elasticsearch.service
[root@linux-node2 ~]# netstat -tulnp |grep java
tcp6       0      0 192.168.56.12:9200      :::*                    LISTEN      16346/java          
tcp6       0      0 192.168.56.12:9300      :::*                    LISTEN      16346/java

（2）yum安装elasticsearch

1.下载并安装GPG key
[root@linux-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.添加yum仓库
[root@linux-node1 ~]# vim /etc/yum.repos.d/es.repo 
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.安装elasticsearch
[root@hadoop-node1 ~]# yum install -y elasticsearch

三、Elasticsearch的集群配置和监控

可以使用命令来查看elasticsearch的状态内容

[root@linux-node1 ~]# curl http://192.168.56.11:9200/_cluster/health?pretty=true
{
  "cluster_name" : "elk-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

[root@linux-node2 ~]# curl http://192.168.56.12:9200/_cluster/health?pretty=true
{
  "cluster_name" : "elk-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

[root@linux-node1 ~]# curl  -i -XGET 'http://192.168.56.11:9200/_count?'    #查看es里面有什么内容
HTTP/1.1 200 OK
content-type: application/json; charset=UTF-8
content-length: 71

{"count":0,"_shards":{"total":0,"successful":0,"skipped":0,"failed":0}}
解释：
返回头部200，执行成功0个，返回0个

curl http://192.168.56.11:9200/_cluster/health?pretty 健康检查
curl http://192.168.56.11:9200/_cluster/state?pretty    集群详细信息

注：但是我们不可能经常通过命令来查看集群的信息，这里就使用elasticsearch的插件--head
插件是为了完成不同的功能，而官方提供了一些插件但大部分是收费的，另外也有一些开发爱好者提供的插件。可以实现对elasticsearch集群的状态与管理配置等功能。

四、Elasticsearch插件

Head插件

插件作用：主要是做集群管理的插件
Github下载地址：https://github.com/mobz/elasticsearch-head

[root@linux-node1 ~]# git clone git://github.com/mobz/elasticsearch-head.git
[root@linux-node1 ~]# cd elasticsearch-head
[root@linux-node1 elasticsearch-head]# yum install -y npm
[root@linux-node1 elasticsearch-head]# npm install grunt -save
[root@linux-node1 elasticsearch-head]# npm install      #执行安装
[root@linux-node1 elasticsearch-head]# npm run start &  #后台运行

注：在elasticsearch 2.x以前的版本可以通过/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head来安装head插件，在elasticsearch 5.x以上版本需要通过npm进行安装。

浏览器访问：http://192.168.56.11:9100，可以看到各个节点的状态信息，如图：

本文转自 IT_外卖小哥 51CTO博客，原文链接:http://blog.51cto.com/jinlong/2054787

微信关注我们

原文链接：https://yq.aliyun.com/articles/485291

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

kafka基础集群部署

kafka集群部署方案 ZooKeeper 第一步主机名称到IP地址映射配置 ZooKeeper集群中具有两个关键的角色Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。例如我的ZooKeeper集群中每个结点的配置以zk-01为例/etc/hosts内容如下所示: 192.168.0.11 zk-01 192.168.0.12 zk-02 192.168.0.13 zk-03 第二步配置更改配置文件 ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中只有一个Leader其他的都是Follower如果ZooKeeper集群在运行过程中Leader出了问题系统会采用该算法重新选出一个Leader。因此各个结点之间要能够保证互相连接必须配置上述映射。ZooKeeper集群启动的时候会首先选出一个Leader在Leader election过程中某一个满足选举算的结点就能成为Lead...

2017-11-12

549

下载最新的logstash5.4.1打开把之前的配置文件加入进去，启动logstash提示报错了，未使用geoip插件的配置文件正常启动。按照提示发现是maxmind的数据库解析出错，重新至maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为 geoip { source => ["X_Forward_IP"] database => "/logstash2.2.2/conf/GeoLiteCity.dat" 更改为 geoip { source => ["X_Forward_IP"] database => "/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb" Logstash多实例问题：当启动多个/usr/local/logstash-5.4.1/bin/logstash -f/...

2017-11-12

560

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。