CentOS7部署ELK5.2

2017-12-06 715

原文发表于cu：2017-02-10

参考文档：

Elasticsearchyum文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html
Logstashyum文档：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html
Kibanayum文档：https://www.elastic.co/guide/en/kibana/current/rpm.html
es5.x版本head插件安装：http://renzhiyuan.blog.51cto.com/10433137/1888862

本文通过yum的方式安装ELK Stack各套件，并做简单配置。

一．环境准备

1. 操作系统

CentOS-7-x86_64-Everything-1511

2. JDK版本

# 官方文档写得很明确：elasticsearch与logstash至少需要java 8支持，其中logstash5.x版本也不支持java 9，这里部署openjdk，使用“yum provides java”命令选取合适的版本进行安装。
[root@elk-node1 ~]# yum install java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64 -y
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

3. ELK版本

Elasticsearch 5.2: https://www.elastic.co/downloads/elasticsearch

Logstash 5.2:https://www.elastic.co/downloads/logstash

Kibana 5.2:https://www.elastic.co/downloads/kibana

4. 拓扑图

1) 物理拓扑

验证环境部署2台设备，均为VMware ESXi虚拟出的vm，部署在相同网段；
每台vm上均部署elk的3个组件，只是配置文件根据节点不同而略有不同（以下部署配置过程只针对node1，node2安装配置可参照node1）。

2) 逻辑流程

数据源只需要输入到某1个logstash节点；
经过logstash处理的数据需要输出到elasticsearch集群中的所有节点,elasticsearch分布式集群通过自身处理，每个节点均能获取全部数据；
kibana展示只需要从本机所在elasticsearch节点即可获取全部数据。

二．Elasticsearch部署

1. 导入elasticsearch PGP key

[root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2. 创建yum源文件

[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-5.x]
name=Elasticsearch repository for5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3. 安装elasticsearch

[root@elk-node1 ~]# yum install elasticsearch -y

4. 设置开机启动

[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

5. 配置hosts文件

# 根据实际环境配置，将节点主机名加入hosts文件
[root@elk-node1 ~]# echo "10.11.4.151   elk-node1" >> /etc/hosts
[root@elk-node1 ~]# echo "10.11.4.152   elk-node2" >> /etc/hosts

6. 配置elasticsearch.yml

[root@elk-node1 src]# cat /etc/elasticsearch/elasticsearch.yml | grep -v “#”
cluster.name: elk                       #自定义集群名，相同集群内的节点设置相同的集群名
node.name: elk-node1                    #自定义节点名，建议统一采用节点hostname
path.data: /var/lib/elasticsearch       #data存储路径，可不取消注释，默认即此路径
path.logs: /var/log/elasticsearch       #log存储路径，可不取消注释，默认即此路径
network.host: 0.0.0.0                   #es监听地址，采用”0.0.0.0”，允许所有设备访问
http.port: 9200                         #es监听端口，可不取消注释，默认即此端口
discovery.zen.ping.unicast.hosts: ["elk-node1", "elk-node2"]     # 集群节点发现列表，也可采用ip的形式
discovery.zen.minimum_master_nodes: 2   #集群可做master的最小节点数，生产环境建议节点数至少3个且为基数
# 以下两项设置es5.x版本的head插件可以访问es
http.cors.enabled: true                 #开启跨域访问支持，默认为false
http.cors.allow-origin: "*"             #跨域访问允许的域名地址，使用正则表达式

7. 配置head插件

elasticsearch5.x版本没有提供直接安装head插件的方法，作者在github上给出了方法：https://github.com/mobz/elasticsearch-head

1）下载并配置nodejs

# nodejs官网：https://nodejs.org/en/
# 如果国内通过wget下载较慢，可通过第三方工具下载后上传至服务器
[root@elk-node1 ~]# cd /usr/local/src/
[root@elk-node1 src]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar.xz
[root@elk-node1 src]# xz -d node-v6.9.5-linux-x64.tar.xz
[root@elk-node1 src]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/
[root@elk-node1 src]# cd ~
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/node /usr/bin/node
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/npm /usr/bin/npm

# 查看nodejs是否安装成功;
# NPM的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，方便让JavaScript开发者下载、安装、上传以及管理已经安装的包
[root@elk-node1 ~]# node -v
v6.9.5
[root@elk-node1 ~]# npm -v
3.10.10

2）安装head插件

安装grunt

# grunt是一个方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.x里的head插件就是通过grunt启动的;
#如果镜像速度不理想，可提前切到国内的镜像，在安装grunt-cli前执行：npm config set registry https://registry.npm.taobao.org

# ”-g”参数代表全局安装，一般安装到nodejs的”lib/node_modules”目录下；不带参数”-g”，则是本地安装，一般安装到运行npm命令时所在的目录，这里就需要安装到head插件目录
[root@elk-node1 ~]# npm install -g grunt-cli

# 为grunt命令建软链接，方便全局执行，或加入环境变量；
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt

下载并配置head

# 配置elasticsearch.yml文件允许head插件跨域访问es，请见上述章节
[root@elk-node1 ~]# cd /var/lib/elasticsearch
[root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/

安装head

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/

# 如果没有全局安装grunt二进制程序，可在"elasticsearch-head"目录下执行"npm install grunt --save"或" npm install grunt-cli"
[root@elk-node1 elasticsearch]# npm install

安装完成后可能有一些报错，不影响使用，报错原因未知，本人对nodejs不了解，github上有相近的问题，但并未解决。解决方法如下：

查看报错信息"Error: Cannot find module '/var/lib/elasticsearch/elasticsearch-head/node_modules/phantomjs-prebuilt/install.js'"，未找到" phantomjs-prebuilt/install.js"文件；
采取比较土的办法，将完整的"phantomjs-prebuilt/"目录上传到相应位置，重新执行"npm install"，无报错。
或者：npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

同时有3个警告信息，忽略即可，其中"npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression"警告信息可做如下处理：http://www.itdadao.com/articles/c15a1031952p0.html

即修改"./ elasticsearch-head"目录下"package.json"文件第17行的""Apache2" "为"Apache-2.0"，涉及到开源软件与其他合作类软件的使用声明。

配置head文件

app.js

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cd _site/
[root@elk-node1 _site]# cp app.js app.js.bak

# 在4328行将原"http://localhost:9200"修改为"http://10.11.4.151:9200"，否则head插件不能获取节点状态信息
[root@elk-node1 _site]# vim app.js

Gruntfile.js

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak

# 在93行新增”hostname: 0.0.0.0', “，确保能被访问
[root@elk-node1 elasticsearch-head]# vim Gruntfile.js

8. iptables设置

# 打开tcp 9000～9600多个端口，9100访问head插件，9200是节点事务通信端口，9300是集群节点之间选举/状态同步端口，9600～9700是默认的logstash数据输入端口；
# 允许多播协议，es是一个基于p2p的系统，其先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互；
# tcp5601端口是kibana的默认访问端口。
[root@elk-node1 ~]# vim /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW -m tcp -m multiport --dports 9000:9600 -j ACCEPT
-A INPUT -m pkttype --pkt-type multicast -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 5601 -j ACCEPT

[root@elk-node1 ~]# systemctl restart iptables

9. 启动并验证

[root@elk-node1 ~]# systemctl start elasticsearch.service

#启动head插件，需要到head目录下
[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# grunt server &

1）启动过程验证

[root@elk-node1 ~]# journalctl --unit elasticsearch

2）端口验证

[root@elk-node1 ~]# netstat –tunlp

3）集群/节点状态信息

节点状态信息

[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/?pretty'

节点数信息

# 其中带"*"的节点表示被选举为master
[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/nodes?v'

节点分片信息

# 这里已经有分片信息，因kibana已安装并启动，默认无信息
[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/indices?v'

集群健康状态信息

[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cluster/health?pretty'

4）日志

# 日志文件默认在" /var/log/elasticsearch/elasticsearch.log"，可在elasticsearch.yml文件中更改;
# 这里查看elk-node2节点的日志，elk-node2被选举成为master，且集群状态正常
[root@elk-node2 ~]# tail -f /var/log/elasticsearch/elk.log

5）浏览器访问

节点状态信息(类curl)

可视化展示(head插件)

同样有节点信息，master选举结果信息，节点分片信息，集群健康状态信息等。

三．Logstash部署

yum源同elasticsearch，这里不再创建yum文件，直接安装即可；如果一定要创建则另取1个名字，如logstash.repo。

1. 安装logstash

[root@elk-node1 ~]# yum install logstash –y

2. 设置开机启动

[root@elk-node1 elasticsearch]# systemctl enable logstash.service
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.

3. 配置logstash

1）配置文件

# 默认配置文件：/etc/logstash/logstash.yml
# 其中默认配置已经明确数据，日志，logstash pipeline实例文件的存储位置，保持默认即可；
# “http.host”参数指定数据输入主机，默认为localhost；“http.port”参数指定数据输入端口，默认为9600～9700（每实例占用1个），此验证暂时不做变更
[root@elk-node1 ~]# cd /etc/logstash/
[root@elk-node1 logstash]# cat logstash.yml | grep -v "#"
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash

2）pipeline文件

# 根据默认配置，pipeline实例文件默认应放置于/etc/logstash/conf.d目录，此时目录下无实例文件，可根据实际情况新建实例，以处理本机messages信息为例，如下：
[root@elk-node1 ~]# cd /etc/logstash/conf.d/
[root@elk-node1 conf.d]# vim messages.conf 

# pipeline实例文件以”input”，”output”，”filter”等区域组成，前两者为必选项；
# ”input”与”output”利用插件进行数据输入与输出，如这里”file”即输入插件，“elasticseach”与“stdout”即输出插件；
# 在各插件内再具体定义行为，如”input”定义了数据源，“elasticseach”定义了输出节点与数据输出的索引与格式；
# “codec => rubydebug”会产生大量的debug文件至message（也可重定向到其他位置），此处注释掉；
input {
    file {
        path => "/var/log/messages"
    }
}
output {
    elasticsearch {
        hosts => ["10.11.4.151:9200","10.11.4.152:9200"]
        index => "messages-%{+YYYY.MM.dd}"
    }
    stdout {
#        codec => rubydebug
    }
}

# 请注意权限，这里message常规权限是400，logstash无法读取，如果无法调用，在logstash的启动日志中会有相应的记录
[root@elk-node1 conf.d]# cd ..
[root@elk-node1 logstash]# chown -R logstash:logstash conf.d/
[root@elk-node1 ~]# chmod 644 /var/log/messages

4. 启动并验证

1）启动测试

# logstash可以启动，但此种验证方式会有告警
[root@elk-node1 ~]# cd /usr/share/logstash/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'

# 按提示方式处理，在"$LS_HOME"下建立"config"目录，并将"/etc/logstash/"下的文件建软链接到"config"目录，再次执行即可，如下：
[root@elk-node1 ~]# mkdir -p /usr/share/logstash/config/
[root@elk-node1 ~]# ln -s /etc/logstash/* /usr/share/logstash/config
[root@elk-node1 ~]# chown -R logstash:logstash /usr/share/logstash/config/

2）pipeline实例启动测试

[root@elk-node1 ~]# cd /usr/share/logstash/
[root@elk-node1 logstash]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/messages.conf -t

3）启动并验证

[root@elk-node1 ~]# systemctl start logstash

netstat

[root@elk-node1 ~]# netstat -tunlp

日志

[root@elk-node1 ~]# tailf /var/log/logstash/logstash-plain.log

head

浏览器访问：http://10.11.4.151:9100

四．Kibana部署

yum源同elasticsearch，这里不再创建yum文件，直接安装即可；如果一定要创建则另取1个名字，如kibana.repo。

1. 安装kibana

[root@elk-node1 ~]# yum install kibana -y

2. 设置开机启动

[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable kibana.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.

3. 配置kibana

# 默认配置文件：/etc/kibana/kibana.yml
[root@elk-node1 ~]# cd /etc/kibana/
[root@elk-node1 kibana]# vim /etc/kibana/kibana.yml
[root@elk-node1 kibana]# cat /etc/kibana/kibana.yml | grep -v "^$" | grep -v "#"
server.port: 5601                              #默认即5601
server.host: "0.0.0.0"                         #允许被访问
elasticsearch.url: "http://10.11.4.151:9200"   #es地址与端口

4. 启动并验证

[root@elk-node1 ~]# systemctl restart kibana
[root@elk-node1 ~]# netstat -tunlp | grep 5601

五．Kibana展示

1）浏览器访问：http://10.11.4.151:5601或者http://10.11.4.152:5601

2）需要在"Index name or pattern"处创建索引名，elassticsearch中并没有以"logstash-"命名的索引，则不能创建，新建索引对应logstash的pipeline输出插件定义的"index"，即"messages-"，如下：

3）在"Index name or pattern"处填写入正确的索引名字，"@timestamp"会自动填充，点击"create"创建，见到如下界面即索引创建完成；

4）在"Discover"页面，可以搜索与浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据，可以自定义选择时间。

微信关注我们

原文链接：https://www.centoschina.cn/server/test/9394.html

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

linux用命令更改服务器时间

1. linux更改服务器时间：权限：root用户才有权限更改服务器时间使用date命令即可设置系统时间。 2. 查看系统时间　date 3. 设置当前系统时间为2015年5月8日19点48分0秒 date -s "2015-05-08 19:48:00" 4. 查看系统时间多种方式基本上，date命令会翻译所有所有的百分号(%)开头的格式和输出在引号("")内所有的内容。 date "+%Y-%m-%d %H-%M-%S " 2017-09-20 11-06-30 date +%D 17/05/13

2017-12-07

759

centos7配置dhcp

用su 获取root权限用yum -y install dhcp命令安装dhcp服务（yum是基于RPM包管理，自动下载RPM包并且安装）查看安装后生成的配置文件 rpm -qc dhcp 编辑dhcp的配置文件 vim /etc/dhcp/dhcpd.conf option domain-name "example.org"; option domain-name-service ns1.example.org; default-lease-time 600; max-lease-time 7200; authoritative; subnet 10.0.2.0 netmask 255.255.255 .0{ range 10.0.2.10 10.0.2.200; option domain-name-service ns1.internal.example.org; option domain-name "internal.example.org"; option routers 10.0.2.254; option broadcast-address...

2017-12-07

703

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

CentOS7部署ELK5.2

一．环境准备

1. 操作系统

2. JDK版本

3. ELK版本

4. 拓扑图

1) 物理拓扑

2) 逻辑流程

二．Elasticsearch部署

1. 导入elasticsearch PGP key

2. 创建yum源文件

3. 安装elasticsearch

4. 设置开机启动

5. 配置hosts文件

6. 配置elasticsearch.yml

7. 配置head插件

1）下载并配置nodejs

2）安装head插件

安装grunt

下载并配置head

安装head

配置head文件

app.js

Gruntfile.js

8. iptables设置

9. 启动并验证

1）启动过程验证

2）端口验证

3）集群/节点状态信息

节点状态信息

节点数信息

节点分片信息

集群健康状态信息

4）日志

5）浏览器访问

节点状态信息(类curl)

可视化展示(head插件)

三．Logstash部署

1. 安装logstash

2. 设置开机启动

3. 配置logstash

1）配置文件

2）pipeline文件

4. 启动并验证

1）启动测试

2）pipeline实例启动测试

3）启动并验证

netstat

日志

head

四．Kibana部署

1. 安装kibana

2. 设置开机启动

3. 配置kibana

4. 启动并验证

五．Kibana展示

1）浏览器访问：http://10.11.4.151:5601或者http://10.11.4.152:5601

2）需要在"Index name or pattern"处创建索引名，elassticsearch中并没有以"logstash-*"命名的索引，则不能创建，新建索引对应logstash的pipeline输出插件定义的"index"，即"messages-*"，如下：

3）在"Index name or pattern"处填写入正确的索引名字，"@timestamp"会自动填充，点击"create"创建，见到如下界面即索引创建完成；

4）在"Discover"页面，可以搜索与浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据，可以自定义选择时间。

linux用命令更改服务器时间

centos7配置dhcp

相关文章

发表评论

资源下载

优质分享App

Mario

Spring

Sublime Text

欢迎您！

2）需要在"Index name or pattern"处创建索引名，elassticsearch中并没有以"logstash-"命名的索引，则不能创建，新建索引对应logstash的pipeline输出插件定义的"index"，即"messages-"，如下：