# 官方文档写得很明确：elasticsearch与logstash至少需要java 8支持，其中logstash5.x版本也不支持java 9，这里部署openjdk，使用“yum provides java”命令选取合适的版本进行安装。
[root@elk-node1 ~]# yum install java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64 -y
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

[root@elk-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[root@elk-node1 ~]# vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-5.x]
name=Elasticsearch repository for5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

[root@elk-node1 ~]# yum install elasticsearch -y

[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

# 根据实际环境配置，将节点主机名加入hosts文件
[root@elk-node1 ~]# echo "10.11.4.151   elk-node1" >> /etc/hosts
[root@elk-node1 ~]# echo "10.11.4.152   elk-node2" >> /etc/hosts

[root@elk-node1 src]# cat /etc/elasticsearch/elasticsearch.yml | grep -v “#”
cluster.name: elk                       #自定义集群名，相同集群内的节点设置相同的集群名
node.name: elk-node1                    #自定义节点名，建议统一采用节点hostname
path.data: /var/lib/elasticsearch       #data存储路径，可不取消注释，默认即此路径
path.logs: /var/log/elasticsearch       #log存储路径，可不取消注释，默认即此路径
network.host: 0.0.0.0                   #es监听地址，采用”0.0.0.0”，允许所有设备访问
http.port: 9200                         #es监听端口，可不取消注释，默认即此端口
discovery.zen.ping.unicast.hosts: ["elk-node1", "elk-node2"]     # 集群节点发现列表，也可采用ip的形式
discovery.zen.minimum_master_nodes: 2   #集群可做master的最小节点数，生产环境建议节点数至少3个且为基数
# 以下两项设置es5.x版本的head插件可以访问es
http.cors.enabled: true                 #开启跨域访问支持，默认为false
http.cors.allow-origin: "*"             #跨域访问允许的域名地址，使用正则表达式

# nodejs官网：https://nodejs.org/en/
# 如果国内通过wget下载较慢，可通过第三方工具下载后上传至服务器
[root@elk-node1 ~]# cd /usr/local/src/
[root@elk-node1 src]# wget https://nodejs.org/dist/v6.9.5/node-v6.9.5-linux-x64.tar.xz
[root@elk-node1 src]# xz -d node-v6.9.5-linux-x64.tar.xz
[root@elk-node1 src]# tar -xvf node-v6.9.5-linux-x64.tar -C /usr/local/
[root@elk-node1 src]# cd ~
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/node /usr/bin/node
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/bin/npm /usr/bin/npm

# 查看nodejs是否安装成功;
# NPM的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，方便让JavaScript开发者下载、安装、上传以及管理已经安装的包
[root@elk-node1 ~]# node -v
v6.9.5
[root@elk-node1 ~]# npm -v
3.10.10

# grunt是一个方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.x里的head插件就是通过grunt启动的;
#如果镜像速度不理想，可提前切到国内的镜像，在安装grunt-cli前执行：npm config set registry https://registry.npm.taobao.org

# ”-g”参数代表全局安装，一般安装到nodejs的”lib/node_modules”目录下；不带参数”-g”，则是本地安装，一般安装到运行npm命令时所在的目录，这里就需要安装到head插件目录
[root@elk-node1 ~]# npm install -g grunt-cli

# 为grunt命令建软链接，方便全局执行，或加入环境变量；
[root@elk-node1 ~]# ln -s /usr/local/node-v6.9.5-linux-x64/lib/node_modules/grunt-cli/bin/grunt /usr/bin/grunt

# 配置elasticsearch.yml文件允许head插件跨域访问es，请见上述章节
[root@elk-node1 ~]# cd /var/lib/elasticsearch
[root@elk-node1 elasticsearch]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-node1 elasticsearch]# chown -R elasticsearch:elasticsearch elasticsearch-head/

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/

# 如果没有全局安装grunt二进制程序，可在"elasticsearch-head"目录下执行"npm install grunt --save"或" npm install grunt-cli"
[root@elk-node1 elasticsearch]# npm install 

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cd _site/
[root@elk-node1 _site]# cp app.js app.js.bak

# 在4328行将原"http://localhost:9200"修改为"http://10.11.4.151:9200"，否则head插件不能获取节点状态信息
[root@elk-node1 _site]# vim app.js

[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# cp Gruntfile.js Gruntfile.js.bak

# 在93行新增”hostname: 0.0.0.0', “，确保能被访问
[root@elk-node1 elasticsearch-head]# vim Gruntfile.js

# 打开tcp 9000～9600多个端口，9100访问head插件，9200是节点事务通信端口，9300是集群节点之间选举/状态同步端口，9600～9700是默认的logstash数据输入端口；
# 允许多播协议，es是一个基于p2p的系统，其先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互；
# tcp5601端口是kibana的默认访问端口。
[root@elk-node1 ~]# vim /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW -m tcp -m multiport --dports 9000:9600 -j ACCEPT
-A INPUT -m pkttype --pkt-type multicast -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 5601 -j ACCEPT

[root@elk-node1 ~]# systemctl restart iptables

[root@elk-node1 ~]# systemctl start elasticsearch.service

#启动head插件，需要到head目录下
[root@elk-node1 ~]# cd /var/lib/elasticsearch/elasticsearch-head/
[root@elk-node1 elasticsearch-head]# grunt server &

[root@elk-node1 ~]# journalctl --unit elasticsearch

[root@elk-node1 ~]# netstat –tunlp

[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/?pretty'

# 其中带"*"的节点表示被选举为master
[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/nodes?v'

# 这里已经有分片信息，因kibana已安装并启动，默认无信息
[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cat/indices?v'

[root@elk-node1 ~]# curl -XGET 'http://10.11.4.151:9200/_cluster/health?pretty'

# 日志文件默认在" /var/log/elasticsearch/elasticsearch.log"，可在elasticsearch.yml文件中更改;
# 这里查看elk-node2节点的日志，elk-node2被选举成为master，且集群状态正常
[root@elk-node2 ~]# tail -f /var/log/elasticsearch/elk.log

[root@elk-node1 ~]# yum install logstash –y 

[root@elk-node1 elasticsearch]# systemctl enable logstash.service
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service. 

# 默认配置文件：/etc/logstash/logstash.yml
# 其中默认配置已经明确数据，日志，logstash pipeline实例文件的存储位置，保持默认即可；
# “http.host”参数指定数据输入主机，默认为localhost；“http.port”参数指定数据输入端口，默认为9600～9700（每实例占用1个），此验证暂时不做变更
[root@elk-node1 ~]# cd /etc/logstash/
[root@elk-node1 logstash]# cat logstash.yml | grep -v "#"
path.data: /var/lib/logstash
path.config: /etc/logstash/conf.d
path.logs: /var/log/logstash

# 根据默认配置，pipeline实例文件默认应放置于/etc/logstash/conf.d目录，此时目录下无实例文件，可根据实际情况新建实例，以处理本机messages信息为例，如下：
[root@elk-node1 ~]# cd /etc/logstash/conf.d/
[root@elk-node1 conf.d]# vim messages.conf 

# pipeline实例文件以”input”，”output”，”filter”等区域组成，前两者为必选项；
# ”input”与”output”利用插件进行数据输入与输出，如这里”file”即输入插件，“elasticseach”与“stdout”即输出插件；
# 在各插件内再具体定义行为，如”input”定义了数据源，“elasticseach”定义了输出节点与数据输出的索引与格式；
# “codec => rubydebug”会产生大量的debug文件至message（也可重定向到其他位置），此处注释掉；
input {
    file {
        path => "/var/log/messages"
    }
}
output {
    elasticsearch {
        hosts => ["10.11.4.151:9200","10.11.4.152:9200"]
        index => "messages-%{+YYYY.MM.dd}"
    }
    stdout {
#        codec => rubydebug
    }
}

# 请注意权限，这里message常规权限是400，logstash无法读取，如果无法调用，在logstash的启动日志中会有相应的记录
[root@elk-node1 conf.d]# cd ..
[root@elk-node1 logstash]# chown -R logstash:logstash conf.d/
[root@elk-node1 ~]# chmod 644 /var/log/messages

# logstash可以启动，但此种验证方式会有告警
[root@elk-node1 ~]# cd /usr/share/logstash/
[root@elk-node1 logstash]# bin/logstash -e 'input { stdin { } } output { stdout {} }'

# 按提示方式处理，在"$LS_HOME"下建立"config"目录，并将"/etc/logstash/"下的文件建软链接到"config"目录，再次执行即可，如下：
[root@elk-node1 ~]# mkdir -p /usr/share/logstash/config/
[root@elk-node1 ~]# ln -s /etc/logstash/* /usr/share/logstash/config
[root@elk-node1 ~]# chown -R logstash:logstash /usr/share/logstash/config/

[root@elk-node1 ~]# cd /usr/share/logstash/
[root@elk-node1 logstash]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/messages.conf -t

[root@elk-node1 ~]# systemctl start logstash

[root@elk-node1 ~]# netstat -tunlp

[root@elk-node1 ~]# tailf /var/log/logstash/logstash-plain.log

[root@elk-node1 ~]# yum install kibana -y

[root@elk-node1 ~]# systemctl daemon-reload
[root@elk-node1 ~]# systemctl enable kibana.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service. 

# 默认配置文件：/etc/kibana/kibana.yml
[root@elk-node1 ~]# cd /etc/kibana/
[root@elk-node1 kibana]# vim /etc/kibana/kibana.yml
[root@elk-node1 kibana]# cat /etc/kibana/kibana.yml | grep -v "^$" | grep -v "#"
server.port: 5601                              #默认即5601
server.host: "0.0.0.0"                         #允许被访问
elasticsearch.url: "http://10.11.4.151:9200"   #es地址与端口 

[root@elk-node1 ~]# systemctl restart kibana
[root@elk-node1 ~]# netstat -tunlp | grep 5601