ELK 最详细安装及介绍-低调大师

ELK 最详细安装及介绍

2021-05-24 853

这里是目录介绍

组件介绍：
实验环境：
实验步骤：

组件介绍：

Elasticsearch：

是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Logstash：

主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

Kibana：

是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

Kafka：

数据缓冲队列。作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
- 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
- 2.以容错持久的方式存储记录流。
- 3.处理记录发生的流。

Filebeat：

隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择,目前Beats包含四种工具：
- 1.Packetbeat（搜集网络流量数据）
- 2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。）
- 3.Filebeat（搜集文件数据）
- 4.Winlogbeat（搜集 Windows 事件日志数据）

实验环境：

主机	服务
172.16.3.225/21	Elasticsearch、zookeeper、kafka、Logstash/kibana
172.16.3.226/21	Elasticsearch、zookeeper、kafka
172.16.3.227/21	Elasticsearch、zookeeper、kafka
172.16.5.55/21	filebeat、Nginx

1、安装JDK，因为es运行依赖jdk

[root@k8s-master01 ~]# echo '
172.16.3.225 elk01
172.16.3.226 elk02
172.16.3.227 elk03
' >> /etc/hosts
[root@k8s-master01 ~]# tar zxf /usr/local/src/jdk-8u211-linux-x64.tar.gz -C /usr/local/
[root@k8s-master01 ~]# mv /usr/local/jdk1.8.0_211/ /usr/local/java
[root@k8s-master01 ~]# echo 'JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >> /etc/profile
[root@k8s-master01 ~]# source /etc/profile
[root@k8s-master01 ~]# java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

2、安装并配置ES

2.1、创建运行es的普通用户

[root@k8s-master01 ~]# useradd elk
[root@k8s-master01 ~]# echo "xxx" | passwd --stdin elk

2.2、安装配置ES

[root@k8s-master01 ~]# tar zxf /usr/local/src/elasticsearch-6.5.4.tar.gz -C /usr/local/
[root@k8s-master01 ~]# echo '
cluster.name: qf01-elk    # 集群名称，各节点配成相同的集群名称。
node.name: elk01          # 节点名称，各节点配置不同。   [!!各节点不同]。  节点二改为elk02、节点三改为elk03
node.master: true         # 指示某个节点是否符合成为主节点的条件。
node.data: true           # 指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data: /data/elasticsearch/data    # 数据存储目录
path.logs: /data/elasticsearch/logs    # 日志存储目录
bootstrap.memory_lock: true            # 内存锁定，是否禁用交换
bootstrap.system_call_filter: false    # 系统调用过滤器。
network.host: 172.16.3.225     # 绑定节点IP 、 此处修改成当前自己主机的IP
http.port: 9200           # rest api端口。
discovery.zen.ping.unicast.hosts: ["172.16.3.225:9300","172.16.3.226:9300","172.16.3.227:9300"]    # 提供其他Elasticsearch 服务节点的单点广播发现功能
discovery.zen.minimum_master_nodes: 2    # 集群中可工作的具有Master节点资格的最小数量，官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数>量。
discovery.zen.ping_timeout: 150s         # 节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries: 10        # 节点发现重试次数。
client.transport.ping_timeout: 60s
http.cors.enabled: true        # 是否允许跨源 REST 请求，用于允许head插件访问ES
http.cors.allow-origin: "*"    # 允许的源地址
' >> /usr/local/elasticsearch-6.5.4/config/elasticsearch.yml

2.3、设置JVM堆大小

[root@k8s-master01 ~]# sed -i 's/-Xms1g/-Xms6g/' /usr/local/elasticsearch-6.5.4/config/jvm.options
[root@k8s-master01 ~]# sed -i 's/-Xmx1g/-Xmx6g/' /usr/local/elasticsearch-6.5.4/config/jvm.options

注意：1.确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。
2.如果系统内存足够大，将堆内存最大和最小值设置为31G，因为有一个32G性能瓶颈问题。
3.堆内存大小不要超过系统内存的50%

2.4、创建es数据及日志存储目录

[root@k8s-master01 ~]# mkdir -pv /data/elasticsearch/data
[root@k8s-master01 ~]# mkdir -pv /data/elasticsearch/logs

[root@k8s-master01 ~]# chown -R elk.elk /data/elasticsearch
[root@k8s-master01 ~]# chown -R elk.elk /usr/local/elasticsearch-6.5.4/

3、系统优化

3.1、增加最大文件打开数

[root@k8s-master01 ~]# echo "* - nofile 65536" >>/etc/security/limits.conf

3.2、增加最大进程数

[root@k8s-master01 ~]# echo '* soft nofile 819200' >> /etc/security/limits.conf 
[root@k8s-master01 ~]# echo '* hard nofile 819200' >> /etc/security/limits.conf 
[root@k8s-master01 ~]# echo '* soft nproc 2048' >> /etc/security/limits.conf 
[root@k8s-master01 ~]# echo '* hard nproc 4096' >> /etc/security/limits.conf 
[root@k8s-master01 ~]# echo '* hard memlock unlimited' >> /etc/security/limits.conf 
[root@k8s-master01 ~]# echo '* soft memlock unlimited' >> /etc/security/limits.conf

3.3、增加最大内存映射数

[root@k8s-master01 ~]# echo "vm.max_map_count=262144" >> /etc/sysctl.conf
[root@k8s-master01 ~]# sysctl -p

3.4、启动ES

[root@k8s-master01 ~]# su - elk -s /bin/bash
[elk@k8s-master01 ~]$ cd /usr/local/elasticsearch-6.5.4/bin/
[elk@k8s-master01 bin]$ nohup ./elasticsearch &

测试一下elk是否正常：http://172.16.3.225:9200/、http://172.16.3.226:9200/、http://172.16.3.227:9200/

出现如下结果说明没有问题

3.5、查看集群状态：

[root@k8s-master01 config]# curl 172.16.3.225:9200/_cluster/health?pretty
{
  "cluster_name" : "qf01-elk",		# 集群名称
  "status" : "green",				# 集群状态，分为green、yellow和red
  "timed_out" : false,
  "number_of_nodes" : 3,			# 集群的节点数。
  "number_of_data_nodes" : 3,		# 集群的数据节点数。
  "active_primary_shards" : 0,		# 集群中所有活跃的主分片数。
  "active_shards" : 0,				# 集群中所有活跃的分片数。
  "relocating_shards" : 0,			# 当前节点迁往其他节点的分片数量，通常为0，当有节点加入或者退出时该值会增加
  "initializing_shards" : 0,		# 正在初始化的分片。
  "unassigned_shards" : 0,			# 未分配的分片数，通常为0，当有某个节点的副本分片丢失该值就会增加
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,	# 是指主节点创建索引并分配shards等任务，如果该指标数值一直未减小代表集群存在不稳定因素
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0	# 集群分片健康度，活跃分片数占总分片数比例
}

3.6、查看master是谁：

[root@k8s-master01 config]# curl 172.16.3.225:9200/_cat/master
6rDALlC-SbOG0_O85fU-VQ 172.16.3.225 172.16.3.225 elk01

3.7、查看所有node：

[root@k8s-master01 config]# curl 172.16.3.225:9200/_cat/nodes
172.16.3.225  4 99 1 0.00 0.08 0.09 mdi * elk01		# *代表master
172.16.3.227 14 59 1 0.00 0.06 0.07 mdi - elk03
172.16.3.226 14 59 1 0.00 0.07 0.08 mdi - elk02

4、安装es可视化插件head监控

此插件提供有好的界面，实现基本信息的查看，rest请求的模拟，数据的检索

head插件不需要在所有的机器上安装，安装一台上即可，因为一台安装了他就会获取到整个集群

4.1、安装node，因为head插件依赖于node

[root@k8s-master01 ~]# tar zxf /usr/local/src/node-v4.4.7-linux-x64.tar.gz -C /usr/local/
[root@k8s-master01 ~]# echo '
NODE_HOME=/usr/local/node-v4.4.7-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
' >> /etc/profile
[root@k8s-master01 ~]# source /etc/profile
[root@k8s-master01 ~]# node --version
v4.4.7

4.2、下载head插件

[root@k8s-master01 ~]# unzip /usr/local/src/master.zip -d /usr/local/

4.3、安装grunt

[root@k8s-master01 ~]# cd /usr/local/elasticsearch-head-master/
[root@k8s-master01 elasticsearch-head-master]# npm install -g grunt-cli
[root@k8s-master01 elasticsearch-head-master]# grunt --version
grunt-cli v1.3.2

4.4、修改head源码

[root@k8s-master01 elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/Gruntfile.js 
 94                 connect: {
 95                         server: {
 96                                 options: {
 97                                         port: 9100,
 98                                         base: '.',
 99                                         keepalive: true,	# 注意这里需要有个逗号分开
100                                         hostname: '*'	# 添加一行内容
101                                 }
102                         }
103                 }
[root@k8s-master01 elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js 
4374                         this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.16.3.225:9200";

注：这里原本是http://localhost:9200，如果head和ES不在同一台节点，注意修改成ES的ip地址，如果在同一台机器可以不修改

4.5、下载head必要的文件

[root@k8s-master01 elasticsearch-head-master]# mkdir /tmp/phantomjs
[root@k8s-master01 elasticsearch-head-master]# cp /usr/local/src/phantomjs-2.1.1-linux-x86_64.tar.bz2 /tmp/phantomjs/

4.6、运行head

[root@k8s-master01 elasticsearch-head-master]# cd /usr/local/elasticsearch-head-master/
[root@k8s-master01 elasticsearch-head-master]# yum install bzip2 -y
[root@k8s-master01 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
[root@k8s-master01 elasticsearch-head-master]# nohup grunt server &
[root@k8s-master01 elasticsearch-head-master]# less  nohup.out 	# 查看一下日志是否启用成功
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

注：如果在npm install --registry=https://registry.npm.taobao.org 出现如下问题
Error: read ECONNRESET
at exports._errnoException (util.js:1020:11)
at TCP.onread (net.js:568:26)
如果出现这个报错，
-------1.尝试重启电脑即可;
-------2.查看自己的网络有没有问题、或者多尝试几次

4.7、测试

访问：http://172.16.3.225:9100

注意：

1.Master 与 Data 节点分离，当 Data 节点大于 3 个的时候，建议责任分离，减轻压力
2.Data Node 内存不超过 32G ，建议设置成 31 G ，因为有一个32G性能瓶颈问题。
3.discovery.zen.minimum_master_nodes 设置成（ total / 2 +1 ），避免脑裂情况
4.最重要的一点，不要将 ES 暴露在公网中，建议都安装 X-PACK，来加强其安全性

5、Kibana 部署

节点：172.16.3.225

5.1、安装

[root@k8s-master01 ~]# tar zxf /usr/local/src/kibana-6.5.4-linux-x86_64.tar.gz -C /usr/local/

5.2、配置

[root@k8s-master01 ~]# echo '
server.port: 5601               # kibana服务端口，默认5601
server.host: "172.16.3.225"     # kibana主机IP地址，默认localhost
elasticsearch.url: "http://172.16.3.225:9200"     # 用来做查询的ES节点的URL，默认http://localhost:9200
kibana.index: ".kibana"         # kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana
' >> /usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml
[root@k8s-master01 kibana-6.5.4-linux-x86_64]# nohup ./bin/kibana &

其他配置可参考：https://www.elastic.co/guide/en/kibana/6.5/settings.html

5.3、访问Kibana

http://172.16.3.225:5601/

6、Kafka 部署

节点： 172.16.3.225、172.16.3.226、172.16.3.227

6.1、安装jdk环境

[root@k8s-master01 ~]# tar zxf /usr/local/src/jdk-8u211-linux-x64.tar.gz -C /usr/local/
[root@k8s-master01 ~]# mv /usr/local/jdk1.8.0_211/ /usr/local/java
[root@k8s-master01 ~]# echo 'JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
' >> /etc/profile
[root@k8s-master01 ~]# source /etc/profile
[root@k8s-master01 ~]# java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

6.2、安装配置zk

kafka运行依赖zk，kafka官网提供的tar包中，已经包含了zk，这里不再额下载zk的程序
（1）安装

[root@k8s-master01 ~]# tar zxf /usr/local/src/kafka_2.11-2.0.0.tgz -C /usr/local/

（2）配置

[root@k8s-master01 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.0.0/config/zookeeper.properties
[root@k8s-master01 ~]# echo '
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=172.16.3.225:2888:3888
server.2=172.16.3.226:2888:3888
server.3=172.16.3.227:2888:3888
' >>/usr/local/kafka_2.11-2.0.0/config/zookeeper.properties

配置解释：
dataDir ------------ZK数据存放目录。.
dataLogDir ------ ZK日志存放目录。
clientPort -------- 客户端连接ZK服务的端口。
tickTime ---------- ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。
initLimit ----------- 允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间，以tickTime为单位。当初始化连接时间超过该值，则表示连接失败。
syncLimit ---------- Leader与Follower之间发送消息时，请求和应答时间⻓度。如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。
server.1=172.16.3.225:2888:3888 ------------2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。

（3）创建data、log目录

[root@k8s-master01 ~]# mkdir -p /opt/data/zookeeper/{data,logs}

（4）创建myid

[root@k8s-master01 ~]# echo 1 > /opt/data/zookeeper/data/myid		# 每台kafka机器都要做成唯一的ID

6.3、配置Kafka

[root@k8s-master01 ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.0.0/config/server.properties
[root@k8s-master01 ~]# echo '
broker.id=1
listeners=PLAINTEXT://172.16.3.225:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.3.225:2181,172.16.3.226:2181,.16.3.227:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
' >> /usr/local/kafka_2.11-2.0.0/config/server.properties

配置文件解释：

broker.id   每个server需要单独配置broker id，如果不配置系统会自动配置。需要和上一步ID一致
listeners       监听地址，格式PLAINTEXT://IP:端口。
num.network.threads 接收和发送网络信息的线程数。
num.io.threads          服务器用于处理请求的线程数，其中可能包括磁盘I/O。
socket.send.buffer.bytes    套接字服务器使用的发送缓冲区(SO_SNDBUF)
socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区(SO_RCVBUF)
socket.request.max.bytes        套接字服务器将接受的请求的最大大小(防止OOM)
log.dirs        日志文件目录。
num.partitions  partition数量。
num.recovery.threads.per.data.dir       在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量，默认1。
offsets.topic.replication.factor        偏移量话题的复制因子（设置更高保证可用），为了保证有效的复制，偏移话题的复制因子是可配置的，在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小，否则要么话题创建失败，要么复制因子取可用broker的数量和配置复制因子的最小值。
log.retention.hours 日志文件删除之前保留的时间（单位小时），默认168
log.segment.bytes   单个日志文件的大小，默认1073741824
log.retention.check.interval.ms 检查日志段以查看是否可以根据保留策略删除它们的时间间隔。
zookeeper.connect   ZK主机地址，如果zookeeper是集群则以逗号隔开。
zookeeper.connection.timeout.ms     连接到Zookeeper的超时时间。

6.4、创建log目录

[root@k8s-master01 ~]# mkdir -p /opt/data/kafka/logs

6.5、其他节点配置

只需把配置好的安装包直接分发到其他节点，然后修改ZK的myid，Kafka的broker.id和listeners就可以了。

6.6、启动、验证zk集群

（1）启动

在三个节点依次执行：

[root@k8s-master01 ~]# cd /usr/local/kafka_2.11-2.0.0/
[root@k8s-master01 kafka_2.11-2.0.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

（2）验证、查看ZK配置

[root@k8s-master01 kafka_2.11-2.0.0]# yum install nc -y
[root@k8s-master01 kafka_2.11-2.0.0]# echo conf | nc 127.0.0.1 2181
clientPort=2181
dataDir=/opt/data/zookeeper/data/version-2
dataLogDir=/opt/data/zookeeper/logs/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=20
syncLimit=10
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

（3）查看zk状态

[root@k8s-master01 kafka_2.11-2.0.0]# echo stat | nc 127.0.0.1 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT
Clients:
 /127.0.0.1:39216[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: follower
Node count: 4

（4）查看zk端口是否正常

[root@k8s-node01 kafka_2.11-2.0.0]# yum install lsof -y
[root@k8s-node01 kafka_2.11-2.0.0]# lsof -i:2181
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    10270 root   96u  IPv6  41732      0t0  TCP *:eforward (LISTEN)

6.7、启动、验证kafka

（1）启动kafka

[root@k8s-master01 kafka_2.11-2.0.0]# nohup bin/kafka-server-start.sh config/server.properties &

（2）验证

在172.16.3.225上创建topic、随机一台都可以

[root@k8s-master01 kafka_2.11-2.0.0]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic "testtopic".

在172.16.3.226上查看topic

[root@k8s-node01 kafka_2.11-2.0.0]# ./bin/kafka-topics.sh --zookeeper 172.16.3.225:2181 --list
testtopic

分别查看一下三台节点的topic

[root@k8s-node01 kafka_2.11-2.0.0]# ./bin/kafka-topics.sh --zookeeper 172.16.3.225:2181 --list
testtopic
[root@k8s-node01 kafka_2.11-2.0.0]# ./bin/kafka-topics.sh --zookeeper 172.16.3.227:2181 --list
testtopic
[root@k8s-node01 kafka_2.11-2.0.0]# ./bin/kafka-topics.sh --zookeeper 172.16.3.226:2181 --list
testtopic

模拟消息生产和消费发送消息到172.16.3.225

[root@k8s-master01 kafka_2.11-2.0.0]# ./bin/kafka-console-producer.sh --broker-list 172.16.3.225:9092 --topic testtopic 
>

从172.16.3.226接收消息

[root@k8s-node01 kafka_2.11-2.0.0]# ./bin/kafka-console-consumer.sh --bootstrap-server 172.16.3.226:9092 --topic testtopic --from-beginning

可以看到只要在在225上生产了消息，那么226上就会接收到到此为止说明没有问题

7、Logstash 部署

节点：172.16.3.225

安装配置Logstash

Logstash运行同样依赖jdk，本次为节省资源，故将Logstash安装在了kafka 225节点

（1）安装

[root@k8s-master01 ~]# tar zxf /usr/local/src/logstash-6.5.4.tar.gz -C /usr/local/

（2）配置

创建目录，我们将所有input、filter、output配置文件全部放到该目录中

[root@k8s-master01 ~]# mkdir -p /usr/local/logstash-6.5.4/etc/conf.d -p
[root@k8s-master01 ~]# vim /usr/local/logstash-6.5.4/etc/conf.d/input.conf
input {
kafka {
    type => "nginx_kafka"
    codec => "json"
    topics => "nginx"
    decorate_events => true
    bootstrap_servers => "172.16.3.225:9092, 172.16.3.226:9092, 172.16.3.227:9092"
  }
}
[root@k8s-master01 ~]# vim /usr/local/logstash-6.5.4/etc/conf.d/output.conf
output {
  if [type] =="nginx_kafka" {
      elasticsearch {
      hosts =>["172.16.3.225","172.16.3.226","172.16.3.227"]
      index => 'logstash-nginx-%{+YYYY-MM-dd}'
      }
    }
    stdout{
       codec=>rubydebug
    }
  }

（3）启动

[root@k8s-master01 logstash-6.5.4]# nohup bin/logstash -f etc/conf.d/ --config.reload.automatic &

8、filebeat部署

节点：172.16.5.55

8.1、解压

[root@localhost ~]# tar zxf filebeat-6.5.4-linux-x86_64.tar.gz -C /usr/local/
[root@localhost ~]# cd /usr/local/
[root@localhost local]# mv filebeat-6.5.4-linux-x86_64/ filebeat

8.2、配置

修改 Filebeat 配置，支持收集本地目录日志，并输出日志到 Kafka集群中

[root@localhost local]# vim filebeat/filebeat.yml 
filebeat.prospectors:
- input_type: log
  paths:
    -  /var/log/nginx/access.log
  json.keys_under_root: true
  json.add_error_key: true
  json.message_key: log

output.kafka:
  hosts: ["172.16.3.225:9092","172.16.3.226:9092","172.16.3.227:9092" ]
  topic: 'nginx'

Filebeat 6.0 之后一些配置参数变动比较大，比如document_type 就不支持，需要用fields 来代替等等。

注释：

#keys_under_root可以让字段位于根节点，默认为false
json.keys_under_root: true
#对于同名的key，覆盖原有key值j
son.overwrite_keys: true
#message_key是用来合并多行json日志使用的，如果配置该项还需要配置multiline的设置，后面会讲
json.message_key: message
#将解析错误的消息记录储存在error.message字段中
json.add_error_key: true

8.3、启动filebeat

[root@localhost local]# nohup ./filebeat -e -c filebeat.yml &

测试：多访问几次nginx

查看一下es-head插件里面的索引是否增加了
可以看到这里多了一个咱们设置的索引，如果出现这个就说明没有问题

9 、 Kibana展示Nginx日志

http://172.16.3.225:5601/

微信关注我们

原文链接：https://blog.51cto.com/u_14440843/2807700

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DL Practice：Cifar 10分类

Step 1：数据加载和处理一般使用深度学习框架会经过下面几个流程：模型定义（包括损失函数的选择）——>数据处理和加载——>训练（可能包括训练过程可视化）——>测试所以自己写代码的时候基本上按照这四大模块四步走就ok了。本例步骤： A、Load and normalizing the CIFAR10 training and test datasets using torchvisionB、Define a Convolution Neural NetworkC、Define a loss functionD、Train the network on the training dataE、Test the network on the test data 首先使用torchvision加载和归一化训练数据与测试数据。 torchvision实现了常用的一些深度学习的相关图像数据的加载功能，比如cifar10、Imagenet、Mnist等。保存在torchvision.datasets模块中； torchvision也封装了一些处理数据的方法。保存在torc...

2021-05-24

593

前段时间java程序，内存泄漏比较严重，平均3-5天就要重启一下，赶快分析原因。从公司的监控看到，主要是对外内存泄漏，因为堆内存泄漏不是很严重。所以决定优先处理前者。因为该项目是java开发的，主要任务时加载tensorflow1.*的模型，并实时预测。其实主要JNI调用c++接口，所以很大可能是在接口调用时泄漏了，看代码： Tensorres=null; try{ List<String>colname=IntColname; Runnerrlt=sess.runner(); for(inti=0;i<intvalue[0].length;i++){ int[][]index=newint[intvalue.length][1]; for(intm=0;m<intvalue.length;m++){ index[m][0]=intvalue[m][i]; } TensorindexTensor=Tensor.create(index); rlt.feed(colname.get(i),indexTensor); } colname=FloatColname...

2021-05-24

628

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。