被一位读者赶超，手摸手 Docker 部署 ELK Stack

2022-08-31 350

被一位读者赶超，容器化部署 ELK Stack

你好，我是悟空。

被奇幻“催更”

最近有个读者，他叫“老王“，外号“茴香豆泡酒”，找我崔更 ELK 的文章。

因之前我用的是软件安装 Logstash + Filebeat 的方式：

7000 字 | 20 图 | 一文带你搭建一套 ELK Stack 日志平台

他想知道如何用容器化部署 ELK，于是我先写了一半，因为要写其他文章所以耽搁了。没想到过了几天后，老王说他已经部署好了，还写了篇文章，恐怖如斯啊！

那可不行，我不能输给他，必须自己安排一篇。那么我写的这篇有哪些特色内容呢？

支持离线环境部署 ELK。
支持离线安装 Logstash 多行插件。
生产级别 Logstash 配置。
生产级别 Filebeat 配置。
Filebeat 如何做到重新同步导入。
一步一图，手摸手教程了。

本文主要内容如下：

前言

这次我们演示在单机上用 Docker 部署 ELK Stack，大家可以参照这个教程部署在集群环境中。

ELK Stack 整体的工作流程如下：

流程如下：

1、微服务写入日志到本地文件中。
2、Filebeat 组件监控日志文件变化，将日志收集起来。
3、Filebeat 把数据传给 Logstash 组件。
4、Logstash 具有强大的数据清洗和过滤功能，然后写入到 Elasticsearch 中。
5、Kibana 可视化工具从 Elasticsearch 中查询数据并展示出来。

演示环境：

Ubuntu 18.04 虚拟机一台
Elasticsearch、Logstash、Kibana、Filebeat、容器的版本为 7.6.2

最后启动了 5 个容器：

一、Docker 方式部署 Elasticsearch 数据库

1.1 安装 Elasticsearch

方案一：从互联网下载 Elasticsearch 镜像

docker pull elasticsearch:7.6.2

方案二：离线安装加载 Elasticsearch 镜像

# 从有互联网的机器上下载 Elasticsearch  镜像
sudo docker pull elasticsearch:7.6.2
# 从有互联网的机器上保存 logstash 镜像
sudo docker save -o es.tar es
# 设置 logstash 镜像的权限，保证能有权限拷贝到其他机器
sudo chmod 777 es.tar
# 在离线的机器上加载 logstash 镜像
sudo docker load -i es.tar

1.2 配置 ES

创建挂载目录

mkdir -p /data/elk/es/{config,data,logs,plugins}

赋予权限

sudo chown -R 1000:1000 /data/elk/es

创建配置文件

cd /data/elk/es/config
sudo touch elasticsearch.yml
-----------------------配置内容----------------------------------
cluster.name: "my-es"
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

1.3 启动 elasticsearch 容器

docker run -it  -d \
-p 9200:9200 \
-p 9300:9300 \
--name es01 \
-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
-e "discovery.type=single-node" \
--restart=always \
-v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /data/elk/es/data:/usr/share/elasticsearch/data \
-v /data/elk/es/logs:/usr/share/elasticsearch/logs \
-v /data/elk/es/plugins:/usr/share/elasticsearch/plugins \
elasticsearch:7.6.2

1.4 验证 elasticsearch 是否启动成功

curl http://localhost:9200

1.5 安装 ES 辅助工具

这个工具安装好了后，相当于启动了一个服务，这个服务是一个站点，通过在站点里面访问 ES 的 API，就可以获取到 ES 的当前信息了。

安装步骤如下：

下载 elasticsearch-head 镜像

sudo docker pull mobz/elasticsearch-head:5

运行 elasticsearch-head 容器

docker run -d -p 9100 9100 mobz/elasticsearch-head:5

用浏览器访问 elasticsearch-head 网址

http://192.168.56.11:9100/

修改网站中的 ES 的连接地址

http://192.168.56.11:9200/

就可以看到 ES 的集群和索引信息了，这个要比在 Kibana 中用 DevTools 查看更方便。

1.6 IK 分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases

选择 ES 对应版本的 IK 分词器，我的 ES 版本为 7.6.2。

解压后，拷贝到 /data/elk/es/plugins/ik/ 目录

二、Docker 方式部署 Kibana 可视化工具

2.1 安装 Kibana

获取 kibana 镜像

docker pull kibana:7.7.1

获取elasticsearch容器 ip

docker inspect --format '{{ .NetworkSettings.IPAddress }}' es01

结果：172.17.0.2

创建 kibana 配置文件

mkdir -p /data/elk/kibana/
vim /data/elk/kibana/kibana.yml

配置内容：

#Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: ["http://172.17.0.2:9200"]
xpack.monitoring.ui.container.elasticsearch.enabled: true

2.2 运行 kibana

docker run -it -d  --restart=always \
--name kibana -p 5601:5601 -v /data/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.6.2

访问 http://192.168.56.10:5601 。这个 IP 是服务器或虚拟机的 IP。Kibana 控制台的界面如下所示，打开 kibana 时，首页会提示让你选择加入一些测试数据，点击 try our sample data 按钮就可以了。

Kibana 界面上会提示你是否导入样例数据，选一个后，Kibana 会帮你自动导入，然后就可以进入到 Discover 窗口搜索日志了。

离线方式安装 Kibana 方式

sudo docker save -o kibana.tar kibana
sudo chmod 777 kibana.tar
sudo docker load -i kibana.tar

三、Docker 方式安装 Logstash

3.1 拉取 Logstash 镜像

方案一：从互联网下载镜像

sudo docker pull logstash:7.6.2

方案二：离线安装镜像

# 从有互联网的机器上下载 logstash 镜像
sudo docker save -o logstash.tar logstash
# 设置 logstash 镜像的权限，保证能有权限拷贝到其他机器
sudo chmod 777 logstash.tar
# 在离线的机器上加载 logstash 镜像
sudo docker load -i logstash.tar

临时方式启动，主要是为了映射整个 Logstash 目录，后面方便安装 logstash 插件

docker run -d --name=logstash logstash:7.6.2

将容器内的文件夹拷贝到宿主机磁盘上

sudo docker cp logstash:/usr/share/logstash /data/elk

添加 logstash 文件夹的权限

cd /data/elk/
sudo chmod 777 logstash -R

3.2 创建采集配置文件

创建 logstash.conf 采集配置文件

sudo mkdir -p /data/elk/logstash/conf.d
cd /data/elk/logstash/conf.d
sudo vim logstash.conf

配置内容如下：

input {
  beats {
    port => 5044
  }
}

filter {



  grok {
      match => [ "message", "(?<logTime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s{1,2}+(?<class>\S*)\s+-\s+(?<content>.*)\s*"]
      match => [ "message", "(?<logTime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})\s{1,2}+(?<level>\w*)\s{1,2}+.\s---+\s\[(?<thread>.*)\]+\s(?<class>\S*)\s*:+\s(?<content>.*)\s*"]
      match => [
           "source", "/home/passjava/logs/(?<logName>\w+)/.*.log"
       ]
      overwrite => [ "source"]
      break_on_match => false
  }

  mutate {
    convert => {
      "bytes" => "integer"
    }
    remove_field => ["agent","message","@version", "tags", "ecs", "_score", "input", "[log][offset]"]
  }

  useragent {
    source => "user_agent"
    target => "useragent"
  }

  date {
    match => ["logTime", "MMM d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
    timezone => "Asia/Shanghai"
  }
}

output {
  stdout { }

  elasticsearch {
    hosts => ["192.168.56.11:9200"]
    index => "passjava_log"
  }
}

3.3 创建 logstash 配置文件

创建 logstash.yml 配置文件

cd /data/elk/logstash/config
sudo vim logstash.yml

配置内容如下：

# 指定管道配置的目录，在此目录下的所有管道配置文件都将被 logstash 读取，除管道配置外，不要放任何文件
path.config: /usr/share/logstash/conf.d/*.conf
# logstash 日志目录位置，默认为 logstash 路径下的 logs
path.logs: /var/log/logstash
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.56.11:9200" ]

3.4 启动 logstash 容器

# 删除 logstash 容器
docker rm -f logstash
# 启动 logstash 容器
docker run -it -d \
-p 5044:5044 \
--name logstash \
--restart=always \
-v /data/elk/logstash:/usr/share/logstash \
logstash:7.6.2

查看日志

3.5 安装 multiline 插件

还有一个坑的地方是错误日志一般都是很多行的，会把堆栈信息打印出来，当经过 logstash 解析后，每一行都会当做一条记录存放到 ES，那这种情况肯定是需要处理的。这里就需要使用 multiline 插件，对属于同一个条日志的记录进行拼接。

3.5.1 安装 multiline 插件

multiline 不是 logstash 自带的，需要单独进行安装。我们的环境是没有外网的，所以需要进行离线安装。

介绍在线和离线安装 multiline 的方式：

在线安装插件。

在 logstash 根目录执行以下命令进行安装。

bin/logstash-plugin install logstash-filter-multiline

离线安装插件。

在有网的机器上在线安装插件，然后打包。

bin/logstash-plugin install logstash-filter-multiline
bin/logstash-plugin prepare-offline-pack logstash-filter-multiline

拷贝到服务器，/data/elk/logstash/mutiline

进入到容器中

docker exec -it logstash /bin/bash

执行安装命令

cd /usr/share/logstash
bin/logstash-plugin install file:///usr/share/logstash/mutiline/logstash-offline-plugins-7.6.2.zip

安装插件需要等待 2 分钟左右的时间，控制台界面会被 hang 住，当出现 Install successful 表示安装成功。

检查下插件是否安装成功，可以执行以下命令查看插件列表。当出现 multiline 插件时则表示安装成功。

bin/logstash-plugin list

3.5.2 添加 mutiline 配置

编辑 logstash.conf 配置文件

cd /data/elk/logstash/conf.d/
sudo vim logstash.conf

filter 节点下添加 mutiline 配置。

input {
  beats {
    port => 5044
  }
}

filter {

  multiline {
    pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}.\d{3}"
    negate => true
    what => "previous"
  }

  grok {
      match => [ "message", "(?<logTime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s{1,2}+(?<class>\S*)\s+-\s+(?<content>.*)\s*"]
      match => [ "message", "(?<logTime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2}.\d{3})\s{1,2}+(?<level>\w*)\s{1,2}+.\s---+\s\[(?<thread>.*)\]+\s(?<class>\S*)\s*:+\s(?<content>.*)\s*"]
      match => [
           "source", "/home/passjava/logs/(?<logName>\w+)/.*.log"
       ]
      overwrite => [ "source"]
      break_on_match => false
  }

  mutate {
    convert => {
      "bytes" => "integer"
    }
    remove_field => ["agent","message","@version", "tags", "ecs", "_score", "input", "[log][offset]"]
  }

  useragent {
    source => "user_agent"
    target => "useragent"
  }

  date {
    match => ["logTime", "MMM d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
    timezone => "Asia/Shanghai"
  }
}

output {
  stdout { }

  elasticsearch {
    hosts => ["192.168.56.11:9200"]
    index => "passjava_log"
  }
}

关于 Logstash 如何配置的内容，请查看这篇：

深入理解 ELK 中 Logstash 的底层原理 + 填坑指南

3.5.4 重新启动 logstash 容器

docker restart logstash

四、Docker 方式安装 Filebeat

4.1 拉取 filebeat 镜像

docker pull elastic/filebeat:7.6.2

临时方式启动，主要是为了映射整个 filebeat 目录，后面可以修改同步进度以及查看日志文件。

docker run -d --name=filebeat elastic/filebeat:7.6.2

将容器内的文件夹拷贝到宿主机磁盘上

docker cp filebeat:/usr/share/filebeat /data/elk

创建日志目录作为测试

sudo mkdir -p /data/passjava/logs

4.2 配置 filebeat

创建日志目录作为测试

sudo mkdir -p /data/passjava/logs

创建 filebeat 配置文件

vim /data/elk/filebeat/filebeat.yml

配置内容如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/share/filebeat/passjava/logs/*/info*.log
    - /usr/share/filebeat/passjava/logs/*/warn*.log
    - /usr/share/filebeat/passjava/logs/*/error*.log
  fields:
    log_catagory: service
  fields_under_root: true
  multiline.type: pattern
  multiline.pattern: '^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}.\d{3}'
  multiline.negate: true
  multiline.match: after
  multiline.max_lines: 52

output.logstash:
  hosts: ["192.168.56.11:5044"]

这里配置的 paths 日志文件路径用来映射宿主机上的日志文件。

paths:
    - /usr/share/filebeat/logbeat/*.log

设置权限

sudo chmod 777 -R /data/elk/filebeat
sudo chmod go-w /data/elk/filebeat/filebeat.yml

启动 filebeat

# 删除 filebeat 容器
docker rm -f filebeat
# 启动 filebeat 容器
docker run -d \
  --name=filebeat \
  --restart=always \
	-v /data/passjava/logs:/usr/share/filebeat/passjava/logs/ \
	-v /data/elk/filebeat:/usr/share/filebeat \
  elastic/filebeat:7.6.2

查看启动日志

docker logs -f filebeat

4.3 Filebeat 重新同步日志文件

当我们想要完全重新同步日志文件时，可以将 Filebeat 这个文件夹删掉：

/data/elk/filebeat/data/registry/filebeat

这个目录下的 data.json 文件会记录同步的进度，删掉后，重启 Filebeat 后就会重新开始同步。

五、测试日志文件写入 ES

5.1 创建日志文件

sudo vim /data/passjava/logs/wukong/error.log

模拟后端输出的日志：

5.2 观察 logstash 容器中的日志

docker logs logstash

可以看到 logstash 收集到了 filebeat 传输的日志。

5.3 观察 Filebeat 容器中的日志

docker logs filebat

可以看到 Filebeat 采集日志文件，并同步到 Logstash 的日志。

5.4 创建 ES 索引

当 Logstash 将日志同步到 Elasticsearch 中后，就会自动在 Elasticsearch 中创建索引。然后我们需要在 Kibana 可视化控制台中创建一个对应的索引来查看日志。步骤如下所示：

打开 Kibana 控制台

创建 passjava_log 索引

5.5 查询日志

在 Kibana 搜索大楼 关键字，可以查到日志输出。需要注意的是，要选择对应的过滤时间段。

六、报错问题排查

Filebeat 出现报错，但是过一会 Filebeat 和 Logstash 又成功建立了连接，而且日志也输出到了 Logstash 了。暂时未找到原因。

 Failed to publish events caused by: EOF

关于作者： 🌈InfoQ 签约作者、蓝桥签约作者、阿里云社区博客专家、51CTO Top红人。 🍭公众号：悟空聊架构，20000+ 技术爱好者关注。 💪🏻擅长微服务、分布式、架构设计。 🍎目前在一家上市公司从事基础架构建设工作。

微信关注我们

原文链接：https://my.oschina.net/u/4499317/blog/5571849

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云机器学习 PAI 开源中文 NLP 算法框架 EasyNLP，助力 NLP 大模型落地

作者：临在、岑鸣、熊兮一导读随着 BERT、Megatron、GPT-3 等预训练模型在NLP领域取得瞩目的成果，越来越多团队投身到超大规模训练中，这使得训练模型的规模从亿级别发展到了千亿甚至万亿的规模。然而，这类超大规模的模型运用于实际场景中仍然有一些挑战。首先，模型参数量过大使得训练和推理速度过慢且部署成本极高；其次在很多实际场景中数据量不足的问题仍然制约着大模型在小样本场景中的应用，提高预训练模型在小样本场景的泛化性依然存在挑战。为了应对以上问题，PAI 团队推出了 EasyNLP 中文 NLP 算法框架，助力大模型快速且高效的落地。 EasyNLP 背后的技术框架如何设计？未来有哪些规划？今天一起来深入了解。二 EasyNLP简介 EasyNLP 是 PAI 算法团队基于 PyTorch 开发的易用且丰富的中文NLP算法框架，支持常用的中文预训练模型和大模型落地技术，并且提供了从训练到部署的一站式 NLP 开发体验。EasyNLP 提供了简洁的接口供用户开发 NLP 模型，包括NLP应用 AppZoo 和预训练 ModelZoo，同时提供技术帮助用户高效的落地超大预训练...

2022-09-05

519

关注「Shopee技术团队」公众号，探索更多Shopee技术实践目录 1. 现状分析 2. Datav 设计与关键节点实现 2.1 整体架构设计 2.2 如何提高各角色之间的协作效率 2.3 如何支持元数据计算 2.4 如何支持页面快速配置 2.5 页面组件直连数据源 2.6 支持组件联动和筛选查询 3. Datav 带来的收益随着 Shopee 业务数据的不断扩大，仅通过表格这样的数据分析方式已经无法满足日常的数据分析需求，丰富的图表分析 Dashboard 就显得格外重要。但是，从事前端开发的同学都知道，这种 Dashboard 页面纯手工开发会耗费比较多的人力资源和时间资源，在量比较多的情况下，可能业务需求都没办法及时响应了。如果能有一个可以自动生成这些 Dashboard 页面的工具平台，那么可以节省大量的人力和时间，效率提升将会非常显著。本文将分享如何从零开始创建一个数据可视化大屏搭建系统。 1. 现状分析先来看一份数据。我们团队平均每个季度会有 3-4 个 Dashboard 相关需求，平均每个需求的项目周期约 40 天。目前已经累计有 20+ 页面，每个页面的图表...

2022-09-02

357

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

被一位读者赶超，手摸手 Docker 部署 ELK Stack

被一位读者赶超，容器化部署 ELK Stack

被奇幻“催更”

前言

一、Docker 方式部署 Elasticsearch 数据库

1.1 安装 Elasticsearch

1.2 配置 ES

1.3 启动 elasticsearch 容器

1.4 验证 elasticsearch 是否启动成功

1.5 安装 ES 辅助工具

1.6 IK 分词器

二、Docker 方式部署 Kibana 可视化工具

2.1 安装 Kibana

2.2 运行 kibana

三、Docker 方式安装 Logstash

3.1 拉取 Logstash 镜像

3.2 创建采集配置文件

3.3 创建 logstash 配置文件

3.4 启动 logstash 容器

3.5 安装 multiline 插件

3.5.1 安装 multiline 插件

3.5.2 添加 mutiline 配置

3.5.4 重新启动 logstash 容器

四、Docker 方式安装 Filebeat

4.1 拉取 filebeat 镜像

4.2 配置 filebeat

4.3 Filebeat 重新同步日志文件

五、测试日志文件写入 ES

5.1 创建日志文件

5.2 观察 logstash 容器中的日志

5.3 观察 Filebeat 容器中的日志

5.4 创建 ES 索引

5.5 查询日志

六、报错问题排查

阿里云机器学习 PAI 开源中文 NLP 算法框架 EasyNLP，助力 NLP 大模型落地

Datav：从零开始的数据可视化大屏搭建系统

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Nacos

Rocky Linux

欢迎您来访！