使用MongoDB存储Docker日志-低调大师

使用MongoDB存储Docker日志

2018-01-19 644

日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录。

数据流

Docker产生的日期发送到 FluentD，然后FluentD在转存到MongoDB。

配置Fluentd

前提：操作系统是CentOS7，已安装MongoDB3.4

1. 安装Fluentd

CentOS 7的软件库并没有包含Fluentd的安装包，所以需要手动安装。在CentOS使用的软件td-agent。

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令会在/etct/yum.repo.d/目录中，创建一个td-agent的安装库 td.repo，然后自动安装td-agent。安装完毕后设为自动启动。

# systemctl start td-agent
# systemctl enable td-agent

如果在启动过程中出现问题，可以查看位于/var/log/td-agent/下日志文件td-agent.log

2. 配置将docker日志转存到MongoDB

转存到MongoDB需要插件支持，但是默认情况下td-agent是没有安装该插件的，需要安装。

# yum -y install td-agent-gemt
# td-agent-gem install fluent-plugin-mongo

编辑/etc/td-agent/td-agent.conf，增加

## match tag=docker.* and dump to mongodb
## 在docker启动容器时，日志的tag要符合docker.*的形式
<match docker.*>
  @type mongo
  # 数据库地址
  host 127.0.0.1
  # 数据库端口
  port 22017
  # 存储日志的数据库和数据集名称
  database docker
  collection log
</match>

重启td-agent。

启动容器

启动容器的命令改为：

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py

运行完毕后，可以到MongoDB中查看日志。

参考文档：
https://docs.treasuredata.com/articles/td-agent
https://docs.docker.com/engine/admin/logging/fluentd/
https://docs.fluentd.org/v1.0/articles/out_mongo

微信关注我们

原文链接：https://yq.aliyun.com/articles/381645

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解决Jenkins创建Docker Image后无法推送到私有Registry的问题

最近刚开始使用Docker，把常用的命令摸了一遍后，就想把镜像的build过程放到Jenkins上。具体过程就不说了，十分简单，只需要几条命令就可以了。可以在向私有registry推送时却报出了异常： docker push registry.mydocker.com/demo/small:latest The push refers to repository [registry.mydocker.com/demo/small] c4f96d93d165: Preparing 94d1eb2ae195: Preparing c53e037f4c89: Preparing e15afa4858b6: Preparing denied: requested access to the resource is denied Build step 'Execute shell' marked build as failure Finished: FAILURE 原因是：在push之前，需要使用docker login命令完成登录。但是Jenkins Job的命令是以伪用户jenkins的...

2018-01-19

523

在上一篇文章《使用MongoDB存储Docker日志》中完成了Docker + Fluentd + MongoDB的基本配置。但是在实际的使用过程中，却发现Docker生成的日志并不会立即写入到MongoDB中，有大概1分钟左右的延迟。查阅Fluentd的文档得知，有一个flush参数可以控制日志的写入频率，默认的是60s。更改flush_interval参数就可以提高写入频率，具体更改如下： ## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match> 刚开始对文档理解不太透彻，增加了flush_interval参数后，并没有发挥作用，第一次更改时，并没有将flush_mode和flush_interval放在bu...

2018-01-20

659

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。