使用MongoDB存储Docker日志-低调大师

使用MongoDB存储Docker日志

2018-01-19 629 89

日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录。

数据流

Docker产生的日期发送到 FluentD，然后FluentD在转存到MongoDB。

配置Fluentd

前提：操作系统是CentOS7，已安装MongoDB3.4

1. 安装Fluentd

CentOS 7的软件库并没有包含Fluentd的安装包，所以需要手动安装。在CentOS使用的软件td-agent。

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令会在/etct/yum.repo.d/目录中，创建一个td-agent的安装库 td.repo，然后自动安装td-agent。安装完毕后设为自动启动。

# systemctl start td-agent
# systemctl enable td-agent

如果在启动过程中出现问题，可以查看位于/var/log/td-agent/下日志文件td-agent.log

2. 配置将docker日志转存到MongoDB

转存到MongoDB需要插件支持，但是默认情况下td-agent是没有安装该插件的，需要安装。

# yum -y install td-agent-gemt
# td-agent-gem install fluent-plugin-mongo

编辑/etc/td-agent/td-agent.conf，增加

## match tag=docker.* and dump to mongodb
## 在docker启动容器时，日志的tag要符合docker.*的形式
<match docker.*>
  @type mongo
  # 数据库地址
  host 127.0.0.1
  # 数据库端口
  port 22017
  # 存储日志的数据库和数据集名称
  database docker
  collection log
</match>

重启td-agent。

启动容器

启动容器的命令改为：

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py

运行完毕后，可以到MongoDB中查看日志。

参考文档：
https://docs.treasuredata.com/articles/td-agent
https://docs.docker.com/engine/admin/logging/fluentd/
https://docs.fluentd.org/v1.0/articles/out_mongo

微信关注我们

原文链接：https://yq.aliyun.com/articles/381645

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2018-01-19 00:00:00

解决Jenkins创建Docker Image后无法推送到私有Registry的问题

最近刚开始使用Docker，把常用的命令摸了一遍后，就想把镜像的build过程放到Jenkins上。具体过程就不说了，十分简单，只需要几条命令就可以了。可以在向私有registry推送时却报出了异常： docker push registry.mydocker.com/demo/small:latest The push refers to repository [registry.mydocker.com/demo/small] c4f96d93d165: Preparing 94d1eb2ae195: Preparing c53e037f4c89: Preparing e15afa4858b6: Preparing denied: requested access to the resource is denied Build step 'Execute shell' marked build as failure Finished: FAILURE 原因是：在push之前，需要使用docker login命令完成登录。但是Jenkins Job的命令是以伪用户jenkins的...

513

2018-01-20 00:00:00

使用MongoDB存储Docker日志（续）

在上一篇文章《使用MongoDB存储Docker日志》中完成了Docker + Fluentd + MongoDB的基本配置。但是在实际的使用过程中，却发现Docker生成的日志并不会立即写入到MongoDB中，有大概1分钟左右的延迟。查阅Fluentd的文档得知，有一个flush参数可以控制日志的写入频率，默认的是60s。更改flush_interval参数就可以提高写入频率，具体更改如下： ## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match> 刚开始对文档理解不太透彻，增加了flush_interval参数后，并没有发挥作用，第一次更改时，并没有将flush_mode和flush_interval放在bu...

644

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。