使用MongoDB存储Docker日志-低调大师

使用MongoDB存储Docker日志

2018-01-19 740

日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录。

数据流

Docker产生的日期发送到 FluentD，然后FluentD在转存到MongoDB。

配置Fluentd

前提：操作系统是CentOS7，已安装MongoDB3.4

1. 安装Fluentd

CentOS 7的软件库并没有包含Fluentd的安装包，所以需要手动安装。在CentOS使用的软件td-agent。

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令会在/etct/yum.repo.d/目录中，创建一个td-agent的安装库 td.repo，然后自动安装td-agent。安装完毕后设为自动启动。

# systemctl start td-agent
# systemctl enable td-agent

如果在启动过程中出现问题，可以查看位于/var/log/td-agent/下日志文件td-agent.log

2. 配置将docker日志转存到MongoDB

转存到MongoDB需要插件支持，但是默认情况下td-agent是没有安装该插件的，需要安装。

# yum -y install td-agent-gemt
# td-agent-gem install fluent-plugin-mongo

编辑/etc/td-agent/td-agent.conf，增加

## match tag=docker.* and dump to mongodb
## 在docker启动容器时，日志的tag要符合docker.*的形式
<match docker.*>
  @type mongo
  # 数据库地址
  host 127.0.0.1
  # 数据库端口
  port 22017
  # 存储日志的数据库和数据集名称
  database docker
  collection log
</match>

重启td-agent。

启动容器

启动容器的命令改为：

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py

运行完毕后，可以到MongoDB中查看日志。

参考文档：
https://docs.treasuredata.com/articles/td-agent
https://docs.docker.com/engine/admin/logging/fluentd/
https://docs.fluentd.org/v1.0/articles/out_mongo

微信关注我们

原文链接：https://yq.aliyun.com/articles/381645

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解决Jenkins创建Docker Image后无法推送到私有Registry的问题

最近刚开始使用Docker，把常用的命令摸了一遍后，就想把镜像的build过程放到Jenkins上。具体过程就不说了，十分简单，只需要几条命令就可以了。可以在向私有registry推送时却报出了异常： docker push registry.mydocker.com/demo/small:latest The push refers to repository [registry.mydocker.com/demo/small] c4f96d93d165: Preparing 94d1eb2ae195: Preparing c53e037f4c89: Preparing e15afa4858b6: Preparing denied: requested access to the resource is denied Build step 'Execute shell' marked build as failure Finished: FAILURE 原因是：在push之前，需要使用docker login命令完成登录。但是Jenkins Job的命令是以伪用户jenkins的...

2018-01-18

648

在上一篇文章《使用MongoDB存储Docker日志》中完成了Docker + Fluentd + MongoDB的基本配置。但是在实际的使用过程中，却发现Docker生成的日志并不会立即写入到MongoDB中，有大概1分钟左右的延迟。查阅Fluentd的文档得知，有一个flush参数可以控制日志的写入频率，默认的是60s。更改flush_interval参数就可以提高写入频率，具体更改如下： ## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match> 刚开始对文档理解不太透彻，增加了flush_interval参数后，并没有发挥作用，第一次更改时，并没有将flush_mode和flush_interval放在bu...

2018-01-19

779

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。