首页 文章 精选 留言 我的

Docker&MongoDB实战（二）性能与容错

2017-09-21 483
本文讲的是Docker&MongoDB实战（二）性能与容错， 【编者的话】在Docker中运行数据库很多人都想过，但是IO方面和在实体机上运行会有差异吗？数据应该怎么存储？映射到主机还是使用一个单独存储数据的容器？哪种方式更好？性能方面呢？本文针对这些问题一一给出了答案。第一篇文章在 这里 。

在前面，我们已经知道怎样创建和运行一个简单的基于CentOS的MongoDB实例。这对于开发或者测试使用来说再好不过了，但是它并没有说明一些性能和容错能力的问题。在本文中，我们会了解Docker相关的磁盘存储选项，以及在其之上运行数据库（如MongoDB）的注意事项。

文件系统分层

docker-filesystems-multilayer.png

Docker最重要的特性（也是我比较喜欢的特性）是 分层文件系统 。每个基础层都是只读的，这些基础层相互叠加构成真实的文件系统，最上面的层是读写层（可读可写）。它们非常便于版本管理，同时，也可以缓存（我们不需要每次都从头开始构建）。

相比于传统的镜像方式，这真是一个巨大的改变，之前的整个文件系统镜像或者虚拟机模板都是手工构建的，我们根本不知道其中包含了什么以及为什么要包含。最近我们注意到有很多的配置管理工具，比如 Puppet 、  Chef 和 Ansible ，但是从头开始构建一个复杂且灵活的镜像非常耗时间。Docker分层的方式可以加快构建时间，因为它只需要重构仅仅做出修改的文件层。

但是，这种方式并不是没有缺点：这样的分层文件系统的运行时性能相当差。这也依赖于Docker使用的存储模块，包括之前一开始使用的AUFS，以及后来的OverlayFS、BTRFS和device mapper。为了获得最佳的I/O性能，我们需要使用Docker的 数据卷 。数据卷位于Docker容器之外，因此也绕开了分层文件系统。有两个主要的数据卷类型：主机目录和仅存储数据的容器。

数据卷：主机目录

Screen-Shot-2015-02-01-at-17.45_.39_.png

一个主机目录数据卷是一个被挂载在原始容器的简单的目录。就像我们在 第一部分 中介绍的：在Docker主机中创建一个目录，然后使用它作为MongoDB的dbpath（容纳数据和分类文件）。例如： 
$ docker run -d -P -v ~/db:/data/db mongod --smallfiles

通过检查日志文件来确认MongoDB容器是否启动成功： 
$ docker ps

CONTAINER ID        IMAGE               COMMAND                CREATED             STATUS              PORTS                      NAMES

efca3b637a75        mongod:latest       "mongod --smallfiles   9 minutes ago       Up 9 minutes        0.0.0.0:49160->27017/tcp   prickly_sammet

$ docker logs efca3b637a75

2015-02-01T18:35:02.279+0000 [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=efca3b637a75

2015-02-01T18:35:02.279+0000 [initandlisten] db version v2.6.7

2015-02-01T18:35:02.279+0000 [initandlisten] git version: a7d57ad27c382de82e9cb93bf983a80fd9ac9899

2015-02-01T18:35:02.279+0000 [initandlisten] build info: Linux build7.nj1.10gen.cc 2.6.32-431.3.1.el6.x86_64 #1 SMP Fri Jan 3 21:39:27 UTC 2014 x86_64 BOOST_LIB_VERSION=1_49

2015-02-01T18:35:02.279+0000 [initandlisten] allocator: tcmalloc

2015-02-01T18:35:02.279+0000 [initandlisten] options: { storage: { smallFiles: true } }

2015-02-01T18:35:02.282+0000 [initandlisten] journal dir=/data/db/journal

2015-02-01T18:35:02.283+0000 [initandlisten] recover : no journal files present, no recovery needed

2015-02-01T18:35:02.454+0000 [initandlisten] allocating new ns file /data/db/local.ns, filling with zeroes...

2015-02-01T18:35:02.510+0000 [FileAllocator] allocating new datafile /data/db/local.0, filling with zeroes...

2015-02-01T18:35:02.510+0000 [FileAllocator] creating directory /data/db/_tmp

2015-02-01T18:35:02.513+0000 [FileAllocator] done allocating datafile /data/db/local.0, size: 16MB,  took 0.001 secs

2015-02-01T18:35:02.514+0000 [initandlisten] build index on: local.startup_log properties: { v: 1, key: { _id: 1 }, name: "_id_", ns: "local.startup_log" }

2015-02-01T18:35:02.514+0000 [initandlisten]  added index to empty collection

2015-02-01T18:35:02.514+0000 [initandlisten] waiting for connections on port 27017

2015-02-01T18:36:02.481+0000 [clientcursormon] mem (MB) res:36 virt:246

2015-02-01T18:36:02.481+0000 [clientcursormon]  mapped (incl journal view):64

2015-02-01T18:36:02.481+0000 [clientcursormon]  connections:0

2015-02-01T18:41:02.571+0000 [clientcursormon] mem (MB) res:36 virt:246

2015-02-01T18:41:02.571+0000 [clientcursormon]  mapped (incl journal view):64

2015-02-01T18:41:02.571+0000 [clientcursormon]  connections:0

确保数据文件已经在指定的主机目录~/db中创建。 
$ ls -l ~/db

total 32776

drwxr-xr-x. 2 root root       17 Feb  1 18:35 journal

-rw-------. 1 root root 16777216 Feb  1 18:35 local.0

-rw-------. 1 root root 16777216 Feb  1 18:35 local.ns

-rwxr-xr-x. 1 root root        2 Feb  1 18:35 mongod.lock

drwxr-xr-x. 2 root root        6 Feb  1 18:35 _tmp

快速衡量（Quick benchmarking）

主机目录数据卷比默认的分层文件系统快了多少？这当然依赖于你的环境，当然，本文也不会过多介绍性能测试的东西。但是，这里有一个快速的方法就是使用 mongoperf 来测试。 
# mongoperf process on latest CentOS
# See https://docs.docker.com/articles/dockerfile_best-practices/
FROM centos
MAINTAINER James Tan<james.tan@mongodb.com>
COPY mongodb.repo/etc/yum.repos.d/
RUN yum install-ymongodb-org-tools
WORKDIR/tmp
ENTRYPOINT["mongoperf"]

这里我们使用与第一部分中案例相同的mongodb.repo，为了方便这里再做一次： 
[mongodb]

name=MongoDB Repository

baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/

gpgcheck=0

enabled=1

使用在你当前的目录如上的两个文件，构建将要运行的镜像： 
$ docker build -t mongoperf .

现在衡量分层的根目录文件系统，通过运行： 
$ echo "{nThreads:32,fileSizeMB:1000,r:true,w:true}" | docker run -i --sig-proxy=false mongoperf

你应该看到相似的输出如下： 
mongoperf

use -h for help

parsed options:

{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

creating test file size:1000MB ...

testing...

optoins:{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

wthr 32

new thread, total running : 1

read:1 write:1

877 ops/sec 3 MB/sec

928 ops/sec 3 MB/sec

920 ops/sec 3 MB/sec

...

new thread, total running : 2

read:1 write:1

1211 ops/sec 4 MB/sec

1158 ops/sec 4 MB/sec

1172 ops/sec 4 MB/sec

...

new thread, total running : 4

read:1 write:1

read:1 write:1

1194 ops/sec 4 MB/sec

1163 ops/sec 4 MB/sec

1162 ops/sec 4 MB/sec

...

new thread, total running : 8

read:1 write:1

...

1112 ops/sec 4 MB/sec

1161 ops/sec 4 MB/sec

1174 ops/sec 4 MB/sec

...

new thread, total running : 16

read:1 write:1

...

1156 ops/sec 4 MB/sec

1178 ops/sec 4 MB/sec

1160 ops/sec 4 MB/sec

...

new thread, total running : 32

read:1 write:1

...

1244 ops/sec 4 MB/sec

1205 ops/sec 4 MB/sec

1211 ops/sec 4 MB/sec

...

mongoperf 将一直运行，你可以通过Ctrl+C退出终端。容器将一直运行在后台，因此让我们结束它。 
$ docker ps

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

c1366d08b543        mongoperf:latest    "mongoperf"         4 minutes ago       Up 3 minutes                            boring_kirch

$ docker rm -f c1366d08b543

c1366d08b543

现在再运行下主机目录数据卷： 
$ mkdir ~/tmp

$ echo "{nThreads:32,fileSizeMB:1000,r:true,w:true}" | docker run -i --sig-proxy=false -v ~/tmp:/tmp mongoperf

从我们设置开始，这就有相同的输出： 
mongoperf

use -h for help

parsed options:

{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

creating test file size:1000MB ...

testing...

optoins:{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

wthr 32

new thread, total running : 1

read:1 write:1

1273 ops/sec 4 MB/sec

1242 ops/sec 4 MB/sec

1178 ops/sec 4 MB/sec

...

new thread, total running : 2

read:1 write:1

2437 ops/sec 9 MB/sec

2702 ops/sec 10 MB/sec

2546 ops/sec 9 MB/sec

...

new thread, total running : 4

read:1 write:1

read:1 write:1

2575 ops/sec 10 MB/sec

2465 ops/sec 9 MB/sec

2558 ops/sec 9 MB/sec

...

new thread, total running : 8

read:1 write:1

...

2471 ops/sec 9 MB/sec

3081 ops/sec 12 MB/sec

3027 ops/sec 11 MB/sec

...

new thread, total running : 16

read:1 write:1

...

3031 ops/sec 11 MB/sec

3376 ops/sec 13 MB/sec

3384 ops/sec 13 MB/sec

...

new thread, total running : 32

read:1 write:1

...

3272 ops/sec 12 MB/sec

3196 ops/sec 12 MB/sec

3385 ops/sec 13 MB/sec

...

停止并移除之前的容器。

具有32个并行读写线程结果最后一组比较，我们看到在操作每秒数量提高180%，从1211到3385 ops/s。还有的吞吐量增加了225%，从4到13 MB/s。

容器可移植性

虽然上面的方式中性能得到了提升，但这并不利于容器的迁移，因为现在我们的Docker容器需要依赖外部的Docker主机上的目录，而这个目录却没有通过Docker来管理，所以我们不能简单的运行或者迁移它。最好的解决方案就是使用data-only容器，接下来，我们将详述。

数据卷：仅有数据的容器

Screen-Shot-2015-02-01-at-17.47_.40_.png

仅有数据（data-only）的容器是推荐的Docker数据存储模式，它可以解耦对主机的依赖。

为了创建数据容器来作为衡量标准，我们重新使用已经存在的 mongoperf 镜像： 
$ docker create -v /tmp --name mongoperf-data mongoperf

7d476bb9d3ca0cf282e2d3b9cf54e18d7bbe9b561be5d34646947032b64b4b9c

使用数据容器，重新运行测试标准，使用 --volume-from mongoperf-data 参数。 
$ echo "{nThreads:32,fileSizeMB:1000,r:true,w:true}" | docker run -i --sig-proxy=false --volumes-from mongoperf-data mongoperf

这个过程如下面的输出： 
mongoperf

use -h for help

parsed options:

{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

creating test file size:1000MB ...

testing...

optoins:{ nThreads: 32, fileSizeMB: 1000, r: true, w: true }

wthr 32

new thread, total running : 1

read:1 write:1

1153 ops/sec 4 MB/sec

1146 ops/sec 4 MB/sec

1151 ops/sec 4 MB/sec

...

new thread, total running : 2

read:1 write:1

1857 ops/sec 7 MB/sec

2489 ops/sec 9 MB/sec

2459 ops/sec 9 MB/sec

...

new thread, total running : 4

read:1 write:1

read:1 write:1

2518 ops/sec 9 MB/sec

2477 ops/sec 9 MB/sec

2451 ops/sec 9 MB/sec

...

new thread, total running : 8

read:1 write:1

...

2812 ops/sec 10 MB/sec

2837 ops/sec 11 MB/sec

2793 ops/sec 10 MB/sec

...

ew thread, total running : 16

read:1 write:1

...

3111 ops/sec 12 MB/sec

3319 ops/sec 12 MB/sec

3263 ops/sec 12 MB/sec

...

new thread, total running : 32

read:1 write:1

...

2919 ops/sec 11 MB/sec

3274 ops/sec 12 MB/sec

3306 ops/sec 12 MB/sec

...

性能方面它和主机目录数据卷方式一致。即使引用容器被移除了，仅仅包含数据的容器依然存在。我们继续运行查看： 
$ docker ps -a

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

7d476bb9d3ca        mongoperf:latest    "mongoperf"         9 minutes ago mongoperf-data

结束

回顾一下我们的 mongod 容器，我们现在使用data-only容器来存储数据以获得更好的性能。 
$ docker create -v /data/db --name mongod-data mongod

$ docker run -d -P --volumes-from mongod-data mongod --smallfiles

记住，你可以通过运行 docker ps 看到映射的本地端口值。例如： 
$ docker ps

CONTAINER ID        IMAGE               COMMAND                CREATED             STATUS              PORTS                      NAMES

08245e631171        mongod:latest       "mongod --smallfiles   40 seconds ago      Up 39 seconds       0.0.0.0:49165->27017/tcp   gloomy_meitner

$ mongo --port 49165

MongoDB shell version: 2.6.7

connecting to: 127.0.0.1:49165/test

>

数据卷将最终成为Docker里的 头等公民 。同时，考虑使用社区工具，像 docker-volume 来更加轻松的管理他们。

接下来

在接下来的部分，我们将研究各种各样的Docker网络参数，并细说哪种更适合多主机的MongoDB副本集。敬请期待！

原文链接：MONGODB & DOCKER – PART 2（翻译：刘红 校对：李颖杰）

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
译者介绍
刘红，才毕业的本科小生，平时喜欢业余学习一些自己感兴趣的技术或者框架，目前正在学习Docker，也在着手翻译Docker官方文档，如果对翻译Docker官方文档感兴趣的朋友可以联系译者哟。

原文发布时间为：2015-03-22
本文作者：刚百
本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。
原文标题：Docker&MongoDB实战（二）性能与容错
上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/224732

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何定制 Calico 的 IP 池？- 每天5分钟玩转 Docker 容器技术（71）

在前面的小节中，我们没有特别配置，calico 会为自动为网络分配 subnet，当然我们也可以定制。 首先定义一个 IP Pool，比如： cat << EOF | calicoctl create -f - - apiVersion: v1 kind: ipPool metadata: cidr: 17.2.0.0/16 EOF 用此 IP Pool 创建 calico 网络。 docker network create --driver calico --ipam-driver calico-ipam --subnet=17.2.0.0/16 my_net 此时运行容器将分配到指定 subnet 中的 IP。 当然也可以通过--ip为容器指定 IP，但必须在 subnet 范围之内。 至此，我们已经讨论了 Docker 的多种跨主机网络方案，下一节将从多个维度比较各种方案的优缺点。
2017-09-22
576
上一篇

为什么我们不允许非root用户在CentOS、Fedora和RHEL上直接运行Docker命令

本文讲的是为什么我们不允许非root用户在CentOS、Fedora和RHEL上直接运行Docker命令， 【编者的话】容器技术最大的弱点是安全性不足，Docker也不例外。因此，如何加强Docker的安全性是每一个Docker用户必须慎重考虑的问题。这篇文章介绍了不用sudo而直接运行Docker命令所存在的安全漏洞，并强烈建议通过设置sudo规则作为暂时的解决方法。 我经常会收到用户反馈的Bug，他们问我们『为什么默认情况下不能使用非root用户直接运行Docker命令』。 Docker能够将 /run/docker.socket 的文件访问权限设为660，并将其所属的用户组设为 docker 。 这使得非root用户只要加入 docker 用户组，就无需使用 sudo ，或者通过 su 命令切换到root用户的情况下运行Docker命令。这听起来很不错。 ls-l/var/run/docker.sock srw-rw----.1rootdocker0Aug313:02/var/run/docker.sock 但是，在RHEL、Fedora和CentOS上，我们更喜欢将 doker...
2017-09-22
655
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Jdk25 Service Mesh Gemini3 Nacos3 Docker SpringCloud Kubernetes Rocky DeepSeek HarmonyOS6 SpringBoot4 Redis OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册