在Kubernetes上扩展MongoDB，这样可以吗？-低调大师

在Kubernetes上扩展MongoDB，这样可以吗？

2018-12-13 526

Kubernetes主要用于无状态应用程序。但是，在1.3版本中引入了PetSets，之后它们演变为StatefulSets。官方文档将StatefulSets描述为“StatefulSets旨在与有状态应用程序和分布式系统一起使用”。

对此最好的用例之一是对数据存储服务进行编排，例如MongoDB，ElasticSearch，Redis，ZooKeeper等。

我们可以把StatefulSets的特性归纳如下：

有序索引Pod

稳定的网络ID

有序并行的Pod管理

滚动更新

这些细节可以在这里[1]找到。

StatefulSets的一个非常明显的特征是提供稳定网络ID，与Headless Services[2]一起使用时，功能可以更加强大。

我们在Kubernetes文档中随时可以查看的信息上不会花费很多时间，让我们专注于运行和扩展MongoDB集群。

你需要一个可以运行的Kubernetes群集并启用RBAC（推荐）。在本教程中，我将使用GKE集群，但是，AWS EKS或Microsoft的AKS或Kops管理的Kubernetes也是可行的替代方案。

我们将为MongoDB集群部署以下组件：

配置HostVM的Daemon Set

Mongo Pod的Service Account和ClusterRole Binding

为Pod提供永久性存储SSDs的Storage Class

访问Mongo容器的Headless Service

Mongo Pods Stateful Set

GCP Internal LB：从Kubernetes集群外部访问MongoDB（可选）

使用Ingress访问Pod（可选）

值得注意的是，每个MongoDB Pod都会运行一个Sidecar，以便动态配置副本集。Sidecar每5秒检查一次新成员。

Daemon Set for HostVM Configuration

kind: DaemonSet
apiVersion: extensions/v1beta1
metadata:
  name: hostvm-configurer
  labels:
    app:
 startup-script
spec:  template:
    metadata:
      labels:
        app:startup-script
    spec:
      hostPID: true
      containers: 
     - name: hostvm-configurer-container
        image: 
gcr.io/google-containers/startup-script:v1
        securityContext:
          privileged: true      
 env:        - name:
 STARTUP_SCRIPT
          value: |            
#! /bin/bash            
set -
o errexit           
set -
o pipefail            
set -
o nounset            
# Disable hugepages
            echo 'never' >/sys/kernel/mm/transparent_hugepage/enabled
            echo 'never' > /sys/kernel/mm/transparent_hugepage/defrag

Configuration for ServiceAccount, Storage Class, Headless SVC and StatefulSet

apiVersion:
 v1
kind:
Namespace
metadata:
  name:
 mongo 
---
apiVersion:
 v1
kind: 
ServiceAccount
metadata:
  name:
 mongo  
namespace:
 mongo
--
apiVersion:
 rbac.
authorization.
k8s.
io/
v1beta1
kind:ClusterRoleBinding
metadata:
  name:mongosubjects:  -
 kind: 
ServiceAccount
    name: mongo  
namespace:
 mongo
roleRef:
  kind: ClusterRole
  name:
 cluster-admin
  apiGroup:
 rbac.
authorization.
k8s.
io
---
apiVersion:
 storage.k8s.io/v1beta1
kind:
StorageClass
metadata:
  name:
 fast
provisioner:
 kubernetes.
io/gce-pd
parameters:
  type: pd-ssd  fsType:
 xfs
allowVolumeExpansion: true
---
apiVersion: v1
kind: Service
metadata:
 name:
 mongo
namespace: mongo
 labels:
   name: mongo
spec:
 ports:- port: 27017
   targetPort: 27017
 clusterIP: None
 selector:
   role:
 mongo
---
apiVersion:
 apps/v1beta1
kind: 
StatefulSet
metadata:
  name:
 mongo  
namespace:
 mongo
spec:
  serviceName:
 mongo
  replicas: 
3  
template:
    metadata:
      labels:
        role:
 mongo
        environment:
 staging
        replicaset: 
MainRepSet
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:          -weight:100
            podAffinityTerm:
              labelSelector:
                matchExpressions:               -
 key:
 replicaset              
operator: 
In
                  values:                 -MainRepSet
              topologyKey:
 kubernetes.io/hostname
      terminationGracePeriodSeconds:10
      serviceAccountName:
 mongo
      containers:       -
 name:
 mongo
          image: mongo         command:           - mongo           -"--wiredTigerCacheSizeGB"            
- 
"0.25"            - 
"--bind_ip"            -
"0.0.0.0"          - 
"--replSet"            - MainRepSet         - "--smallfiles"           - "--noprealloc"
          ports:            - containerPort:
27017
          volumeMounts:            -
 name:
 mongo-persistent-storage             mountPath: /data/
db
          resources:
            requests:
              cpu:1
              memory:2Gi       -
 name: mongo-sidecar
          image: cvallance/mongo-k8s-sidecar
          env:           -
 name:
 MONGO_SIDECAR_POD_LABELS
              value:
"role=mongo,environment=staging"            -
 name:
 KUBE_NAMESPACE
              value: 
"mongo"           -
 name: KUBERNETES_MONGO_SERVICE_NAME
              value: 
"mongo"
  volumeClaimTemplates:  -
 metadata:
      name:
 mongo-persistent-storage
      annotations:
        volume.beta.kubernetes.io/storage-
class:"fast"    spec:
      accessModes: ["ReadWriteOnce" ]
      storageClassName
:
 fast
      resources:
        requests:
         storage:
10Gi

关键点：

应该使用适当的环境变量仔细配置Mongo的Sidecar，以及为Pod提供的标签，和为deployment和service的命名空间。有关Sidecar容器的详细信息，请点击此处[3]。

默认缓存大小的指导值是：“50％的RAM减去1GB，或256MB”。鉴于所请求的内存量为2GB，此处的WiredTiger缓存大小已设置为256MB。

Inter-Pod Anti-Affinity确保在同一个工作节点上不会安排2个Mongo Pod，从而使其能够适应节点故障。此外，建议将节点保留在不同的可用区中，以便集群能够抵御区域故障。
当前部署的Service Account具有管理员权限。但是，它应该仅限于DB的命名空间。
上面提到的两个配置文件也可以在这里[4]找到。

部署MongoDB集群

kubectl apply -f configure-node.yml
kubectl apply -f mongo.yml

你可以通过以下命令查看所有组件状况：

root$ kubectl -n mongo get all
NAME                 DESIRED   CURRENT   AGE
statefulsets/mongo   3        3       3m
NAME         READY     STATUS    RESTARTS   AGE
po/mongo-0   2/2       Running  0         3m
po/mongo-1  2/2       Running  0        2m
po/mongo-2   2/2       Running   0         1m
NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S     AGE
svc/mongo   ClusterIP   None        <none>        27017/TCP   3m

如你所见，该服务没有Cluster-IP，也没有External-IP，它是Headless服务。此服务将直接解析为StatefulSets的Pod-IP。

让我们来验证一下DNS解析。我们在集群中启动了一个交互式shell：

kubectl run my-shell --rm -i --tty --image ubuntu -- bash
root@my-shell-68974bb7f7-cs4l9:/# dig mongo.mongo +search +noall +answer
; <<>>DiG9.11.3-1ubuntu1.1-Ubuntu <<>> mongo.mongo +search +noall +answer;; global options:+cmd

mongo.mongo.svc.cluster.local.30 IN A 10.56.7.10
mongo.mongo.svc.cluster.local30 IN A 10.56.8.11
mongo.mongo.svc.cluster.local. 30 IN A 10.56.1.4

服务的DNS规则是<服务名称>.<服务的命名空间>，因此，在我们的例子中看到的是mongo.mongo。

IPs（10.56.6.17,10.56.7.10,10.56.8.11）是我们的Mongo StatefulSets的Pod IPs。这可以通过在集群内部运行nslookup来测试。

root@my-shell-68974bb7f7-cs4l9:/# nslookup 10.56.6.17

17.6.56.10.in-addr.arpa name = mongo-0.mongo.mongo.svc.cluster.local.
root@my-shell-68974bb7f7-cs4l9:/# nslookup 10.56.7.1010.7.56.10.in-addr.arpa name = mongo-1.mongo.
mongo.svc.cluster.local.
root@my-shell-68974bb7f7-cs4l9:/# nslookup 10.56.8.1111.8.
56.10.in-addr.arpa name = mongo-2.mongo.mongo.svc.cluster.local.

如果你的应用程序部署在Kubernetes的群集中，那么它可以通过以下方式访问节点：

Node-0: mongo-0.mongo.
mongo
.
svc
.
cluster
.
local
:
27017
Node
-
1
:
 mongo
-
1.mongo
.
mongo
.
svc
.
cluster
.
local
:
27017
Node
-
2
:
 mongo
-
2.mongo
.
mongo
.
svc
.
cluster
.
local
:
27017

如果要从集群外部访问Mongo节点，你可以为每个Pod部署内部负载平衡或使用Ingress Controller（如NGINX或Traefik）创建一个内部Ingress。
GCP Internal LB SVC Configuration（可选）

apiVersion
:
 v1
kind
: 
Service
metadata
:
  annotations
:
    cloud
.
google
.
com
/
load
-
balancer
-
type
: 
Internal
  name
:
 mongo
-
0  
namespace
:
 mongo
spec
:
  ports
:  
-
      port
:

27017
      targetPort
:
27017

  selector
:

    statefulset
.
kubernetes
.
io
/
pod
-
name
:
 mongo
-
0
  type
: 
LoadBalancer

为mongo-1和mongo-2也部署2个此类服务。

你可以将内部负载均衡的IP提供给MongoClient URI。

root$ kubectl 
-
n mongo 
get
 svc

NAME      TYPE           CLUSTER
-
IP      EXTERNAL
-
IP   PORT
(
S
)
           AGE
mongo     
ClusterIP      
None
            
<none>
        
27017
/
TCP         
15m

mongo
-
0   
LoadBalancer
   
10.59
.
252.157
10.20
.
20.2
    
27017
:
30184
/
TCP   
9m

mongo
-
1   
LoadBalancer
   
10.59
.
252.235
 
10.20
.
20.3
    
27017
:
30343
/
TCP   
9m

mongo
-
2   
LoadBalancer  
10.59.254.199   
10.20.20.4
    
27017:31298/
TCP   
9m

mongo-0/1/2的外部IP是新创建的TCP负载均衡器的IP。这些是您的子网或对等网络，如果有的话。

通过Ingress访问Pod（可选）

也可以使用诸如Nginx之类的Ingress Controller来定向到Mongo StatefulSets的流量。确保Ingress服务是内部服务，而不是通过PublicIP公开。 Ingress对象的配置看起来像这样：

...
spec:
  rules:- host:
 mongo.example.com
    http:      paths:    - path:'/mongo-0'
        backend:
          hostNames:         - mongo-0
          serviceName:
 mongo 
# There is no extra service. This is the headless service.
          servicePort:
'27017'

请务必注意，您的应用程序至少应该知道一个当前处于启动状态的Mongo节点，这样可以发现所有其他节点。

我在本地mac上使用Robo 3T作为mongo客户端。连接到其中一个节点后并运行rs.status()，您可以查看副本集的详细信息，并检查是否已配置其他2个Pod并自动连接到副本集。

rs.status()查看副本集名称和成员个数

每个成员都可以看到FQDN和状态。此FQDN只能从群集内部访问。

每个secondary成员正在同步到mongo-0，mongo-0是当前的primary。

现在我们扩展mongo Pods的Stateful Set以检查新的Mongo容器是否被添加到ReplicaSet。


root$ kubectl 
-
n mongo scale statefulsets mongo 
--
replicas
=
4

statefulset 
"mongo"
 scaled

root$ kubectl 
-
n mongo 
get
 pods 
-
o wide

NAME      READY     STATUS    RESTARTS   AGE       IP           NODE
mongo
-
0   
2
/
2       
Running   
0          
25m       
10.56
.
6.17
   gke
-
k8
-
demo
-
demo
-
k8
-
pool
-
1
-
45712bb7
-
vfqs

mongo
-
1
   
2
/
2       
Running   
0          
24m       
10.56.7.10
   gke
-
k8
-
demo
-
demo
-
k8
-
pool
-
1
-
c6901f2e
-
trv5

mongo
-
2
   
2
/
2
       
Running
   
0
          
23m
       
10.56.8.11
   gke
-
k8
-
demo
-
demo
-
k8
-
pool
-
1
-
c7622fba
-
qayt

mongo
-
3
   
2
/
2
       
Running
   
0
          
3m
        
10.56.1.4
    gke
-
k8
-
demo
-
demo
-
k8
-
pool
-
1
-
85308bb7
-
89a4

可以看出，所有四个Pod都部署到不同的GKE节点，因此我们的Pod-Anti Affinity策略工作正常。

扩展操作还将自动提供持久卷，该卷将充当新Pod的数据目录。


root$ kubectl 
-
n mongo 
get
 pvc

NAME                               STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE

mongo
-
persistent
-
storage
-
mongo
-
0
   
Bound
     pvc
-
337fb7d6
-
9f8f
-
11e8
-
bcd6
-
42010a940024
   
11G
        RWO            fast           
49m

mongo
-
persistent
-
storage
-
mongo
-
1
   
Bound
     pvc
-
53375e31
-
9f8f
-
11e8
-
bcd6
-
42010a940024
11G
        RWO            fast           
49m
mongo
-
persistent
-
storage
-
mongo
-
2
   
Bound
     pvc
-
6cee0f97
-
9f8f
-
11e8
-
bcd6
-
42010a940024
   
11G
        RWO            fast           
48m

mongo
-
persistent
-
storage
-
mongo
-
3
   
Bound
     pvc
-
3e89573f
-
9f92
-
11e8
-
bcd6
-
42010a940024
11G
   RWO            fast

要检查名为mongo-3的Pod是否已添加到副本集，我们将在同一节点上再次运行rs.status()并观察其差异。

对于同一个的Replicaset，成员数现在为4。

新添加的成员遵循与先前成员相同的FQDN方案，并且还与同一主节点同步。

进一步的考虑

给Mongo Pod的Node Pool打上合适的label并确保在StatefulSets和HostVM配置的DaemonSets的Spec中指定适当的Node Affinity会很有帮助。这是因为DaemonSet将调整主机操作系统的一些参数，并且这些设置应仅限于MongoDB Pod。没有这些设置，对其他应用程序可能会更好。

在GKE中给Node Pool打Label非常容易，可以直接从GCP控制台进行。

虽然我们在Pod的Spec中指定了CPU和内存限制，但我们也可以考虑部署VPA（Vertical Pod Autoscaler）。

可以通过实施网络策略或服务网格（如Istio）来控制从集群内部到我们的数据库的流量。

如果你已经看到这里，我相信你已经浏览了整个博文。我试图整理很多分散的信息并将其作为一个整体呈现。我的目标是为您提供足够的信息，以便开始使用Kubernetes上的Stateful Sets，并希望你们中的许多人觉得它很有用。我们非常欢迎您提出反馈、意见或建议。:)

原文发布时间为：2018-12-13
本文作者： kelvinji2009 译
本文来自云栖社区合作伙伴“ 数据和云”，了解相关信息可以关注“OraNews”微信公众号

微信关注我们

原文链接：https://yq.aliyun.com/articles/679351

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

python是如何进行内存管理的

Python引入了一个机制：引用计数。 python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。总结一下对象会在一下情况下引用计数加1： 1.对象被创建：x=4 2.另外的别人被创建：y=x 3.被作为参数传递给函数：foo(x) 4.作为容器对象的一个元素：a=[1,x,'33'] 引用计数减少情况 1.一个本地引用离开了它的作用域。比如上面的foo(x)函数结束时，x指向的对象引用减1。 2.对象的别名被显式的销毁：del x ；或者del y 3.对象的一个别名被赋值给其他对象：x=789 4.对象从一个窗口对象中移除：myList.remove(x) 5.窗口对象本身被销毁：del myList，或者窗口对象本身离开了作用域。在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227 -435- 450可以来了解一起进步一起学习！免费分享视频资料垃圾回收 1、当内存中有不再使用的部分时，垃圾收集器就会把他们...

2018-12-14

479

假如你日后的工作，需要快速实现MySQL的读写分离功能，你一定会想起这篇文章。如果你再次回到这里，证明你已经迫切需要一个简单快捷的解决方案了--那就是MySQL官方驱动层实现的读写分离，偏小众，但很有效。 JDBC驱动我们经常使用的MySQL驱动jar包，其实默认有非常棒的功能，那就是主从分离和HA。如果你只是需要一个主从分离、failover的功能，不要sharding。一个驱动就够了，不需要引入什么中间层。这个东西就是Replication协议。Mysql JDBC Connector在5.1.X版本之后增加了这些功能，以支持“multi-host”集群拓扑的访问范式。这个功能是在驱动层实现的，而既然是驱动层，那就不可避免有一些驱动层的问题（详见《“分库分表" ？选型和流程要慎重，否则会失控》。我们平常的jdbc连接是这样 jdbc:mysql://127.0.0.1:3306/test?characterEncoding=UTF-8 而经过协议改造后的jdbc连接，长得要长一些、大一些！ jdbc:mysql:replication://127.0.0.1:3306,127...

2018-12-14

608

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。