MongoDB集群解决方案-分片技术-低调大师

MongoDB集群解决方案-分片技术

2016-10-01 510

MongoDB，NoSQL技术的实现，基于分布式文件存储的数据库，由C++语言编写。主要是解决海量数据的访问效率问题，为web应用提供可扩展的高性能数据库存储解决方案

MongoDB集群的实现方式：

1、Replica Set：也叫作副本集，简单来说就是集群中的服务器包含了多分数据，保证主节点挂掉了。备节点能够继续的提供服务，但是提供的前提就是数据必须要和主节点的一致，如下图：

MongoDB（M）表示主节点，MongoDB（S）表示从节点，MongoDB（A）表示仲裁节点；

M节点存储数据并提供所有的增擅长服务，S节点默认不提供服务，但是可以通过设置使备节点提供查询服务，这样可以减少主节点的压力。A节点是一个特殊的节点，不提供任何服务，只是起一个选举的作用，当有主节点宕机时，可通过A节点来选取出那个S节点来提升为主节点。

2、Master-Slave：类似于MySQL的主从模式，配置很简单，这里我就不多说了

3、Sharding：和Replica Set类似，也需要一个仲裁节点，但是Sharding还需要配置服务器和路由节点，如下图：

MongoDB（R）为路由节点（mongos），数据库集群请求的入口，所有的请求都通过mongos进行协调，它就是一个请求分发器，他负责把对应的数据请求转发到对应的shard服务器上。

MongoDB（C1）为配置服务器，存储了集群的元信息，元信息保存了集群的状态和组织结构，元信息包含每个分片保存的数据块信息以及每个数据块的范围，mongos会缓存这个信息用来做读写的路由分发！

本文主要是实现第三种Sharding方式，架构部署图如下

部署环境：

主机名	IP
node1	192.168.1.109
node2	192.168.1.107
node3	192.168.1.110

一、规划每个服务对应的端口

config server：11000
路由：10000
shard：10001
shard：10002
shard：10003

二、在node1、node2、node3上创建相应的目录（以下操作均在mongodb用户下执行）

[root@node1 ~]# cat /etc/passwd | grep mongodb
mongodb:x:10001:10001::/data/mongodb:/bin/bash
[root@node1 ~]# su - mongodb
[mongodb@node1 ~]$ pwd
/data/mongodb
[mongodb@node1 ~]$ mkdir -p config/{data,log}   ##config server的数据、日志路径
[mongodb@node1 ~]$ mkdir -p mongos/log          ##路由的日志路径
[mongodb@node1 ~]$ mkdir -p shard1/{data,log}   ##副本集1的数据、日志路径
[mongodb@node1 ~]$ mkdir -p shard2/{data,log}
[mongodb@node1 ~]$ mkdir -p shard3/{data,log}
[mongodb@node1 ~]$ tar -xf mongodb-linux-x86_64-rhel62-3.2.7.tgz   ##这里用的是3.2.7的版本，目前官网最新是3.2.9
[mongodb@node1 ~]$ ll
drwxr-xr-x 4 mongodb dev     4096 Sep 30 20:50 config
drwxr-xr-x 3 mongodb dev     4096 Sep 30 20:55 mongodb-linux-x86_64-rhel62-3.2.7
-rw-r--r-- 1 mongodb dev 74938432 Sep 30 20:40 mongodb-linux-x86_64-rhel62-3.2.7.tgz
drwxr-xr-x 3 mongodb dev     4096 Sep 30 20:50 mongos
drwxr-xr-x 4 mongodb dev     4096 Sep 30 20:50 shard1
drwxr-xr-x 4 mongodb dev     4096 Sep 30 20:51 shard2
drwxr-xr-x 4 mongodb dev     4096 Sep 30 20:51 shard3
###node2、node3亦是如此

三、启动node1、node2、node3的配置服务器

[mongodb@node1 bin]$ pwd     
/data/mongodb/mongodb-linux-x86_64-rhel62-3.2.7/bin
[mongodb@node1 bin]$ ./mongod --configsvr --port 11000 --dbpath /data/mongodb/config/data/ --logpath /data/mongodb/config/log/config.log --fork   ##"--fork"在后台运行，在node1上执行
[mongodb@node2 bin]$ ./mongod --configsvr --port 11000 --dbpath /data/mongodb/config/data/ --logpath /data/mongodb/config/log/config.log --fork   ##在node2上执行
[mongodb@node3 bin]$ ./mongod --configsvr --port 11000 --dbpath /data/mongodb/config/data/ --logpath /data/mongodb/config/log/config.log --fork   ##在node3上执行

四、启动node1、node2、node3的路由

[mongodb@node1 bin]$ ./mongos --configdb 192.168.1.109:11000,192.168.1.107:11000,192.168.1.110:11000 --port 10000 --logpath /data/mongodb/mongos/log/mongos.log --fork   ##node1启动路由
[mongodb@node2 bin]$ ./mongos --configdb 192.168.1.109:11000,192.168.1.107:11000,192.168.1.110:11000 --port 10000 --logpath /data/mongodb/mongos/log/mongos.log --fork   ##node2启动路由
[mongodb@node3 bin]$ ./mongos --configdb 192.168.1.109:11000,192.168.1.107:11000,192.168.1.110:11000 --port 10000 --logpath /data/mongodb/mongos/log/mongos.log --fork   ##node3启动路由

五、在node1、node2、node3上设置shard并启动

./mongod --shardsvr --replSet shard1 --port 11001 --dbpath /data/mongodb/shard1/data --logpath /data/mongodb/shard1/log/shard1.log --fork  --oplogSize 10240 --logappend   ##设置shard1
./mongod --shardsvr --replSet shard2 --port 11002 --dbpath /data/mongodb/shard2/data --logpath /data/mongodb/shard2/log/shard2.log --fork  --oplogSize 10240 --logappend   ##设置shard2
./mongod --shardsvr --replSet shard3 --port 11003 --dbpath /data/mongodb/shard3/data --logpath /data/mongodb/shard3/log/shard3.log --fork  --oplogSize 10240 --logappend   ##设置shard3
###node2、node3操作亦是如此

六、登录任意一台机器，在相应的端口对shard进行配置

1、对shard1进行配置

[mongodb@node1 bin]$ ./mongo --port 11001   ##连接至副本集shard1
> use admin 
> config  = {_id:"shard1",members:[{_id:0,host:"192.168.1.109:11001"},{_id:1,host:"192.168.1.107:11001"},{_id:2,host:"192.168.1.110:11001",arbiterOnly:true}]}    ##"arbiterOnly"设定谁为仲裁节点
> rs.initiate(config);   ##对shard1进行初始化

2、对shard2进行配置

[mongodb@node1 bin]$ ./mongo --port 11002   ##连接至副本集shard2
> use admin
> config2 = {_id:"shard2",members:[{_id:0,host:"192.168.1.109:11002"},{_id:1,host:"192.168.1.107:11002",arbiterOnly:true},{_id:2,host:"192.168.1.110:11002"}]}
> rs.initiate(config2);   ##对shard2进行初始化

3、对shard3进行配置

[mongodb@node2 bin]$ ./mongo --port 11003   ##连接至副本集shard3
> use admin
> config3 = {_id:"shard3",members:[{_id:0,host:"192.168.1.109:11003",arbiterOnly:true},{_id:1,host:"192.168.1.107:11003"},{_id:2,host:"192.168.1.110:11003"}]}
> rs.initiate(config3);   ##对shard3进行初始化

###注意：本机配置shard时，不能把本机设置为"arbiter"，否则会报错，必须要去其他节点设置。
###在配置shard1、shard2时都是在node1上配置的，因为仲裁节点分别是node3、node2。当node1为仲裁节点时，必须
要去node2或者是node3上去配置

七、配置好副本集后，还需要将路由与副本集串联起来，因为所有的请求都是经过路由，随后再到配置服务器的

[mongodb@node1 bin]$ ./mongo --port 10000   ##连接至mongos
mongos> use admin
mongos> db.runCommand({addshard:"shard1/192.168.1.109:11001,192.168.1.107:11001,192.168.1.110:11001"});   ##将路由和副本集shard1串联起来
{ "shardAdded" : "shard1", "ok" : 1 }
mongos> db.runCommand({addshard:"shard2/192.168.1.109:11002,192.168.1.107:11002,192.168.1.110:11002"});   ##将路由和副本集shard2串联起来
{ "shardAdded" : "shard2", "ok" : 1 }
mongos> db.runCommand({addshard:"shard3/192.168.1.109:11003,192.168.1.107:11003,192.168.1.110:11003"});   ##将路由和副本集shard1串联起来  
{ "shardAdded" : "shard3", "ok" : 1 }

八、检测配置是否成

1、连接至mongos查看sh

[mongodb@node1 bin]$ ./mongo --port 10000
mongos> use amdin
mongos> sh.status()
    shards:
    {  "_id" : "shard1",  "host" : "shard1/192.168.1.107:11001,192.168.1.109:11001" }
    {  "_id" : "shard2",  "host" : "shard2/192.168.1.109:11002,192.168.1.110:11002" }
    {  "_id" : "shard3",  "host" : "shard3/192.168.1.107:11003,192.168.1.110:11003" }

2、连接至各个shard的端口查看rs

[mongodb@node1 bin]$ ./mongo --port 11001
shard1:PRIMARY> rs.status()
    "name" : "192.168.1.109:11001",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
    "name" : "192.168.1.107:11001",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
    "name" : "192.168.1.110:11001",
            "health" : 1,
            "state" : 7,
            "stateStr" : "ARBITER",

##其他节点查看方式相同

九、插入数据，测试数据能否进行自动分片

[mongodb@node1 bin]$ ./mongo --port 10000
mongos> use admin
mongos> db.runCommand( { enablesharding :"testdb"});  ##创建数据库，指定数据库"testdb"进行分片生效
{ "ok" : 1 }
mongos> db.runCommand({shardcollection:"testdb.table1",key:{apId:1,_id:1}})  ##MongoDB具有很多片键，此处创建ID片键，指定"testdb"数据库中的"table1"表中的数据通过ID片键进行分片
{ "collectionsharded" : "testdb.table1", "ok" : 1 }
mongos> use testdb;
switched to db testdb
mongos> for(var i=1;i<100000;i++)db.table1.save({id:i,"test1":"testval1"});   ##在"testdb"中的表"table1"中插入10w个id

[mongodb@node2 bin]$ ./mongo --port 11003   ##node2上连接至shard3
shard3:PRIMARY> use testdb
switched to db testdb
shard3:PRIMARY> db.table1.find()
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1ce"), "id" : 1, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1cf"), "id" : 2, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d1"), "id" : 4, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d2"), "id" : 5, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d6"), "id" : 9, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d9"), "id" : 12, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1db"), "id" : 14, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1dd"), "id" : 16, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1de"), "id" : 17, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1e0"), "id" : 19, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1e3"), "id" : 22, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1e4"), "id" : 23, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1e5"), "id" : 24, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1e8"), "id" : 27, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1ea"), "id" : 29, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1eb"), "id" : 30, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1ee"), "id" : 33, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1ef"), "id" : 34, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1f2"), "id" : 37, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1f4"), "id" : 39, "test1" : "testval1" }
 
[mongodb@node3 bin]$ ./mongo --port 11002    ##node3上连接至shard2
shard2:PRIMARY> use testdb
switched to db testdb
shard2:PRIMARY> db.table1.find()
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d4"), "id" : 7, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1d8"), "id" : 11, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1da"), "id" : 13, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1df"), "id" : 18, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2e4eec2b8ef67ad1e2"), "id" : 21, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1e9"), "id" : 28, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1f0"), "id" : 35, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1fa"), "id" : 45, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1fc"), "id" : 47, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad1fe"), "id" : 49, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad200"), "id" : 51, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad202"), "id" : 53, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad203"), "id" : 54, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad206"), "id" : 57, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad208"), "id" : 59, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad204"), "id" : 55, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad209"), "id" : 60, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad20c"), "id" : 63, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad20f"), "id" : 66, "test1" : "testval1" }
{ "_id" : ObjectId("57ef6d2f4eec2b8ef67ad210"), "id" : 67, "test1" : "testval1" }

###node1上查看方式亦是如此
###注意：查看数据，只能在主节点上进行

问题小结：

1、集群中的每台服务器时间必须要保持一致，否则启动mongos会出现"Error Number 5"

2、在配置Replica Set时，只能指明三个节点，官网明确指出。

3、在部署集群时，如果不想设置"arbitrate“，可以通过设定副本集中的优先级"priority"来定义主备备4、

微信关注我们

原文链接：https://blog.51cto.com/wangtianci/1858287

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Heartbeat+Haproxy实现负载均衡高可用

环境说明：主机名角色 IP地址 mylinux1.contoso.com heartbeat+haproxy eth0:192.168.100.121eth1:172.16.100.121 mylinux2.contoso.com heartbeat+haproxy eth0:192.168.100.122eth1:172.16.100.122 mylinux3.contoso.com web server 1 eth0:192.168.100.181 mylinux4.contoso.com web server 2 eth0:192.168.100.182 一、环境准备在mylinux1和mylinux2上安装heartbeat，可以手动安装，当然也可以使用前面发布的一篇heartbeat脚本的博文，里面有heartbeat快速安装脚本。然后在mylinux2上安装haproxy，并将mylinux1上的haproxy配置文件和启停脚本都拷贝到mylinux2上。要保证mylinux1和mylinux2的heartbeat+haproxy环境一致。 [root@mylin...

2016-10-01

705

1、关闭SELinux功能修改配置文件（永久生效） [root@alon~]#sed-i's#SELINUX=enforcing#SELINUX=disabled#'/etc/selinux/config ##用sed命令修改SELinux的状态 [root@alon~]#grepSELINUX=disable/etc/selinux/config##检查是否修改成功 SELINUX=disabled 临时关闭SELinux（临时生效） [root@alon~]#setenforce0##[Enforcing|Permissive|1|0] ##数字0表示Permissive，只给出警示，相当于disable ##数字1表示Enforcing，表示开启状态 [root@alon~]#getenforce##获取当前SELinux的状态 Permissive 修改SELinux状态过后，如果要使其立即生效，必须重启系统。 2、设定运行级别为3(文本模式) [root@alon~]#grep3:initdefault/etc/inittab##表示已经是文本模式 id:3:initdef...

2016-10-01

786

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。