MongoDB副本集oplog设置过小问题-低调大师

MongoDB副本集oplog设置过小问题

2021-04-30 841

为了模拟这个故障，我们把副本集所有节点oplog都调到1GB，然后把一个副本开启延迟复制。

查看oplog大小

handong1:PRIMARY> db.getReplicationInfo()
{
    "logSizeMB" : 1000,
    "usedMB" : 1.41,
    "timeDiff" : 62833,
    "timeDiffHours" : 17.45,
    "tFirst" : "Thu Apr 29 2021 17:22:31 GMT+0800 (CST)",
    "tLast" : "Fri Apr 30 2021 10:49:44 GMT+0800 (CST)",
    "now" : "Fri Apr 30 2021 10:49:54 GMT+0800 (CST)"
}

可以看到oplog几乎没有数据。

查看副本集配置信息

handong1:PRIMARY> rs.conf()
{
    "_id" : "handong1",
    "version" : 44,
    "protocolVersion" : NumberLong(1),
    "writeConcernMajorityJournalDefault" : true,
    "members" : [
        {
            "_id" : 3,
            "host" : "mongo4:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : false,
            "priority" : 1,
            "tags" : {

            },
            "slaveDelay" : NumberLong(0),
            "votes" : 1
        },
        {
            "_id" : 4,
            "host" : "mongo3:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : false,
            "priority" : 1,
            "tags" : {

            },
            "slaveDelay" : NumberLong(0),
            "votes" : 1
        },
        {
            "_id" : 5,
            "host" : "mongo2:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : false,
            "priority" : 1,
            "tags" : {

            },
            "slaveDelay" : NumberLong(0),
            "votes" : 1
        },
        {
            "_id" : 6,
            "host" : "mongo1:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : true,
            "priority" : 0,
            "tags" : {

            },
            "slaveDelay" : NumberLong(7200),
            "votes" : 1
        }
    ],
    "settings" : {
        "chainingAllowed" : true,
        "heartbeatIntervalMillis" : 2000,
        "heartbeatTimeoutSecs" : 10,
        "electionTimeoutMillis" : 10000,
        "catchUpTimeoutMillis" : -1,
        "catchUpTakeoverDelayMillis" : 30000,
        "getLastErrorModes" : {

        },
        "getLastErrorDefaults" : {
            "w" : 1,
            "wtimeout" : 0
        },
        "replicaSetId" : ObjectId("6051ca21a1f8138a01c3b940")
    }
}

可以看到mongo1开启了延迟复制，我设置的7200s。

主节点写入数据

handong1:PRIMARY> db.getReplicationInfo()
{
    "logSizeMB" : 1000,
    "usedMB" : 1000.77,
    "timeDiff" : 10817,
    "timeDiffHours" : 3,
    "tFirst" : "Fri Apr 30 2021 11:05:21 GMT+0800 (CST)",
    "tLast" : "Fri Apr 30 2021 14:05:38 GMT+0800 (CST)",
    "now" : "Fri Apr 30 2021 14:05:45 GMT+0800 (CST)"
}

主节点大量写入数据，可以看到oplog已经写满。接下来我们等延迟节点故障发生。

查看副本集状态

handong1:PRIMARY> rs.status()
{
    "set" : "handong1",
    "date" : ISODate("2021-04-30T06:12:07.964Z"),
    "myState" : 1,
    "term" : NumberLong(26),
    "syncingTo" : "",
    "syncSourceHost" : "",
    "syncSourceId" : -1,
    "heartbeatIntervalMillis" : NumberLong(2000),
    "majorityVoteCount" : 3,
    "writeMajorityCount" : 3,
    "optimes" : {
        "lastCommittedOpTime" : {
            "ts" : Timestamp(1619763118, 1),
            "t" : NumberLong(26)
        },
        "lastCommittedWallTime" : ISODate("2021-04-30T06:11:58.901Z"),
        "readConcernMajorityOpTime" : {
            "ts" : Timestamp(1619763118, 1),
            "t" : NumberLong(26)
        },
        "readConcernMajorityWallTime" : ISODate("2021-04-30T06:11:58.901Z"),
        "appliedOpTime" : {
            "ts" : Timestamp(1619763118, 1),
            "t" : NumberLong(26)
        },
        "durableOpTime" : {
            "ts" : Timestamp(1619763118, 1),
            "t" : NumberLong(26)
        },
        "lastAppliedWallTime" : ISODate("2021-04-30T06:11:58.901Z"),
        "lastDurableWallTime" : ISODate("2021-04-30T06:11:58.901Z")
    },
    "lastStableRecoveryTimestamp" : Timestamp(1619763090, 1),
    "lastStableCheckpointTimestamp" : Timestamp(1619763090, 1),
    "electionCandidateMetrics" : {
        "lastElectionReason" : "stepUpRequestSkipDryRun",
        "lastElectionDate" : ISODate("2021-04-29T10:44:16.113Z"),
        "electionTerm" : NumberLong(26),
        "lastCommittedOpTimeAtElection" : {
            "ts" : Timestamp(1619693040, 1),
            "t" : NumberLong(25)
        },
        "lastSeenOpTimeAtElection" : {
            "ts" : Timestamp(1619693040, 1),
            "t" : NumberLong(25)
        },
        "numVotesNeeded" : 3,
        "priorityAtElection" : 1,
        "electionTimeoutMillis" : NumberLong(10000),
        "priorPrimaryMemberId" : 3,
        "numCatchUpOps" : NumberLong(0),
        "newTermStartDate" : ISODate("2021-04-29T10:44:16.131Z"),
        "wMajorityWriteAvailabilityDate" : ISODate("2021-04-29T10:44:18.139Z")
    },
    "electionParticipantMetrics" : {
        "votedForCandidate" : true,
        "electionTerm" : NumberLong(25),
        "lastVoteDate" : ISODate("2021-04-29T09:51:57.461Z"),
        "electionCandidateMemberId" : 3,
        "voteReason" : "",
        "lastAppliedOpTimeAtElection" : {
            "ts" : Timestamp(1619689910, 1),
            "t" : NumberLong(24)
        },
        "maxAppliedOpTimeInSet" : {
            "ts" : Timestamp(1619689910, 1),
            "t" : NumberLong(24)
        },
        "priorityAtElection" : 1
    },
    "members" : [
        {
            "_id" : 3,
            "name" : "mongo4:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 68644,
            "optime" : {
                "ts" : Timestamp(1619763118, 1),
                "t" : NumberLong(26)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1619763118, 1),
                "t" : NumberLong(26)
            },
            "optimeDate" : ISODate("2021-04-30T06:11:58Z"),
            "optimeDurableDate" : ISODate("2021-04-30T06:11:58Z"),
            "lastHeartbeat" : ISODate("2021-04-30T06:12:06.441Z"),
            "lastHeartbeatRecv" : ISODate("2021-04-30T06:12:07.057Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "mongo2:27017",
            "syncSourceHost" : "mongo2:27017",
            "syncSourceId" : 5,
            "infoMessage" : "",
            "configVersion" : 44
        },
        {
            "_id" : 4,
            "name" : "mongo3:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 74984,
            "optime" : {
                "ts" : Timestamp(1619763118, 1),
                "t" : NumberLong(26)
            },
            "optimeDate" : ISODate("2021-04-30T06:11:58Z"),
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "electionTime" : Timestamp(1619693056, 1),
            "electionDate" : ISODate("2021-04-29T10:44:16Z"),
            "configVersion" : 44,
            "self" : true,
            "lastHeartbeatMessage" : ""
        },
        {
            "_id" : 5,
            "name" : "mongo2:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 74872,
            "optime" : {
                "ts" : Timestamp(1619763118, 1),
                "t" : NumberLong(26)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1619763118, 1),
                "t" : NumberLong(26)
            },
            "optimeDate" : ISODate("2021-04-30T06:11:58Z"),
            "optimeDurableDate" : ISODate("2021-04-30T06:11:58Z"),
            "lastHeartbeat" : ISODate("2021-04-30T06:12:07.665Z"),
            "lastHeartbeatRecv" : ISODate("2021-04-30T06:12:06.064Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "mongo3:27017",
            "syncSourceHost" : "mongo3:27017",
            "syncSourceId" : 4,
            "infoMessage" : "",
            "configVersion" : 44
        },
        {
            "_id" : 6,
            "name" : "mongo1:27017",
            "health" : 1,
            "state" : 3,
            "stateStr" : "RECOVERING",
            "uptime" : 74426,
            "optime" : {
                "ts" : Timestamp(1619751554, 1000),
                "t" : NumberLong(26)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1619751554, 1000),
                "t" : NumberLong(26)
            },
            "optimeDate" : ISODate("2021-04-30T02:59:14Z"),
            "optimeDurableDate" : ISODate("2021-04-30T02:59:14Z"),
            "lastHeartbeat" : ISODate("2021-04-30T06:12:07.004Z"),
            "lastHeartbeatRecv" : ISODate("2021-04-30T06:12:07.750Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "configVersion" : 44
        }
    ],
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1619763118, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1619763118, 1)
}

mongo1的状态是RECOVERING。

查看日志

2021-04-30T12:58:37.323+0800 I  REPL     [replication-28] Restarting oplog query due to error: CursorNotFound: error in fetcher batch callback :: caused by :: cursor id 8075047242504228364 not found. Last fetched optime: { ts: Timestamp(1619751554, 1000), t: 26 }. Restarts remaining: 1
2021-04-30T12:58:37.324+0800 I  REPL     [replication-28] Scheduled new oplog query Fetcher source: mongo3:27017 database: local query: { find: "oplog.rs", filter: { ts: { $gte: Timestamp(1619751554, 1000) } }, tailable: true, oplogReplay: true, awaitData: true, maxTimeMS: 2000, batchSize: 13981010, term: 26, readConcern: { afterClusterTime: Timestamp(0, 1) } } query metadata: { $replData: 1, $oplogQueryData: 1, $readPreference: { mode: "secondaryPreferred" } } active: 1 findNetworkTimeout: 7000ms getMoreNetworkTimeout: 10000ms shutting down?: 0 first: 1 firstCommandScheduler: RemoteCommandRetryScheduler request: RemoteCommand 6893257 -- target:mongo3:27017 db:local cmd:{ find: "oplog.rs", filter: { ts: { $gte: Timestamp(1619751554, 1000) } }, tailable: true, oplogReplay: true, awaitData: true, maxTimeMS: 2000, batchSize: 13981010, term: 26, readConcern: { afterClusterTime: Timestamp(0, 1) } } active: 1 callbackHandle.valid: 1 callbackHandle.cancelled: 0 attempt: 1 retryPolicy: {type: "NoRetryPolicy"}
2021-04-30T12:58:38.111+0800 I  REPL     [rsBackgroundSync] Starting rollback due to OplogStartMissing: Our last optime fetched: { ts: Timestamp(1619751554, 1000), t: 26 }. source's GTE: { ts: Timestamp(1619751921, 809), t: 26 }
2021-04-30T12:58:38.112+0800 I  REPL     [rsBackgroundSync] Replication commit point: { ts: Timestamp(1619758717, 1), t: 26 }
2021-04-30T12:58:38.112+0800 I  REPL     [rsBackgroundSync] Waiting for all operations from { ts: Timestamp(1619751517, 1000), t: 26 } until { ts: Timestamp(1619751554, 1000), t: 26 } to be applied before starting rollback.
2021-04-30T12:59:15.545+0800 I  REPL     [rsBackgroundSync] Rollback using 'recoverToStableTimestamp' method.
2021-04-30T12:59:15.546+0800 I  REPL     [rsBackgroundSync] Scheduling rollback (sync source: mongo3:27017)
2021-04-30T12:59:15.546+0800 I  ROLLBACK [rsBackgroundSync] transition to ROLLBACK
2021-04-30T12:59:15.546+0800 I  REPL     [rsBackgroundSync] State transition ops metrics: { lastStateTransition: "rollback", userOpsKilled: 0, userOpsRunning: 7 }
2021-04-30T12:59:15.546+0800 I  REPL     [rsBackgroundSync] transition to ROLLBACK from SECONDARY

可以看到由于延迟节点的oplog被覆盖出现了复制错误。

问题总结

出现这样的问题，一般有两种原因：
1、副本节点oplog设置太小
2、设置了延迟复制

解决方法

1、调大副本集oplog
2、优化延迟复制时间
3、重新添加副本集节点

微信关注我们

原文链接：https://blog.51cto.com/u_12592884/2746491

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

进阶的决策树，从ID3升级到C4.5，模型大升级

今天是机器学习专题的第22篇文章，我们继续决策树的话题。上一篇文章当中介绍了一种最简单构造决策树的方法——ID3算法，也就是每次选择一个特征进行拆分数据。这个特征有多少个取值那么就划分出多少个分叉，整个建树的过程非常简单。如果错过了上篇文章的同学可以从下方传送门去回顾一下：如果你还不会决策树，那你一定要进来看看既然我们已经有了ID3算法可以实现决策树，那么为什么还需要新的算法？显然一定是做出了一些优化或者是进行了一些改进，不然新算法显然是没有意义的。所以在我们学习新的算法之前，需要先搞明白，究竟做出了什么改进，为什么要做出这些改进。一般来说，改进都是基于缺点和不足的，所以我们先来看看ID3算法的一些问题。其中最大的问题很明显，就是它无法处理连续性的特征。不能处理的原因也很简单，因为ID3在每次在切分数据的时候，选择的不是一个特征的取值，而是一个具体的特征。这个特征下有多少种取值就会产生多少个分叉，如果使用连续性特征的话，比如说我们把西瓜的直径作为特征的话。那么理论上来说每个西瓜的直径都是不同的，这样的数据丢进ID3算法当中就会产生和样本数量相同的分叉，这显然是没有意义的。其...

2021-04-30

571

今天这篇是机器学习专题的第24篇文章，我们来聊聊回归树模型。所谓的回归树模型其实就是用树形模型来解决回归问题，树模型当中最经典的自然还是决策树模型，它也是几乎所有树模型的基础。虽然基本结构都是使用决策树，但是根据预测方法的不同也可以分为两种。第一种，树上的叶子节点就对应一个预测值和分类树对应，这一种方法称为回归树。第二种，树上的叶子节点对应一个线性模型，最后的结果由线性模型给出。这一种方法称为模型树。今天我们先来看看其中的回归树。回归树模型回归树模型的核心算法，也就是构建决策树的算法，就是我们上篇文章所讲的CART算法。如果有生疏或者是遗漏的同学，可以通过下方传送门回顾一下：机器学习——十大数据挖掘之一的决策树CART算法 CART算法的核心精髓就是我们每次选择特征对数据进行拆分的时候，永远对数据集进行二分。无论是离散特征还是连续性特征，一视同仁。CART还有一个特点是使用GINI指数而不是信息增益或者是信息增益比来选择拆分的特征，但是在回归问题当中用不到这个。因为回归问题的损失函数是均方差，而不是交叉熵，很难用熵来衡量连续值的准确度。在分类树当中，我们一个叶子节点代表一个...

2021-04-30

478

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。