一则 MySQL 参数设置不当导致复制中断的故障案例
本文分享了一个数据库参数错误配置导致复制中断的问题,以及对参数配置的建议。
作者:秦福朗
爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。热爱互联网,会摄影、懂厨艺,不会厨艺的 DBA 不是好司机,didi~
本文来源:原创投稿
- 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。
前言
在日常的运维工作中,偶尔会遇到一些意想不到的线上问题,多数因为设置不当导致故障。前段时间,DMP 数据库运维平台 报错主从复制 SQL 线程断开,就是因为一个参数设置异常导致的。本文分享一下当时的情况。
故障描述
DMP 收到告警 MySQL 从库的 SQL 线程停止了工作,去从库后台执行 show slave status\G
:
可以看到 SQL 线程确实停止工作了,根据提示查看 : select * from performance_schema.replication_applier_status_by_worker;
报错为:
Worker 1 failed executing transaction '44bbb836-19b4-11eb-aae3-98f2b315b1a5:216718523' at master log mysqlbin.000492, end_log_pos 533198991; Could not execute Delete_rows event on table cmbc_msearch.search_hotword_item; Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again, Error_code: 1197; handler error HA_ERR_RBR_LOGGING_FAILED; the event's master log mysqlbin.000492, end_log_pos 533198991
我们可以看到报错信息比较明显,是 max_binlog_cache_size
参数设置出现了问题。
查看主从的 max_binlog_cache_size
的大小,主库为 10G,从库为 10M。
原理描述
官方文档了解 max_binlog_cache_size
参数:
binlog 是 MySQL 用来记录所有修改数据库数据的操作的二进制日志。在主从复制中,主库会把自己的 binlog 传输给从库,供从库执行相同的操作,以保证数据的一致性。而 max_binlog_cache_size
则是 MySQL 设置的最大 binlog 缓存大小。当事务过于复杂,多语句事务执行,需要写入 binlog 的数据量超过了这个值时,就会出现上述错误。
此时还要注意另一个参数 binlog_cache_size
,这个参数给每个客户端分配用来存储二进制日志的缓存,而 max_binlog_cache_size
则表示所有客户端缓存使用的最大值。
问题解决
从库为 10M 的历史原因也追溯不到,但主从设置参数不一致,且一个很大一个很小,是不合理的,也是导致本文中报错的主要因素。
max_binlog_cache_size
参数是可以通过在线动态修改的,现场解决方案,将从库的该值调大:
mysql> set global max_binlog_cache_size=10240000000; Query OK, 0 rows affected (0.00 sec)
然后再开启主从复制,就正常了。
总结
在运维过程中,合理配置和及时调整参数是确保系统稳定性和性能优化的重要环节,在修改一些参数的时候要充分了解相关知识概念,并且要掌握复制集群中相同参数的配置情况,确保合理合规修改,减少生产故障。
更多技术文章,请访问:https://opensource.actionsky.com/
关于 SQLE
爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。
SQLE 获取

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于PaddleOCR与OpenVINO™的结构化输出Pipeline
飞桨(PaddlePaddle)是百度自主研发的中国首个开源开放、功能丰富的产业级深度学习平台,以百度多年的深度学习技术研究和业务应用为基础。飞桨深度学习平台集核心框架、基础模型库、端到端开发套件、丰富的工具组件于一体,还包括了飞桨企业版零门槛 AI 开发平台 EasyDL 和全功能 AI 开发平台 BML,以及飞桨 AI Studio 学习与实训社区。飞桨于2016年正式开源,秉承开源开放的理念,建设了蓬勃发展的开源社区,社区成员汇聚了框架开发者、算法研究者、硬件开发者和应用开发者等多种角色,他们在自运转的生态中积极参与开源共建,形成了一股强大的生态力量,持续推动深度学习技术的创新迭代和产业应用。 2023飞桨黑客马拉松 PaddlePaddle Hackathon 第四期由深度学习技术及应用国家工程研究中心主办,飞桨承办,英特尔作为顶级赞助方,OpenVINO™ 、Arm、Hugging Face、Jina、TVM、瑞芯微、算能、地平线等等开源项目和硬件合作伙伴共同出品,旨在鼓励开发者了解与参与深度学习开源项目的共建。本项目是活动发布的第205号赛题,需要开发者向 OpenVINO...
- 下一篇
如何设计一个完美的复杂业务系统架构?
1 什么是复杂系统 我们经常提到复杂系统,那么到底什么是复杂系统。我们看下维基的定义:复杂系统(英语:complex system),又称复合系统,是指由许多可能相互作用的组成成分所组成的系统。强调了两点: 由点组成 点之间有各种关联 两点的规模和复杂性直接决定了系统的复杂程度。比如就拿我们的电商系统举例,分成很多部分,商品、库存、采购、订单、物流、财务,这个只是大的分类,还有针对 C 端的营销、会员、购买、售后等体系,针对 B 端的商家入驻、管理等体系。各个部分、体系之间有着千丝万缕的联系,可谓之复杂系统了。当然了,远远不止这些,随着业务复杂性的不断提升,整个系统的复杂性也会愈来愈复杂。 2 什么是架构 生活中我们经常谈及 “架构”,那么到底什么是 “架构”,Robert C.Martin《架构整洁之道》中的定义:软件架构是指设计软件的人为软件赋予的形状,这个形状是指系统如何被划分为组件 (Components),各个组件如何排列(Arrangement),组件之间如何沟通(Communication,通讯),维基百科的定义:有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7,CentOS8安装Elasticsearch6.8.6
- MySQL8.0.19开启GTID主从同步CentOS8
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2全家桶,快速入门学习开发网站教程
- Docker快速安装Oracle11G,搭建oracle11g学习环境