MySQL服务器 IO 100%的分析与优化方案-低调大师

MySQL服务器 IO 100%的分析与优化方案

2018-10-22 780

前言

压力测试过程中，如果因为资源使用瓶颈等问题引发最直接性能问题是业务交易响应时间偏大，TPS逐渐降低等。而问题定位分析通常情况下，最优先排查的是监控服务器资源利用率，例如先用TOP 或者nmon等查看CPU、内存使用情况，然后在排查IO问题，例如网络IO、磁盘IO的问题。如果是磁盘IO问题，一般问题是SQL语法问题、MYSQL参数配置问题、服务器自身硬件瓶颈导致IOPS吞吐率问题。

本文主要给大家介绍的是关于MySQL服务器 IO 100%的分析与优化方案，下面话不多说了，来一起看看详细的介绍吧

【问题】

有台MySQL 5.6.21的数据库实例以写入为主，IO %util接近100%

写入IOPS很高

【分析过程】

1、通过iotop工具可以看到当前IO消耗最高的mysql线程

2、查看线程49342的堆栈，可以看到正在进行redo log的刷新，对应的是9号文件

3、9号文件对应的是redo log的第一个文件

为什么mysql进程会频繁的刷新redo log文件，要结合redolog的刷盘策略来分析，关键是innodb_flush_log_at_trx_commit参数，

默认是1，最安全，但在写压力大的情况下，也会带来较大的性能影响，每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去。

结合这个集群的写入场景来看，大部分都是小事务的写入，每次事务提交都会触发刷盘动作，这种场景下通过增大innodb_log_buffer_size和innodb_log_file_size的优化效果不明显

【优化方案】

1、应用层面，对于写压力大的系统，可以将单条的insert语句优化为小批量的insert语句，这样事务commit的次数减少，redo log刷盘减少，性能理论上会有提升

2、MySQL层面，对于日志类型的系统，如果允许宕机的情况下少量数据丢失，可以将innodb_flush_log_at_trx_commit参数调整为2，

当设置为2时，则在事务提交时只做write操作，只保证写到系统的page cache，因此实例crash不会丢失事务，但宕机则可能丢失事务

在这台服务器上测试，将参数调整为2时，IO的请求从200M/S降到约10M/S压力会减少10倍以上

3、系统层面，更换性能更佳的磁盘

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

Mysql IO 内存方面的优化

文章同步发布： https://www.geek-share.com/detail/2751092551.html

微信关注我们

原文链接：https://my.oschina.net/u/3742441/blog/2250431

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

kubeadm 安装kubernetes1.12.1

准备环境服务器服务器情况： IP 系统版本角色 Hostname 10.20.13.24 Centos7 64位 minimal master kuber24 10.20.13.25 Centos7 64位 minimal work Kuber25 10.20.13.26 Centos7 64位 minimal work Kuber26 10.20.13.27 Centos7 64位 minimal work Kuber27 修改host ansible 脚本,hostname = kuber[点分十进制最后一个数]： --- - hosts: k8 remote_user: root tasks: - name: origin hostname command: hostname - name: server ip shell: ip a - hostname: name=kuber{{ ansible_default_ipv4.address.split('.')[-1] }} 关闭firewall linux 命令： service firewalld stop syste...

2018-10-19

613

前言为了准备这次面试，特意对TCP/IP的工作机制进行一个温顾~ TCP（Transmission Control Protocol）网络传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议，数据传输前建立连接的工作要经过“三次握手”，数据传输后断开连接的工作要经过“四次挥手”。工作过程从图上可以得出6个标志位，分别是： 1）、SYN（synchronous）：建立联机； 2）、ACK（acknowledgement）：确认； 3）、PSH（push）：传输； 4）、FIN（finish）：结束； 5）、RST（reset）：重置； 6）、URG（urgent）：紧急。三次握手：（1）、第一次握手：Client将标志位SYN置为1，并将该数据包发送给Server，Client进入SYN_SENT状态，等待Server确认；（2）、第二次握手：Server收到数据包后由标志位SYN=1知道Client请求建立连接，Server将标志位SYN和ACK都置为1，并将该数据包发送给Client以确认连接请求，Server进入SYN_RCVD状态；（3）、第三次握...

2018-10-22

865

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。