史上最全的MySQL高性能优化实战总结!
1.1 前言
MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。
今天给大家体验MySQL的优化实战,助你高薪之路顺畅。
图 - MySQL查询过程
1.2 优化的哲学
优化有风险,涉足需谨慎
1.2.1 优化可能带来的问题
1.2.2 优化的需求
1.2.3 优化由谁参与
在进行数据库优化时,应由数据库管理员、业务部门代表、应用程序架构师、应用程序设计人员、应用程序开发人员、硬件及系统管理员、存储管理员等,业务相关人员共同参与。
1.3 优化思路
1.3.1 优化什么
在数据库优化上有两个主要方面:即安全与性能。
1.3.2 优化的范围有哪些
存储、主机和操作系统方面:
应用程序方面:
数据库优化方面:
说明:不管是在,设计系统,定位问题还是优化,都可以按照这个顺序执行。
1.3.3 优化维度
数据库优化维度有四个:
硬件、系统配置、数据库表结构、SQL及索引
优化选择
1.4 优化工具有啥?
1.4.1 数据库层面
检查问题常用工具
不常用但好用的工具
1.4.2 数据库层面问题解决思路
一般应急调优的思路:
针对突然的业务办理卡顿,无法进行正常的业务处理!需要立马解决的场景!
常规调优思路:
针对业务周期性的卡顿,例如在每天10-11点业务特别慢,但是还能够使用,过了这段时间就好了。
1.4.3 系统层面
cpu方面
vmstat、sar top、htop、nmon、mpstat
内存
free、ps -aux 、
IO设备(磁盘、网络)
iostat、 ss 、 netstat 、 iptraf、iftop、lsof、
vmstat 命令说明:
iostat命令说明
实例命令: iostat -dk 1 5
iostat -d -k -x 5 (查看设备使用率(%util)和响应时间(await))
1.4.4 系统层面问题解决办法
你认为到底负载高好,还是低好呢?
在实际的生产中,一般认为 cpu只要不超过90%都没什么问题 。
当然不排除下面这些特殊情况:
问题一:cpu负载高,IO负载低
问题二:IO负载高,cpu负载低
问题三:IO和cpu负载都很高
硬件不够了或sql存在问题
1.5 基础优化
1.5.1 优化思路
定位问题点:
硬件 --> 系统 --> 应用 --> 数据库 --> 架构(高可用、读写分离、分库分表)
处理方向
明确优化目标、性能和安全的折中、防患未然
1.5.2 硬件优化
主机方面:
cpu的选择:
内存的选择:
存储方面:
raid卡:主机raid卡选择:
网络设备方面:
使用流量支持更高的网络设备(交换机、路由器、网线、网卡、HBA卡)
注意:以上这些规划应该在初始设计系统时就应该考虑好。
1.5.3 服务器硬件优化
1.5.4 系统优化
Cpu:
基本不需要调整,在硬件选择方面下功夫即可。
内存:
基本不需要调整,在硬件选择方面下功夫即可。
SWAP:
MySQL尽量避免使用swap。阿里云的服务器中默认swap为0
IO :
这个参数决定了Linux是倾向于使用swap,还是倾向于释放文件系统cache。在内存紧张的情况下,数值越低越倾向于释放文件系统cache。当然,这个参数只能减少使用swap的概率,并不能避免Linux使用swap。
修改MySQL的配置参数innodb_flush_method,开启O_DIRECT模式。这种情况下,InnoDB的buffer pool会直接绕过文件系统cache来访问磁盘,但是redo log依旧会使用文件系统cache。值得注意的是,Redo log是覆写模式的,即使使用了文件系统的cache,也不会占用太多
IO调度策略
1.5.5 系统参数调整
Linux系统内核参数优化
用户限制参数(mysql可以不设置以下配置)
1.5.6 应用优化
业务应用和数据库应用独立,防火墙:iptables、selinux等其他无用服务(关闭):
安装图形界面的服务器不要启动图形界面 runlevel 3,另外,思考将来我们的业务是否真的需要MySQL,还是使用其他种类的数据库。用数据库的最高境界就是不用数据库。
1.6 数据库优化
SQL优化方向:
执行计划、索引、SQL改写
架构优化方向:
高可用架构、高性能架构、分库分表
1.6.1 数据库参数优化
调整:
实例整体(高级优化,扩展)
连接层(基础优化)
设置合理的连接客户和连接方式
SQL层(基础优化)
query_cache_size: 查询缓存
OLAP类型数据库,需要重点加大此内存缓存.
但是一般不会超过GB.
为什么某些人会一直比你优秀,是因为他本身就很优秀还一直在持续努力变得更优秀,而你是不是还在满足于现状内心在窃喜!
欢迎工作一到五年的Java工程师朋友们加入Java架构开发:744677563
群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!
对于经常被修改的数据,缓存会立马失效。
我们可以实用内存数据库(redis、memecache),替代他的功能。
1.6.2 存储引擎层(innodb基础优化参数)
欢迎工作一到五年的Java工程师朋友们加入Java架构开发:860113481
群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)合理利用自己每一分每一秒的时间来学习提升自己,不要再用"没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
从程序员的角度深入理解MySQL
前言 作为一名工作了多·年的程序猿,今天我将站在程序员的角度以MySQL为例探索数据库的奥秘! 数据库基本原理 我对DB的理解 第一,数据库的组成:存储 + 实例 不必多说,数据当然需要存储;存储了还不够,显然需要提供程序对存储的操作进行封装,对外提供增删改查的API,即实例。 一个存储,可以对应多个实例,这将提高这个存储的负载能力以及高可用;多个存储可以分布在不同的机房、地域,将实现容灾。 第二,按Block or Page读取数据 用大腿想也知道,数据库不可能按行读取数据(Why? ^_^)。实质上,数据库,如Oracle/MySQL,都是基于固定大小(比如16K)的物理块(Block or Page,我这里就不区分统一称为Block)来实现调度和管理的。要知道Block是数据库的概念,如何对应到文件系统呢?显然需要指出“这个Block的地址在哪里”,当查找到地址后,读取固定大小的数据就相当于完成了Block的读取了。 数据库很聪明的,它不会仅仅只读取需要读取的Block,它还会替我们把附近的Block块都读取加载至内存。实际上,这是为了减少IO次数,提高命中率。事实上,一个Bl...
- 下一篇
DevOps与自动化测试的新挑战
DevOps与自动化测试的新挑战 DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。 它是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠,然而质量管理和测试在其中也起到关键性的作用。 相信这个环形图已经并不陌生了。 结构大致就是以上,那么在持续集成中对测试有哪些要求? 又有哪些挑战呢? 我觉得测需要做到 1. 测试一切 文档、配置、环境、发布包 2. 测试阶段与工具选择 a.Selenium b.Appium c.TestNg c. Jmeter 3. 自动化测试设计原则最优化 a. 统一规范要求 b. 分层设计 c. 易维护易使用 d. 测试用例定位准确 4. 在实际过程中可能遇到的挑战 a. 监管阻碍 b. 流程复杂 c. 交流、沟通阻碍 d. 不合理的应用平台、工具 ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果