首页 文章 精选 留言 我的

精选列表

搜索[gaussdb],共674篇文章
优秀的个人博客,低调大师

GaussDB(DWS)磁盘维护:vacuum full执行慢怎么办?

摘要:在数据库中用于维护数据库磁盘空间的工具是VACUUM,其重要的作用是删除那些已经标示为删除的数据并释放空间。 vacuum的功能 回收空间 数据库总是不断地在执行删除,更新等操作。良好的空间管理非常重要,能够对性能带来大幅提高。 执行delete操作后,表中的记录只是被标示为删除状态,并没有释放空间,在以后的update或insert操作中该部分的空间是不能够被重用的。 在数据库中用于维护数据库磁盘空间的工具是VACUUM,其重要的作用是删除那些已经标示为删除的数据并释放空间。经过vacuum清理后,空间才能得到释放。 VACUUM回收已删除元组占据的存储空间。在一般的数据库操作里,那些已经DELETE的元组或者被UPDATE过后过时的元组是没有从它们所属的表中物理删除的;在完成VACUUM之前它们仍然存在。因此我们有必须周期地运行VACUUM,特别是在常更新的表上。 冻结tuple的xid 在每条记录(tuple)的header中,存放xmin,xmax信息(增删改事务ID)。transactionID的最大值为2的32次,即无符整形来表示。当transactionID超过此最大值后,会循环使用。 这会带来一个问题:就是最新事务的transactionID会小于老事务的transactionID。如果这种情况发生后,就没有办法按transactionID来区分事务的先后,也没有办法实现MVCC了。 因此用vacuum后台进程,按一定的周期和算法触发vacuum动作,将过老的tuple的header中的事务ID进行冻结。冻结事务ID,即将事务ID设置为“2”(“0”表示无效事务ID;“1”表示bootstrap,即初始化;“3”表示最小的事务ID)。被冻结的事务ID比任何事务都要老。这样就不会出现上面的这种情况了。 更新visibility map 在数据库中,有一个visibility map用来标记那些page中是没有dead tuple的。这有两个好处,一是当vacuum进行scan时,直接可以跳过这些page。二是进行index-only scan时,可以先检查下visibility map。这样减少fetch tuple时的可见性判断,从而减少IO操作,提高性能。另外visibility map相对整个relation,还是小很多,可以cache到内存中。 vacuum full与vacuum的区别 1.vacuum只是将删除状态的空间释放掉,转换到能够重新使用的状态,但是对于系统来说该数据块的空闲空间并没有反应到系统的元数据中,并不进行空间合并。 而vacuum full实质上是重建了整个表,以达到空间合并的效果。 2.vacuum执行过程中对表加4级锁,不会影响表的增删改查,而vacuum full对表加8级锁,执行过程中表无法访问。 3.vacuum对列存表无效 vacuum full的执行流程 建临时表 数据库会新建一个临时表,临时表继承老表所有属性。 这个阶段会对pg_class申请“RowExclusiveLock”锁,因为需要插入记录。 拷贝数据 将原来的数据copy到temp表中。 对临时表,老表以及索引都以“AccessExclusiveLock”模式打开。 另外对于toast,只是lock,不打开。 在这个过程中完成Dead Tuple的清理。 表交换 新表将老表替换掉。会对pg_class再次申请“RowExclusiveLock”锁。 重建索引 是在交换之后完成的,重建索引时,会更新一些统计信息。对表申请“ShareLock”锁。 删除临时表 索引重建完成后,将带有老物理文件的新临时表进行删除。 vacuum full执行慢的常见场景 1. 存在锁争抢 在cn上执行select * from pg_stat_activity where query like '%vacuum%';找到vacuum full的pid 查看该线程的等待状态,如果等待状态是acquire lock,说明存在锁等待 select * from pg_thread_wait_status where tid = 139878309295872; 在pg_locks中查询vacuum full在等哪个锁 select * from pg_locks where pid = 139878309295872 and granted = 'f'; 查看持有该锁的线程 select * from pg_locks where relation = 544793 and granted = 't'; 查看该线程对应的语句 select query from pg_stat_activity where pid = 139877539612416; 根据语句判断是否可以杀掉该语句继续做vacuum full,或者另外找时间窗做vacuum full 2. 存在IO/网络问题导致事务无法提交 执行一个简单的create table语句,如果create table语句执行也很慢,说明存在IO/网络问题,进一步排查IO和网络 3. 系统表过大导致vacuum full慢 vacuum full任意一张表时,都会扫描pg_class、pg_partition、pg_proc三张系统表,当这三个系统表过大时,也会导致vacuum full较慢 可以在排除IO/网络问题(即create table语句不慢)后,对空表做vacuum full,观察执行速度,如果空表做vacuum full也比较慢,则说明就是这三张系统表较大导致vacuum full任意表都慢 4. 排除以上场景之后,可以查看表定义中是否使用了PCK 当存在PCK时,表做vacuum full时会进行全排序,此时如果表较大或psort_work_mem设置较小,就会导致PCK排序时产生下盘,进行外排,效率急剧下降。 可以通过调大psort_work_mem进行规避 点击关注,第一时间了解华为云新鲜技术~

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码