详解数仓的锁相关参数及视图
摘要:GaussDB(DWS) 中锁等待可以设置等待超时相关参数,一旦等锁的时间超过参数配置值会抛错。
本文分享自华为云社区《GaussDB(DWS) 锁相关参数及视图详解》,作者: yd_220527686。
一、锁相关参数
GaussDB(DWS) 中锁等待可以设置等待超时相关参数,一旦等锁的时间超过参数配置值会抛错。跟锁相关的参数有4个,具体含义如下:
1.deadlock_timeout
表示死锁检测时间,到达该时间后进行死锁检测,默认1秒。
2.lockwait_timeout
当出现表锁冲突的时候生效,当等待表锁的时间超过配置的时间,抛错返回,默认20分钟。
3.update_lockwait_timeout
当出现记录锁冲突的时候生效,如果等待记录锁的时间超过update_lockwait_timeout,抛错返回,默认2分钟。
4.ddl_lock_timeout
当出现八级表锁冲突的时候生效,当等待获取八级锁的时间超过配置的时间,抛错返回,默认值为0,表示不生效,需用户手动开启(在8.1.3版本及更高版本生效)。
二、锁相关参数之间的逻辑
在8.1.3版本中,新增加参数ddl_lock_timeout,其优先级高于lockwait_timeout。deadlock_timeout、lockwait_timeout和ddl_lock_timeout的逻辑关系如下:
- 当ddl_lock_timeout生效,且申请的锁是八级锁时,锁等待超时报错的时间为ddl_lock_timeout的值;当申请的锁不是八级锁时,锁等待超时报错的时间为lockwait_timeout的值;
- 如果参数lockwait_timeout > deadlock_timeout时,同时启死锁定时器和锁超时定时器。当参数lockwait_timeout <= deadlock_timeout时,只启动锁超时定时器,不启动死锁定时器。
三、构建死锁和锁超时场景示例
构建3个元素的死锁场景如下:
首先执行第一行(按照session号从小到大执行)然后执行第二行(按照session号从小到大执行),可以通过获取对应锁的SQL语句,获得锁。表锁还可以手动的使用SQL语句的方式进行强制上锁,SQL语句的格式如下所示:
LOCK TABLE [ name ] IN [ lockmode ] MODE;
其中 lockmode 可以是以下之一:
ACCESS SHARE | ROW SHARE | ROW EXCLUSIVE | SHARE UPDATE EXCLUSIVE
| SHARE | SHARE ROW EXCLUSIVE | EXCLUSIVE | ACCESS EXCLUSIVE
要注意的是LOCK语句只能在事务块中执行,事务结束会释放。
设置deadlock_timeout、lockwait_timeout和ddl_lock_timeout的值,预期如下:
1.当ddl_lock_timeout = 0,lockwait_timeout>deadlock_timeout > 0:
2.当ddl_lock_timeout = 0,deadlock_timeout>lockwait_timeout > 0:
3.当ddl_lock_timeout != 0,ddl_lock_timeout>deadlock_timeout > 0:
4.当ddl_lock_timeout != 0,deadlock_timeout>ddl_lock_timeout > 0:
5.当ddl_lock_timeout != 0,deadlock_timeout=ddl_lock_timeout > 0:
四、锁等待查询
1. 通过查询pg_locks视图查看单个节点的锁持有和等待状态,pg_locks视图的结构如下图:
locktype | database | relation | page | tuple | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction | pid | mode | granted | fastpath ---------------+----------+----------+------+-------+------------+---------------+---------+-------+----------+--------------------+-----------------+--------------------------+---------+---------- relation | 15835 | 11835 | | | | | | | | 13/3755 | 139776366208768 | AccessShareLock | t | t virtualxid | | | | | 13/3755 | | | | | 13/3755 | 139776366208768 | ExclusiveLock | t | t virtualxid | | | | | 12/38 | | | | | 12/38 | 139776382990080 | ExclusiveLock | t | t virtualxid | | | | | 8/263 | | | | | 8/263 | 139776720103168 | ExclusiveLock | t | t virtualxid | | | | | 7/314 | | | | | 7/314 | 139776736884480 | ExclusiveLock | t | t virtualxid | | | | | 5/717 | | | | | 5/717 | 139776778299136 | ExclusiveLock | t | t transactionid | | | | | | 210480 | | | | 12/38 | 139776382990080 | ExclusiveLock | t | f relation | 15835 | 16980 | | | | | | | | 12/38 | 139776382990080 | ShareUpdateExclusiveLock | t | f relation | 15835 | 16980 | | | | | | | | 12/38 | 139776382990080 | ShareRowExclusiveLock | t | f
其中:
locktype:表示锁类型,包括表锁、事务锁、扩展锁、自定义锁等;
relation:表示表的oid,如果是表锁,relation列会显示表的oid
transactionid:表示事务号,如果是事务锁,transactionid列会显示session的事务号
mode:表示锁级别,级别1-8级;
pid:表示session的线程号;
granted:'t’表示持有锁,'f’表示等待锁;
2. 通过pgxc_lockwait_detail和pgxc_wait_detail查看锁等待状态,该方法仅适用于8.1.3及以上版本;
1、pgxc_lockwait_detail系统视图,显示每个节点中锁等待链详细信息
查询语句:
select * from pgxc_lockwait_detail;
其中:
level:表示等待链中的层级,以1开始,每显示一层等待关系level会加1。
lock_wait_hierarchy:表示等待链,以节点名称:进程号->几点名称:等待进程号->节点名称:等待进程号->…。
wait_for_pid:表示锁冲突线程的线程号
conflict_mode:表示锁冲突线程持有的冲突锁级别
query:表示查询语句
2、pgxc_wait_detail系统视图,显示所有节点SQL等待从上之下的等待链详细信息,包括wait_node、query等
查询语句:
select * from pgxc_wait_detail; level | lock_wait_hierarchy | node_name | db_name | thread_name | query_id | tid | lwtid | ptid | tlevel | smpid | wait_status | wait_event | exec_cn | wait_node | query | application_name | backend_start | xact_start | query_start | waiting | state -------+---------------------------------------------------------+--------------+----------+-------------+--------------------+-----------------+-------+------+--------+-------+----------------------------------+------------+---------+--------------+-----------------------------------------------------------------------------------+------------------+-------------------------------+-------------------------------+-------------------------------+---------+-------- 1 | cn_5002:140698314475264 | cn_5002 | postgres | OM | 144959613006392061 | 140698314475264 | 21820 | | 0 | 0 | wait node(total 3): dn_6005_6006 | | t | dn_6005_6006 | +| OM | 2022-10-08 18:02:55.810858+08 | 2022-10-08 18:03:10.478458+08 | 2022-10-08 18:02:55.819575+08 | t | active | | | | | | | | | | | | | | | INSERT INTO scheduler.bandwidth_history_table +| | | | | | | | | | | | | | | | | | | | | SELECT timestamp, node_name, "rxpck/s", "txpck/s", "rxkB/s", "txkB/s"+| | | | | | | | | | | | | | | | | | | | | FROM (select '2022-10-08 18:02:55' as timestamp), PGXC_COMM_STATUS; +| | | | | | | | | | | | | | | | | | | | | | | | | | | 2 | cn_5002:140698314475264 -> dn_6005_6006:140246537033472 | dn_6005_6006 | postgres | cn_5002 | 144959613006392061 | 140246537033472 | 1587 | | 0 | 0 | none | | f | | SELECT * FROM pg_comm_status; | cn_5002 | 2022-10-08 12:01:38.70103+08 | 2022-10-08 18:03:10.478458+08 | 2022-10-08 18:03:10.493286+08 | f | active
其中:
wait_status:当前线程的等待状态
wait_event:持有此锁或者在等待此锁的事务的虚拟id
exec_cn:是否执行sql语句的cn节点
wait_node:锁级别级别
query:查询语句
backend_start:后端进程启动时间,即客户端连接服务器的时间
xact_start:当前事务的启动时间
query_start:开始当前活跃查询的时间
waiting:是否正处于等待状态
state:后端当前总体状态
tips:为保证查询链条正确,在使用pgxc_wait_detail和pgxc_lockwait_detail时不能进行排序和分组。
想了解GuassDB(DWS)更多信息,欢迎微信搜索“GaussDB DWS”关注微信公众号,和您分享最新最全的PB级数仓黑科技,后台还可获取众多学习资料哦。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Linux策略路由详解
概述 在Linux中,我们通常使用route命令来做路由信息的管理。但是该命令仅仅只能用于基本路由信息的管理,面对功能更加强大的基于策略的路由机制,route命令就显得捉襟见肘。在传统路由算法中,只能基于目的地址进行路由选择。但是如果对路由选择有更复杂的要求,比如针对不同源地址、传输层端口甚至是payload进行更细致的路由控制,传统的基于目的地址的路由表就无法满足需求了,需要使用功能更加强大的路由策略数据库routeing database: RPDB来处理。 命令安装 安装很简单,按照如下命令安装即可。 # 查看iproute是否安装 # 查看iproute版本 ]# ip -V ip utility, iproute2-ss170501 # 安装 yum install iproute -y 路由策略数据库(RPDB) RPDB是存放策略的数据库,被策略匹配的数据包会执行相关的操作,可以通过ip rule来管理。 在系统启动时,内核会配置三条默认策略: # 通过ip rule show可以查看当前RPDB中的规则 ]# ip rule sh...
- 下一篇
搞AI开发,你不得不会的PyCharm技术
摘要:PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。 使用PyCharm插件配合ModelArts: 一键帮助用户配置远程ModelArts Notebook,免去用户手工配置 按需使用Notebook资源,启动停止,随心所欲 本地代码提交至ModelArts训练任务,沉浸式AI开发体验 ModelArts是华为云一站式AI开发平台,“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。 AI模型开发的过程,称之为Modeling,一般包含两个阶段: 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理...
相关文章
文章评论
共有0条评论来说两句吧...