详解数仓的锁相关参数及视图-低调大师

详解数仓的锁相关参数及视图

2022-10-10 371

摘要：GaussDB(DWS) 中锁等待可以设置等待超时相关参数，一旦等锁的时间超过参数配置值会抛错。

本文分享自华为云社区《GaussDB(DWS) 锁相关参数及视图详解》，作者： yd_220527686。

一、锁相关参数

GaussDB(DWS) 中锁等待可以设置等待超时相关参数，一旦等锁的时间超过参数配置值会抛错。跟锁相关的参数有4个，具体含义如下：

1.deadlock_timeout

表示死锁检测时间，到达该时间后进行死锁检测，默认1秒。

2.lockwait_timeout

当出现表锁冲突的时候生效，当等待表锁的时间超过配置的时间，抛错返回，默认20分钟。

3.update_lockwait_timeout

当出现记录锁冲突的时候生效，如果等待记录锁的时间超过update_lockwait_timeout，抛错返回，默认2分钟。

4.ddl_lock_timeout

当出现八级表锁冲突的时候生效，当等待获取八级锁的时间超过配置的时间，抛错返回，默认值为0，表示不生效，需用户手动开启（在8.1.3版本及更高版本生效）。

二、锁相关参数之间的逻辑

在8.1.3版本中，新增加参数ddl_lock_timeout,其优先级高于lockwait_timeout。deadlock_timeout、lockwait_timeout和ddl_lock_timeout的逻辑关系如下：

当ddl_lock_timeout生效，且申请的锁是八级锁时，锁等待超时报错的时间为ddl_lock_timeout的值；当申请的锁不是八级锁时，锁等待超时报错的时间为lockwait_timeout的值；
如果参数lockwait_timeout > deadlock_timeout时，同时启死锁定时器和锁超时定时器。当参数lockwait_timeout <= deadlock_timeout时，只启动锁超时定时器，不启动死锁定时器。

三、构建死锁和锁超时场景示例

构建3个元素的死锁场景如下:

首先执行第一行（按照session号从小到大执行）然后执行第二行（按照session号从小到大执行），可以通过获取对应锁的SQL语句，获得锁。表锁还可以手动的使用SQL语句的方式进行强制上锁，SQL语句的格式如下所示：

LOCK TABLE [ name ] IN [ lockmode ] MODE;

其中 lockmode 可以是以下之一：

要注意的是LOCK语句只能在事务块中执行，事务结束会释放。

设置deadlock_timeout、lockwait_timeout和ddl_lock_timeout的值，预期如下：

1.当ddl_lock_timeout = 0，lockwait_timeout>deadlock_timeout > 0:

2.当ddl_lock_timeout = 0，deadlock_timeout>lockwait_timeout > 0:

3.当ddl_lock_timeout != 0，ddl_lock_timeout>deadlock_timeout > 0:

4.当ddl_lock_timeout != 0，deadlock_timeout>ddl_lock_timeout > 0:

5.当ddl_lock_timeout != 0，deadlock_timeout=ddl_lock_timeout > 0:

四、锁等待查询

1. 通过查询pg_locks视图查看单个节点的锁持有和等待状态，pg_locks视图的结构如下图：

locktype | database | relation | page | tuple | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction | pid |           mode           | granted | fastpath 
---------------+----------+----------+------+-------+------------+---------------+---------+-------+----------+--------------------+-----------------+--------------------------+---------+----------
 relation      | 15835 | 11835 | | | | | | | | 13/3755 | 139776366208768 | AccessShareLock | t       | t
 virtualxid | | | | | 13/3755 | | | | | 13/3755 | 139776366208768 | ExclusiveLock | t       | t
 virtualxid | | | | | 12/38 | | | | | 12/38 | 139776382990080 | ExclusiveLock | t       | t
 virtualxid | | | | | 8/263 | | | | | 8/263 | 139776720103168 | ExclusiveLock | t       | t
 virtualxid | | | | | 7/314 | | | | | 7/314 | 139776736884480 | ExclusiveLock | t       | t
 virtualxid | | | | | 5/717 | | | | | 5/717 | 139776778299136 | ExclusiveLock | t       | t
 transactionid | | | | | | 210480 | | | | 12/38 | 139776382990080 | ExclusiveLock | t       | f
 relation      | 15835 | 16980 | | | | | | | | 12/38 | 139776382990080 | ShareUpdateExclusiveLock | t       | f
 relation      | 15835 | 16980 | | | | | | | | 12/38 | 139776382990080 | ShareRowExclusiveLock | t       | f

其中：

locktype：表示锁类型，包括表锁、事务锁、扩展锁、自定义锁等；

relation：表示表的oid，如果是表锁，relation列会显示表的oid

transactionid：表示事务号，如果是事务锁，transactionid列会显示session的事务号

mode：表示锁级别，级别1-8级；

pid：表示session的线程号；

granted：'t’表示持有锁，'f’表示等待锁；

2. 通过pgxc_lockwait_detail和pgxc_wait_detail查看锁等待状态，该方法仅适用于8.1.3及以上版本；

1、pgxc_lockwait_detail系统视图，显示每个节点中锁等待链详细信息

查询语句：

select *  from pgxc_lockwait_detail;

其中：

level：表示等待链中的层级，以1开始，每显示一层等待关系level会加1。

lock_wait_hierarchy：表示等待链，以节点名称：进程号->几点名称：等待进程号->节点名称：等待进程号->…。

wait_for_pid：表示锁冲突线程的线程号

conflict_mode：表示锁冲突线程持有的冲突锁级别

query：表示查询语句

2、pgxc_wait_detail系统视图，显示所有节点SQL等待从上之下的等待链详细信息，包括wait_node、query等

查询语句：

select *  from pgxc_wait_detail;
level | lock_wait_hierarchy | node_name | db_name | thread_name | query_id | tid | lwtid | ptid | tlevel | smpid | wait_status | wait_event | exec_cn | wait_node |                                       query                                       | application_name | backend_start | xact_start | query_start | waiting | state
-------+---------------------------------------------------------+--------------+----------+-------------+--------------------+-----------------+-------+------+--------+-------+----------------------------------+------------+---------+--------------+-----------------------------------------------------------------------------------+------------------+-------------------------------+-------------------------------+-------------------------------+---------+--------
 1 | cn_5002:140698314475264 | cn_5002      | postgres | OM | 144959613006392061 | 140698314475264 | 21820 | | 0 | 0 | wait node(total 3): dn_6005_6006 | | t       | dn_6005_6006 | +| OM | 2022-10-08 18:02:55.810858+08 | 2022-10-08 18:03:10.478458+08 | 2022-10-08 18:02:55.819575+08 | t       | active
 | | | | | | | | | | | | | | | INSERT INTO scheduler.bandwidth_history_table +| | | | | |
 | | | | | | | | | | | | | | | SELECT timestamp, node_name, "rxpck/s", "txpck/s", "rxkB/s", "txkB/s"+| | | | | |
 | | | | | | | | | | | | | | | FROM (select '2022-10-08 18:02:55' as timestamp), PGXC_COMM_STATUS; +| | | | | |
 | | | | | | | | | | | | | | | | | | | | | 
 2 | cn_5002:140698314475264 -> dn_6005_6006:140246537033472 | dn_6005_6006 | postgres | cn_5002     | 144959613006392061 | 140246537033472 | 1587 | | 0 | 0 | none                             | | f       | | SELECT * FROM pg_comm_status; | cn_5002          | 2022-10-08 12:01:38.70103+08 | 2022-10-08 18:03:10.478458+08 | 2022-10-08 18:03:10.493286+08 | f       | active

其中：

wait_status：当前线程的等待状态

wait_event：持有此锁或者在等待此锁的事务的虚拟id

exec_cn：是否执行sql语句的cn节点

wait_node：锁级别级别

query：查询语句

backend_start：后端进程启动时间，即客户端连接服务器的时间

xact_start：当前事务的启动时间

query_start：开始当前活跃查询的时间

waiting：是否正处于等待状态

state：后端当前总体状态

tips：为保证查询链条正确，在使用pgxc_wait_detail和pgxc_lockwait_detail时不能进行排序和分组。

想了解GuassDB(DWS)更多信息，欢迎微信搜索“GaussDB DWS”关注微信公众号，和您分享最新最全的PB级数仓黑科技，后台还可获取众多学习资料哦。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5583322

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linux策略路由详解

概述在Linux中，我们通常使用route命令来做路由信息的管理。但是该命令仅仅只能用于基本路由信息的管理，面对功能更加强大的基于策略的路由机制，route命令就显得捉襟见肘。在传统路由算法中，只能基于目的地址进行路由选择。但是如果对路由选择有更复杂的要求，比如针对不同源地址、传输层端口甚至是payload进行更细致的路由控制，传统的基于目的地址的路由表就无法满足需求了，需要使用功能更加强大的路由策略数据库routeing database: RPDB来处理。命令安装安装很简单，按照如下命令安装即可。 # 查看iproute是否安装 # 查看iproute版本 ]# ip -V ip utility, iproute2-ss170501 # 安装 yum install iproute -y 路由策略数据库(RPDB) RPDB是存放策略的数据库，被策略匹配的数据包会执行相关的操作，可以通过ip rule来管理。在系统启动时，内核会配置三条默认策略: # 通过ip rule show可以查看当前RPDB中的规则 ]# ip rule sh...

2022-10-10

410

摘要：PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。使用PyCharm插件配合ModelArts：一键帮助用户配置远程ModelArts Notebook，免去用户手工配置按需使用Notebook资源，启动停止，随心所欲本地代码提交至ModelArts训练任务，沉浸式AI开发体验 ModelArts是华为云一站式AI开发平台，“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。 AI模型开发的过程，称之为Modeling，一般包含两个阶段：开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理...

2022-10-10

466

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。