GaussDB(DWS)性能调优，解决DM区大内存占用问题-低调大师

GaussDB(DWS)性能调优，解决DM区大内存占用问题

2024-07-04 255

本文分享自华为云社区《GaussDB(DWS)性能调优：DM区优化案例——维度表关联条件存在会计期》，作者： O泡果奶~。

当前DM（P1、P3、CBGDM）存在维度表与主表关联时使用会计期作为关联条件，会导致出现大内存占用或未识别数据倾斜的问题

【场景一】f.period_id = 维度表.period_id

1.1、【问题描述】

主表和维度表关联过程中将会计期作为关联条件，导致维度表未进行分区剪枝，可能会产生大内存占用的情况

1.2、【原始SQL】

仅呈现SQL中的问题，详细SQL见附件

FROM
		DMACC.dm_adp_ar_trx_dtl_tmp F
		INNER JOIN DMDIM.DM_DIM_REGION_RC_D REG ON F.COA_GEO_PC_KEY = REG.GEO_PC_KEY
		INNER JOIN DMDIM.DM_DIM_PRODUCT_T_D T9 ON F.PROD_KEY = T9.PROD_KEY 
		AND T9.PROD_POV_ID = 1
		INNER JOIN DMDIM.DM_DIM_PROJECT_D J ON F.PROJ_KEY = J.PROJ_KEY
		INNER JOIN DMDIM.DM_DIM_CONTRACT_D HT ON HT.CONTRACT_KEY = F.CONTRACT_KEY
		LEFT JOIN DMCOMMON.DWR_CONFIG_DOMESTIC_FINANCE_V FIN ON F.COA_COMPANY_KEY = FIN.COMPANY_KEY 
		AND F.COA_GEO_PC_KEY = FIN.GEO_PC_KEY
		LEFT JOIN DMAR.DWB_FMD_DIM_INVOICE_PAY_PLAN_D PP ON F.AR_INVOICE_PAY_PLAN_ID = PP.AR_INVOICE_PAY_PLAN_ID 
		AND F.PERIOD_ID = PP.PERIOD_ID
		LEFT JOIN DMARDI.DWR_DIM_AR_INVOICE_V INV ON F.AR_INVOICE_ID = INV.AR_INVOICE_ID
		INNER JOIN DMARDI.DWR_DIM_AR_APPLICATION_V APP ON F.AR_APPLICATION_RECORD_ID = APP.AR_APPLICATION_RECORD_ID
		INNER JOIN DMARDI.DWR_DIM_AR_RECEIPT_V RCP ON F.AR_RECEIPT_RECORD_ID = RCP.AR_RECEIPT_RECORD_ID
		INNER JOIN DMARDI.DWR_DIM_AR_RECEIPT_TYPE_V RT ON RCP.RECEIPT_RECORD_TYPE_ID = RT.AR_RECEIPT_TYPE_ID
		LEFT JOIN (
		SELECT C
			.CONTRACT_KEY,
			D.COMPANY_KEY,
			R.FIRST_SHIP_DATE 
		FROM
			DMDIM.dm_dim_contract_d C,
			DMDIM.DM_DIM_COMPANY_D D,
			DMARDI.DWR_CTRCT_FIRST_SHIP_DATE_R R 
		WHERE
			C.CONTRACT_ID = R.CONTRACT_ID 
			AND D.COMPANY_ID = R.COMPANY_ID 
		) FR ON F.CONTRACT_KEY = FR.CONTRACT_KEY 
		AND F.COA_COMPANY_KEY = FR.COMPANY_KEY
		INNER JOIN DMDIM.DM_DIM_SALES_MODE_D MO ON F.SALES_MODE_KEY = MO.SALES_MODE_KEY
		JOIN DMDIM.DM_DIM_JOURNAL_SOURCE_D T29 ON F.JE_SOURCE_ID = T29.JE_SOURCE_ID
		JOIN DMDIM.DM_DIM_JOURNAL_CATEGORY_D T30 ON F.JE_CATEGORY_ID = T30.JE_CATEGORY_ID

1.3、【性能分析】

从上图的执行计划可以看出，由于用会计期作为关联条件，导致维度表未进行分区剪枝，数据量大，不但产生了数据倾斜，同时还由于数据量大出现了关联下盘，大大降低了sql执行性能。
主表只有一个会计期，可以识别出对应的会计期，然后对SQL进行如下改写：

FROM
		DMACC.dm_adp_ar_trx_dtl_tmp F
		INNER JOIN DMDIM.DM_DIM_REGION_RC_D REG ON F.COA_GEO_PC_KEY = REG.GEO_PC_KEY
		INNER JOIN DMDIM.DM_DIM_PRODUCT_T_D T9 ON F.PROD_KEY = T9.PROD_KEY 
		AND T9.PROD_POV_ID = 1
		INNER JOIN DMDIM.DM_DIM_PROJECT_D J ON F.PROJ_KEY = J.PROJ_KEY
		INNER JOIN DMDIM.DM_DIM_CONTRACT_D HT ON HT.CONTRACT_KEY = F.CONTRACT_KEY
		LEFT JOIN DMCOMMON.DWR_CONFIG_DOMESTIC_FINANCE_V FIN ON F.COA_COMPANY_KEY = FIN.COMPANY_KEY 
		AND F.COA_GEO_PC_KEY = FIN.GEO_PC_KEY
		LEFT JOIN DMAR.DWB_FMD_DIM_INVOICE_PAY_PLAN_D PP ON F.AR_INVOICE_PAY_PLAN_ID = PP.AR_INVOICE_PAY_PLAN_ID 
		AND PP.PERIOD_ID = '202406'
		LEFT JOIN DMARDI.DWR_DIM_AR_INVOICE_V INV ON F.AR_INVOICE_ID = INV.AR_INVOICE_ID
		INNER JOIN DMARDI.DWR_DIM_AR_APPLICATION_V APP ON F.AR_APPLICATION_RECORD_ID = APP.AR_APPLICATION_RECORD_ID
		INNER JOIN DMARDI.DWR_DIM_AR_RECEIPT_V RCP ON F.AR_RECEIPT_RECORD_ID = RCP.AR_RECEIPT_RECORD_ID
		INNER JOIN DMARDI.DWR_DIM_AR_RECEIPT_TYPE_V RT ON RCP.RECEIPT_RECORD_TYPE_ID = RT.AR_RECEIPT_TYPE_ID
		LEFT JOIN (
		SELECT C
			.CONTRACT_KEY,
			D.COMPANY_KEY,
			R.FIRST_SHIP_DATE 
		FROM
			DMDIM.dm_dim_contract_d C,
			DMDIM.DM_DIM_COMPANY_D D,
			DMARDI.DWR_CTRCT_FIRST_SHIP_DATE_R R 
		WHERE
			C.CONTRACT_ID = R.CONTRACT_ID 
			AND D.COMPANY_ID = R.COMPANY_ID 
		) FR ON F.CONTRACT_KEY = FR.CONTRACT_KEY 
		AND F.COA_COMPANY_KEY = FR.COMPANY_KEY
		INNER JOIN DMDIM.DM_DIM_SALES_MODE_D MO ON F.SALES_MODE_KEY = MO.SALES_MODE_KEY
		JOIN DMDIM.DM_DIM_JOURNAL_SOURCE_D T29 ON F.JE_SOURCE_ID = T29.JE_SOURCE_ID
		JOIN DMDIM.DM_DIM_JOURNAL_CATEGORY_D T30 ON F.JE_CATEGORY_ID = T30.JE_CATEGORY_ID

经优化后，执行计划如下图所示，维度表进行了分区剪枝，数据量减少，缓解了数据倾斜，也避免了关联下盘的问题。

【场景二】f left join 维度表 on f.period_id = 维度表.period_id and 维度表.period_id = ‘会计期’

2.1、【问题描述】

主表和维度表关联过程中将会计期作为关联条件，同时还为维度表会计期进行赋值，可能会产生数据倾斜未识别的情况

2.2、【原始SQL】

FROM
		dmdp.dm_dpc_inv_m_dtl_f_TEM_A LT1
		LEFT JOIN dmcommon.dm_dim_prod_key_r LT2 ON LT1.prod_key = LT2.old_key 
		AND LT1.period_id = LT2.period_id 
		AND LT2.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_reg_key_r LT3 ON LT1.period_id = LT3.period_id 
		AND LT1.geo_pc_key = LT3.old_key 
		AND LT3.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT4 ON LT1.period_id = LT4.period_id 
		AND LT1.account_dept_cust_key = LT4.old_key 
		AND LT4.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_proj_key_r LT5 ON LT1.period_id = LT5.period_id 
		AND LT1.proj_key = LT5.old_key 
		AND LT5.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT6 ON LT1.period_id = LT6.period_id 
		AND LT1.enterprise_cust_key = LT6.old_key 
		AND LT6.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_rep_key_r LT7 ON LT1.period_id = LT7.period_id 
		AND LT1.report_item_id = LT7.old_key 
		AND LT7.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_supply_center_key_r LT8 ON LT1.period_id = LT8.period_id 
		AND LT1.supply_center_key = LT8.old_key 
		AND LT8.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_inv_key_r LT9 ON LT1.period_id = LT9.period_id 
		AND LT1.inventory_class_key = LT9.old_key 
		AND LT9.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_bus_key_r LT10 ON LT1.period_id = LT10.period_id 
		AND LT1.business_status_key = LT10.old_key 
		AND LT10.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_hisi_key_r LT11 ON LT1.period_id = LT11.period_id 
		AND LT1.hisi_prod_key = LT11.old_key 
		AND LT11.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_inv_org_key_r LT12 ON LT1.period_id = LT12.period_id 
		AND LT1.inventory_org_key = LT12.old_key 
		AND LT12.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT13 ON LT1.period_id = LT13.period_id 
		AND LT1.end_cust_key = LT13.old_key 
		AND LT13.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT14 ON LT1.period_id = LT14.period_id 
		AND LT1.sign_cust_key = LT14.old_key 
		AND LT14.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT15 ON LT1.period_id = LT15.period_id 
		AND LT1.agent_distribution_cust_key = LT15.old_key 
		AND LT15.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_com_key_r LT16 ON LT1.period_id = LT16.period_id 
		AND LT1.company_key = LT16.old_key 
		AND LT16.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_con_key_r LT17 ON LT1.period_id = LT17.period_id 
		AND LT1.contract_key = LT17.old_key 
		AND LT17.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_con_key_r LT18 ON LT1.period_id = LT18.period_id 
		AND LT1.loan_contract_key = LT18.old_key 
		AND LT18.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_supply_center_key_r LT19 ON LT1.period_id = LT19.period_id 
		AND LT1.target_supply_center_key = LT19.old_key 
		AND LT19.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_subinventory_key_r LT20 ON LT1.period_id = LT20.period_id 
		AND LT1.subinventory_key = LT20.old_key 
		AND LT20.PERIOD_ID = 202406 
	WHERE
		1 = 1 
	AND partition_value IN ( 0, 1 )

2.3、【性能分析】

上图的执行计划可以看出，在主表一开始关联过程中就存在数据倾斜，导致SQL执行性能差。

详细执行计划中，虽然维度表进行了分区剪枝，但由于使用了 left join，导致关联条件中维度表的常量period_id不能直接赋值给主表period_id，主表关联后的结果重分布时将period_id作为了分布键之一，这会影响优化器的倾斜优化。
可以将f.period_id = 维度表.period_id这一关联条件删掉，对sql进行如下改写

FROM
		dmdp.dm_dpc_inv_m_dtl_f_TEM_A LT1
		LEFT JOIN dmcommon.dm_dim_prod_key_r LT2 ON LT1.prod_key = LT2.old_key 
		AND LT2.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_reg_key_r LT3 ON LT1.geo_pc_key = LT3.old_key 
		AND LT3.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT4 ON LT1.account_dept_cust_key = LT4.old_key 
		AND LT4.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_proj_key_r LT5 ON LT1.proj_key = LT5.old_key 
		AND LT5.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT6 ON LT1.enterprise_cust_key = LT6.old_key 
		AND LT6.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_rep_key_r LT7 ON LT1.report_item_id = LT7.old_key 
		AND LT7.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_supply_center_key_r LT8 ON LT1.supply_center_key = LT8.old_key 
		AND LT8.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_inv_key_r LT9 ON LT1.inventory_class_key = LT9.old_key 
		AND LT9.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_bus_key_r LT10 ON LT1.business_status_key = LT10.old_key 
		AND LT10.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_hisi_key_r LT11 ON LT1.hisi_prod_key = LT11.old_key 
		AND LT11.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_inv_org_key_r LT12 ON LT1.inventory_org_key = LT12.old_key 
		AND LT12.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT13 ON LT1.end_cust_key = LT13.old_key 
		AND LT13.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT14 ON LT1.sign_cust_key = LT14.old_key 
		AND LT14.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_cus_key_r LT15 ON LT1.agent_distribution_cust_key = LT15.old_key 
		AND LT15.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_com_key_r LT16 ON LT1.company_key = LT16.old_key 
		AND LT16.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_con_key_r LT17 ON LT1.contract_key = LT17.old_key 
		AND LT17.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_con_key_r LT18 ON LT1.loan_contract_key = LT18.old_key 
		AND LT18.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_supply_center_key_r LT19 ON LT1.target_supply_center_key = LT19.old_key 
		AND LT19.PERIOD_ID = 202406
		LEFT JOIN dmcommon.dm_dim_subinventory_key_r LT20 ON LT1.subinventory_key = LT20.old_key 
		AND LT20.PERIOD_ID = 202406 
	WHERE
		1 = 1 
	AND partition_value IN ( 0, 1 )

改写后，执行计划如下所示

可以看出，执行计划不但进行了分区剪枝，同时优化器还进行了倾斜优化，提高了SQL执行性能

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/11333053

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

中国首个全尺寸开源通用人形机器人公版机“青龙”发布

在2024世界人工智能大会（WAIC 2024）期间，开源通用人形机器人公版机“青龙”正式发布。“青龙”人形机器人身高185cm，体重80kg，拥有高度仿生的躯干构型和拟人化的运动控制，支持多模态机动、多模态感知、多模态交互和多模态操控，全身多达43个主动自由度，最大关节峰值扭矩400N.m，算力支持400TOPs。运动能力上，“青龙”人形机器人同时具备高机动下肢行走配置与轻量化高精度上肢作业配置，支持快速行走、敏捷避障、稳健上下坡和抗冲击干扰等四大运动功能，是通用人工智能软硬件开发的理想载体。 “青龙”由人形机器人（上海）有限公司自主研发，人形机器人（上海）有限公司是由行业头部企业成立的新型研发机构，注册资本10亿元。公司已获批省部级上海人形机器人制造业创新中心，并于2024年5月由工业和信息化部授牌国家地方共建人形机器人创新中心（以下简称“创新中心”）。据介绍，创新中心聚焦人形机器人共性关键技术领域，围绕“创新技术研发中心、公共孵化平台、创新人才培育基地、创新核心智库、产业服务平台”等五大功能定位，致力于建设贯穿创新链、产业链、资金链和人才链的人形机器人创新生态系统，打造全国领...

2024-07-05

278

本文分享自华为云社区《寻找适合编写静态分析规则的语言》，作者：Uncle_Tom。 1. 程序静态分析的作用程序的静态分析是一种在不运行程序的情况下，通过分析程序代码来发现潜在的错误、安全漏洞、性能问题以及不符合编码规范的情况的技术。程序的静态分析在现代软件安全中扮演着至关重要的角色。以下是静态分析在软件安全中的一些关键作用：代码质量保证：静态分析有助于确保代码符合安全编码标准和最佳实践，从而提高代码的质量和安全性。参考：代码的安全检视合规性检查：许多行业标准和法规要求对软件进行安全合规性检查。静态分析工具可以帮助组织确保其软件产品符合这些标准和法规要求。参考：一图看懂软件缺陷检查涉及的内容漏洞检测：静态分析工具可以在代码编写阶段检测潜在的安全漏洞，如SQL注入、跨站脚本攻击（XSS）、缓冲区溢出等。参考：2023年最具威胁的25种安全漏洞(CWE TOP 25) 减少开发成本：通过在开发早期阶段发现问题，静态分析可以减少后期修复的成本和时间，因为后期修复通常成本更高。参考：构建DevSecOps中的代码三层防护体系 2. 静态分析工具的业务痛点随着现在工程...

2024-07-05

282

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。