掌握把“烂”SQL牢牢关进笼子里的密钥-低调大师

掌握把“烂”SQL牢牢关进笼子里的密钥

2023-07-12 748

摘要：本文通过5个部分内容帮助开发者快速了解GaussDB(DWS) 资源管理机制，让数仓过载烦恼不再，把“烂”SQL牢牢关进笼子里。

本文分享自华为云社区《直播回顾 | 掌握把“烂”SQL牢牢关进笼子里的密钥》，作者：华为云社区精选。

混合负载场景下，怎样避免“烂”语句对数据库系统的冲击？如何在资源紧张的情况下，让高优先级的作业先行？本期《数仓过载不用愁，资源管理帮分忧》的主题直播中，我们邀请到华为云EI DTSE技术布道师周孟韬，针对GaussDB(DWS)资源管理机制与开发者和伙伴朋友们展开交流互动。通过5部分内容帮助开发者快速了解GaussDB(DWS) 资源管理机制，让数仓过载烦恼不再，把“烂”SQL牢牢关进笼子里。

资源池的并发管控介绍

基于华为云基础设施架构，GaussDB(DWS)提供标准数仓、实时数仓、IoT数仓3种形态，满足不同的业务诉求。在GaussDB(DWS)整体架构中，有4类资源管控，分别是：并发管控、算力管控、存储空间、资源池。

当前GaussDB(DWS)的并发支持三种管控模式：

1.global并发管控：

通过max_active_statements参数，约束当前集群支持的query并发上限；

2.Simple语句并发数

某个资源池内，简单语句的并发数上限；

3.复杂作业并发数

某个资源池内，复杂语句的并发数上限。

资源池的算力管控介绍

GaussDB(DWS)提供三种算力管控方式，分别是：内存管控、CPU管控和网络管控，本次主要介绍内存管控和CPU管控两种方式。

内存管控：GaussDB(DWS)为用户提供三种内存管控方式，用户可以根据业务需要，合理设置资源池级别的内存配比。

针对传统内存管理的弊端，GaussDB(DWS)设计实现了内存自适应技术，解除对work_mem的依赖，优化器依据统计信息对查询使用内存进行估算；执行器执行SQL过程中，如果使用内存超过估算内存即触发下盘；资源管理依据优化器估算的查询内存，对查询进行调度和管控。

CPU管控：GaussDB(DWS)使用cgroup实现了两种cpu管控能力，基于cpu.shares的共享配额管控和基于cpuset的专属限额管控。通过这两种方式，可以灵活地满足用户对于CPU资源不同维度的划分方式。

当作业超过资源池最大并发数时会造成资源池排队，短时的排队属于正常现象，但长时间持续排队，资源使用率就会变低。比较常见的是CCN排队，通常造成CCN排队的，主要是语句的估算内存耗尽导致，因此对于高内存开销的语句，需要通过合理的并发进行管控。

资源池评估方法

资源池的规划始终遵循由高到低来划分资源，优先配比高优先级，然后中优先级、最后低优先级；按照业务的SLA的要求，

高优先级满足峰值（无抖动、无排队）；
中优先级均值满足（可抖动，不报错、不积压）；
低优先级允许报错、超时；

可以根据TOPSql的UniqueSql_ID来进行归一化查询的资源汇总统计，分析不同业务的资源开销和并发诉求。

资源池高阶用法-query_band

资源池的传统用法是用户关联资源池，指定A用户进Resource_pool 1，B用户进Resource_pool 2，这样的归属方式要求我们对每一个业务归属非常清晰，实操难度大，会造成用户数无法控制的情况。因此我们还支持出另外一种资源池路由方式---query_band。用户发起的查询根据用户的执行参数先路由到query_band再路由到资源池，只需要识别query_band的key即可，不再关注作业对于用户的归属，降低资源池的规划难度。

资源池空间管控&算子下盘

GaussDB(DWS)为MPP架构，每个DN使用率不能超过当前磁盘空间总容量的90%（单个DN达到阈值后，触发集群自我保护机制，也就是只读），因此我们需要尽可能避免数据倾斜，GaussDB(DWS)提供了单语句的空间管控（默认10%磁盘容量大小，单次插入超过10%，当前query会触发熔断），以及用户和Schema空间管控的能力，来很好的帮助用户规划自己的空间资源。

欢迎感兴趣的开发者观看直播回放，了解详细信息。更多关于GaussDB(DWS)产品技术解析、数仓产品新特性的介绍，请关注GaussDB(DWS)论坛，技术博文分享、直播安排将第一时间发布在GaussDB(DWS)论坛。

论坛链接：https://bbs.huaweicloud.com/forum/forum-598-1.html

直播回放链接：https://bbs.huaweicloud.com/live/DTT_live/202306281630.html

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/10087947

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【ACL 2023】具有高效推理速度的中文领域文图生成扩散模型和工具链

近日，阿里云机器学习平台PAI与华南理工大学合作（阿里云与华南理工大学联合培养项目）在自然语言处理顶级会议ACL2023上发表了具有高效推理速度的中文领域文图生成扩散模型和工具链Rapid Diffusion。它是面向中文特定领域的文图生成模型，采用与Stable Diffusion一样的模型结构，在给定中文文本的情况下可以实现快速的文图生成工作，此外，我们提供了一键式部署功能，用户可以在个人数据上一键式的进行模型的Finetune与推理。论文： Bingyan Liu*, Weifeng Lin*, Zhongjie Duan, Chengyu Wang, Ziheng Wu, Zipeng Zhang, Kui Jia, Lianwen Jin, Cen Chen, Jun Huang. Rapid Diffusion: Building Domain-Specific Text-to-Image Synthesizers with Fast Inference Speed. ACL 2023 （Industry Track) 背景 Text-to-Image Synthesis...

2023-07-11

737

摘要：华为开发者大会2023（Cloud）期间，由华为云开源主导的“5大开源项目发布与更新，多种底层能力助力开发者实现应用创新”分论坛圆满落幕。本文分享自华为云社区《HDC.Cloud 2023 |华为云5大开源项目发布与更新，助力开发者实现应用创新》，作者：华为云开源。华为开发者大会2023（Cloud）期间，由华为云开源主导的“5大开源项目发布与更新，多种底层能力助力开发者实现应用创新”分论坛圆满落幕。在本次分论坛中，华为云开源业务总经理邓明昆介绍了华为云开源的发展现状与规划，并正式对外发布2个开源项目：OpenTiny、Kmesh，以及3大开源项目特性升级解读。邓明昆，华为云开源业务总经理华为云正式对外发布2个开源项目新发布项目一：跨端、跨框架、跨版本企业级应用前端组件库—OpenTiny OpenTiny是华为云开源的Web应用前端开发套件，涵盖Vue2/Vue3/Angular多技术栈，拥有主题配置系统/中后台模板/CLI命令行等工具库。OpenTiny经过九年持续打磨，服务于华为内外部上千个项目，是一个千锤百炼、稳定可靠的前端开发解决方案。核心亮点： 1、支...

2023-07-12

785

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。