带你认识数仓的监控系统TopSQL
本文分享自华为云社区《GaussDB(DWS)TopSQL总结》,作者:nullptr_ 。
TopSQL 背景
TopSQL为DWS的监控系统,记录DWS中各个作业、算子级别的资源使用数据、耗时数据,包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。
TopSQL 简介
TopSQL分为实时表和历史表,实时表主要展示系统当前的负载情况,历史表主要用于存储作业执行的历史情况。历史表主要用于历史问题的分析回溯和问题定位、实时表主要用来展示当前系统中作业执行情况,让系统现场更加直观,为运维工作带来了极大的方便。
TopSQL 功能介绍
主要视图
前提条件(参数介绍)
- enable_resource_track topsql开关,是否开始topsql功能
- resource_track_level 设置监控级别,query:类似于sql的explain输出信息,perf:类似于explain analyze输出信息,operator_reltime: 统计实时算子信息,operator:详细记录到每个算子的执行信息,并且层级为向下兼容 query->perf->operator_reltime->operator
- resource_track_cost topsql追踪执行时间大于等于resource_track_cost 的作业
- enable_track_record_sql 控制是否记录存储过程、匿名块内部的语句
- enable_track_record_subsql 控制是否记录存储过、匿名块内部语句
- resource_track_subsql_duration 过滤执行时间小于resource_track_subsql_duration的语句
字段含义介绍(重点功能作用)
类型介绍
值异常分析
TopSQL 重点逻辑梳理剖析
在DN通过打桩定期记录作业的实时信息,并将记录定期发送至CN,并将信息定期存储至实时表中pgxc_wlm_session_statistics中,并定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中,此过程为了减少阻塞将记录放到无锁队列中,无锁队列提供了记录的CAS原子操作,然后定期读取无锁队列中的内容进行转储,pgxc_wlm_session_info通过start_time进行分区,每天一个分区,通过参数topsql_retention_time配置默认保留30个分区即30天的记录,定期对pgxc_wlm_session_info的分区进行清理、创建。此过程在dws中有单独的线程运行,对系统的影响较小。无锁队列大小是有上限的,如果转储处理的速度赶不上生成的速度那么作业也会被丢弃。
历史
当前pgxc_wlm_session_history只包含最近3分钟的数据且数据来源实际是pgxc_wlm_session_info。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
山歌寥哉!生产制造系统需要新治理框架
本文分享自华为云社区《工业互联网系列(九):山歌寥哉!生产制造系统需要新治理框架》,作者: 云起MAE 。 前面文章介绍国内生产制造系统MES/MOM市场现状时,分析过因为目前MES/MOM类系统产品标准化程度低、行业碎片化严重、以定制化项目交付模式为主,导致市场处于同质化低水平竞争状态、企业用户和服务商供需两端都很痛苦。 近年来,随着软件开发技术门槛的大幅度降低、制造模式从“供应拉动”走向“需求拉动”、资本热钱加持、以及国内企业管理者在中国制造业整体格局提升下变得日益自信等多种环境因素下,传统以PLM/ERP/MES系统为核心的信息化架构在加速解构,国内涌现了一批单点应用厂商,传统ERP范畴的业务模块几被分拆干净,日益式微走向“财务管理”后台系统,尚未完成标准化的传统MES系统也不能幸免,沿着计划层/执行层/控制层被解构分拆。国内单点应用的头部厂商的营收能做到2亿以上,但是人效依然低(30多万)、入不敷出、靠资本续命,以至于单点SaaS应用的投资人绝望到想转行为“脱口秀演员”,在“雪球”社区发出了“中国不需要SaaS”的灵魂呐喊。 随着外部环境的不断变化,生产管理的复杂度及规模性也发...
- 下一篇
开源免费用|Apache Doris 2.0 推出跨集群数据复制功能
随着企业业务的发展,系统架构趋于复杂、数据规模不断增大,数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍,如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基础上,跨集群复制(Cross-Cluster Replication,CCR)应运而生,并逐渐成为数据和服务高可用性的重要保障。 CCR 通常被用于容灾备份、读写分离、集团与公司间数据传输和隔离升级等场景。 容灾备份:通常是将企业的数据备份到另一个集群与机房中,当突发事件导致业务中断或丢失时,可以从备份中恢复数据或快速进行主备切换。一般在对 SLA 要求比较高的场景中,都需要进行容灾备份,比如在金融、医疗、电子商务等领域中比较常见。 读写分离:读写分离是将数据的查询操作和写入操作进行分离,目的是降低读写操作的相互影响并提升资源的利用率。比如在数据库写入压力过大或在高并发场景中,采用读写分离可以将读/写操作分散到多个地域的只读/只写的数据库案例上,减少读写间的互相影响,有效保证数据库的性能及稳定性。 集团与分公司间数据传输:集团总部为了对集团内数据进行统一管控和分析,通常需要分布在各地域的分公司及时将数据传输同...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Red5直播服务器,属于Java语言的直播服务器
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS关闭SELinux安全模块