分布式DB数据倾斜的原因和解法 - 阿里云HybridDB for PostgreSQL最佳实践-低调大师

分布式DB数据倾斜的原因和解法 - 阿里云HybridDB for PostgreSQL最佳实践

2017-08-25 716

背景

对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。

当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。

如何监控倾斜

1、监控数据库级别倾斜

postgres=#  select gp_execution_dbid(), datname, pg_size_pretty(pg_database_size(datname)) from gp_dist_random('pg_database') order by 2,1,pg_database_size(datname) desc;
 gp_execu

微信关注我们

原文链接：https://yq.aliyun.com/articles/179200

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云HybridDB for PostgreSQL内存与负载管理(resource queue)实践

标签 PostgreSQL , Greenplum , 阿里云HybridDB for PostgreSQL , 内存管理 , OOM , 操作系统内核参数 , 资源队列 , 数据库内存保护参数背景 Greenplum是一个重计算和重资源的MPP数据库，可谓有多少资源就能消耗多少资源，带来的好处是处理速度变快了，坏处就是容易用超。 CPU、网络、硬盘用超的话，关系不大，因为大不了就是到硬件瓶颈，但是内存用超的话会带来较大的负面影响，例如操作系统OOM用户进程，导致数据库崩溃等。如果要达到非常强壮的稳定性，Greenplum内存的配置非常的关键。（当然代码本身的质量也很关键）如何避免OOM OOM指遇到了进程申请内存不足的错误。例如 Out of memory (seg27 host.example.com pid=47093) VM P

2017-08-26

500

分布式DB锁问题排查方法 - 阿里云HybridDB for PostgreSQL最佳实践

标签 PostgreSQL , Greenplum , 锁 , SEGMENT不一致 , gp_session_role=utility , gp_dist_random 背景 Greenplum(GPDB)是一个分布式数据库，分布式数据库的锁管理比单机更加复杂。例如在加锁时，需要对所有节点加锁（包括MASTER和所有的SEGMENT节点），在释放锁时，则需要释放所有节点的锁。如果在释放过程中，MASTER的锁释放了，而SEGMENT锁没有释放，会造成什么问题呢？不用说，会有很诡异的问题出现。例如某个会话锁了某一张表，但是会话退出时，主节点的锁释放了，SEGNEMT节点的锁没有释放。那么用户在发起新的会话后，如果加载与之冲突的锁，当然要等待了。但是在MASTER节点你观察不到到底它在等待谁，你只能观察到它在等待。是不是很诡异呢？锁查看方

2017-08-26

681

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。