PostgreSQL Huge Page使用最佳实践-低调大师

PostgreSQL Huge Page使用最佳实践

2021-06-25 640

对于重度依赖于内存的应用数据库而言，hugepage是经常会被使用的。例如在Oracle中我们一般建议当SGA大于8GB时使用hugepage，而在postgresql中我们也建议当内存较大的时候开启hugepage。

为什么呢？这是因为Linux需要维护虚拟内存地址与物理内存的映射关系，为了提升转换性能，最好这部分能够cache在cpu的cache里面。页越大，映射表就越小。使用huge page可以减少页表大小。

接下来我们来看看pg中hugepage的设置方法。

设置方法：

1、首先我们需要看看数据库使用了多少内存。
获得PID
$ head -1 $PGDATA/postmaster.pid
4170

计算数据库启动用了多少内存，指定进程ID
$ pmap 4170 | awk ‘/rw-s/ && /zero/ {print $2}’
6490428K

2、计算需要使用多少hugepage
查看hugepage页大小
grep ^Hugepagesize /proc/meminfo
Hugepagesize: 2048 kB

计算需要多少hugepage（或者直接使用shared_buffer/hugepage页大小）
6490428 / 2048 = 3169.15

一般建议设置大于内存数，因为这里我们取整为：3170

3、分配hugepage
vi /etc/sysctl.conf
vm.nr_hugepages = 3170
sysctl -p

4、设置数据库参数
huge_pages = on # 或者try
shared_buffers = 64GB # 使用64G内存

5、重启数据库并查看hugepage使用情况
cat /proc/meminfo |grep -i huge

AnonHugePages: 6144 kB
HugePages_Total: 3170 ## 设置的HUGE PAGE
HugePages_Free: 3170 ## 这个是当前剩余的，但是实际上真正可用的并没有这么多，因为被PG锁定了3170个大页
HugePages_Rsvd: 3170 ## 启动PG时申请的HUGE PAGE
HugePages_Surp: 0
Hugepagesize: 2048 kB ## 当前大页2M

注意事项：

1、当配置参数huge_pages设置为on时，若PG启动时需要注册的共享内存大于操作系统提供的Huge Page大小时，数据库将无法启动。推荐将huge_pages参数设置为try，在此种场景下，PostMaster将会改为申请普通内存。
2、如果连接数较少时，使用HUGE PAGE性能不如不使用。因此我们可以尽量使用连接池，减少连接数，提升性能。

微信关注我们

原文链接：https://my.oschina.net/postgresqlchina/blog/5088981

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Dubbo 多个高危漏洞通告

报告编号：B6-2021-062402 报告来源：360CERT 报告作者：360CERT 更新日期：2021-06-24 1漏洞简述 2021年06月24日，360CERT监测发现Github SecurityLab发布了Dubbo组件多个高危漏洞的风险通告，漏洞编号为CVE-2021-25641等，漏洞等级：高危，漏洞评分：8.5。 Apache Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。漏洞的相关技术细节已由Github SecurityLab公开。对此，360CERT建议广大用户及时将Apache Dubbo升级到最新版本。与此同时，请做好资产自查以及预防工作，以免遭受黑客攻击。 2 风险等级 360CERT对该漏洞的评定结果如下评定方式等级威胁等级高危影响面广泛攻击者价值高利用难度高 360CERT评分 8.5 3漏洞详情 CVE-2021-25641: Dubbo 序列化漏洞 CVE: CVE-2021-25641 组件: Dubbo 漏洞类型:...

2021-06-25

793

我们可能经常会遇到需要在query调用自定义函数的情况，但是在Greenplum中，如果函数中有query，然后又在query中调用该函数则会报错。例子：创建函数 iap=# create or replace function f1() returns text as $$ declare c1 text; begin execute 'select info from tt1 limit 1' into c1; return c1; end; $$ language plpgsql; query中调用： iap=# select f1() from tt1; ERROR: query plan with multiple segworker groups is not supported HINT: likely caused by a function that reads or modifies data in a distributed table CONTEXT: SQL statement 'select info from tt1 limit 1...

2021-06-25

798

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。