首页 文章 精选 留言 我的

使用OGG for PG微服务快速双向同步RDS数据库（双主）

2021-12-07 556

类似文章

OGG有传统的经典架构，也有最新的微服务，2个都可以远程捕获和应用数据，对数据库服务器是0侵入，而传统的经典架构是纯命令行模式，最新的微服务架构是图形化界面操作，几乎所有操作都可以在界面进行。相关文章可以参考：

使用OGG for PG微服务

-- 创建专用网络
docker network create --subnet=172.72.6.0/24 pg-network


-- OGG微服务
docker pull lhrbest/ogg213mapg:v1.0

docker rm -f lhrogg213mapg
docker run -d --name lhrogg213mapg -h lhrogg213mapg \
--net=pg-network --ip 172.72.6.25 \
-p 9390:3389 -p 19000-19005:9000-9005 \
-v /sys/fs/cgroup:/sys/fs/cgroup \
--privileged=true lhrbest/ogg213mapg:v1.0 \
/usr/sbin/init



-- PG A
docker rm -f lhrpga
docker run -d --name lhrpga -h lhrpga \
-p 64320:5432 --net=pg-network --ip 172.72.6.20 \
-e POSTGRES_PASSWORD=lhr \
-e TZ=Asia/Shanghai \
postgres:13.4


-- PG B
docker rm -f lhrpgb
docker run -d --name lhrpgb -h lhrpgb \
-p 64321:5432 --net=pg-network --ip 172.72.6.21 \
-e POSTGRES_PASSWORD=lhr \
-e TZ=Asia/Shanghai \
postgres:13.4


-- 2个PG库需要配置
psql -U postgres -h 192.168.66.35 -p 64320
psql -U postgres -h 192.168.66.35 -p 64321

alter system set wal_level='logical';
alter system set max_replication_slots = 10 ;

create database lhrdb;
\c lhrdb
create schema ogg;

docker restart lhrpga lhrpgb






-- OGGMA
cat > /ogg213c/ogg_ma/odbc.ini <<'EOF'
[ODBC Data Sources]
PGDSN1=DataDirect 13 PostgreSQL Wire Protocol
PGDSN2=DataDirect 13 PostgreSQL Wire Protocol

[ODBC]
IANAAppCodePage=106
InstallDir=/ogg213c/ogg_ma

[PGDSN1]
Driver=/ogg213c/ogg_ma/lib/GGpsql25.so
#Driver=/usr/lib64/psqlodbcw.so
Description=DataDirect 13 PostgreSQL Wire Protocol
Database=lhrdb
HostName=172.72.6.20
PortNumber=5432
LogonID=postgres
Password=lhr

[PGDSN2]
Driver=/ogg213c/ogg_ma/lib/GGpsql25.so
#Driver=/usr/lib64/psqlodbcw.so
Description=DataDirect 13 PostgreSQL Wire Protocol
Database=lhrdb
HostName=172.72.6.21
PortNumber=5432
LogonID=postgres
Password=lhr

EOF

访问：http://192.168.66.35:19000 ，用户名：oggadmin，密码：lhr

创建身份证明

或直接访问：http://192.168.66.35:19001/

创建检查点表

由于我们要配置双主，所以，这里的PG1和PG2都需要配置检查点表，否则只在目标端配置检查点表即可。

数据初始化

首先将PGA和PGB的lhrdb库的数据初始化.

-- pga建表并插入数据
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/pgsql/lib

sysbench /usr/share/sysbench/oltp_common.lua --db-driver=pgsql \
--pgsql-host=172.72.6.20 --pgsql-port=5432 \
--pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
--table-size=10000 --tables=10 --threads=80 \
--events=999999999 --time=60 prepare

-- pgb只是建表，注意：table-size
sysbench /usr/share/sysbench/oltp_common.lua --db-driver=pgsql \
--pgsql-host=172.72.6.21 --pgsql-port=5432 \
--pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
--table-size=0 --tables=10 --threads=80 \
--events=999999999 --time=60 prepare

当然，我们可以不使用OGG进行数据的初始化，也可以使用数据库本身的工具进行初始化，例如：

pg_dump -d lhrdb > lhrdb.dmp

psql -U postgres -d lhrdb -h 172.72.6.21 < lhrdb.dmp

这里演示从OGG进行数据的初始化。

添加表的TRANDATA 信息

image-20211202221059559

2个库的public下的表都需要添加。

从PGA配置初始提取

参数内容：

EXTRACT ext0
SETENV(PGCLIENTENCODING = 'UTF8')
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini')
SOURCEDB PGDSN1 USERIDALIAS PG1, DOMAIN OGGMA
EXTFILE ./dirdat/e0 , PURGE
TABLE public.*;

数据已经导出到本地。

将数据导入到PGB

image-20211202155600306

image-20211202160022049

参数：

REPLICAT rep0
SETENV(PGCLIENTENCODING = 'UTF8' )
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini')
TARGETDB PGDSN2 USERIDALIAS PG2, DOMAIN OGGMA
MAP public.*, TARGET public.*;

image-20211202160303356

可以看到，数据都已经抽取到目标端了。

配置复制槽

在配置PostgreSQL实时同步之前，需要先配置复制槽。

C:\Users\lhrxxt>adminclient
Oracle GoldenGate Administration Client for Oracle
Version 21.3.0.0.1 OGGCORE_21.3.0.0.1_PLATFORMS_211007.1817

Copyright (C) 1995, 2021, Oracle and/or its affiliates. All rights reserved.

Windows x64 (optimized) on Oct 7 2021 21:05:36
Operating system character set identified as GBK.

OGG (not connected) 1> CONNECT http://192.168.66.35:19001 deployment deploy213 as oggadmin password lhr

OGG (http://192.168.66.35:19001 deploy213) 2> dblogin useridalias PG1 DOMAIN OGGMA
Successfully logged into database.

OGG (http://192.168.66.35:19001 deploy213 as PG1@lhrdb) 3> REGISTER EXTRACT ext1
2021-12-02T14:22:17Z INFO OGG-25355 Successfully created replication slot 'ext1_eaa1c3d574a94c47' for Extract group 'EXT1' in database 'lhrdb'.

OGG (http://192.168.66.35:19001 deploy213 as PG1@lhrdb) 4> dblogin useridalias PG2 DOMAIN OGGMA
Successfully logged into database.

OGG (http://192.168.66.35:19001 deploy213 as PG2@lhrdb) 6> REGISTER EXTRACT ext2
2021-12-02T14:23:36Z INFO OGG-25355 Successfully created replication slot 'ext2_5521571981698d81' for Extract group 'EXT2' in database 'lhrdb'.

OGG (http://192.168.66.35:19001 deploy213 as PG2@lhrdb) 7> info all
Program Status Group Type Lag at Chkpt Time Since Chkpt

REPLICAT RUNNING REP0 NONINTEGRATED 00:00:00 00:00:06

OGG (http://192.168.66.35:19001 deploy213 as PG2@lhrdb) 8> CONNECT http://192.168.66.35:19000 deployment deploy213 as oggadmin password lhr

OGG (http://192.168.66.35:19000 deploy213) 9> info all
Program Status Group Type Lag at Chkpt Time Since Chkpt

ADMINSRVR RUNNING
DISTSRVR RUNNING
PMSRVR RUNNING
RECVSRVR RUNNING

若不配置复制槽，会报错：OGG-25374
Oracle GoldenGate Capture for PostgreSQL, EXT1.prm: The replication slot ‘ext1_eaa1c3d574a94c47’ for group ‘EXT1’ does not exist in the database ‘lhrdb’.

配置PGA到PGB的实时同步

创建extract进程

若是报错：OGG-15409 Alias ‘PG1’ not found in credential store domain ‘OracleGoldenGate’.

可以忽略，或者参考创建身份证明，在域OracleGoldenGate中创建PG1和PG2。

参数：

extract ext1
SETENV(PGCLIENTENCODING = 'UTF8' )
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini' )
SOURCEDB PGDSN1 USERIDALIAS PG1, DOMAIN OGGMA
exttrail ./dirdat/e1
IGNOREREPLICATES
TRANLOGOPTIONS FILTERTABLE ogg.ckpt
table public.*;

创建replicate进程

参数：

replicat rep1
SETENV(PGCLIENTENCODING = 'UTF8' )
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini' )
SETENV(NLS_LANG='AMERICAN_AMERICA.AL32UTF8')
TARGETDB PGDSN2 USERIDALIAS PG2, DOMAIN OGGMA
map public.*, target public.*;

配置B到A的实时同步

创建extract进程

参数：

extract ext2
SETENV(PGCLIENTENCODING = 'UTF8' )
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini' )
SOURCEDB PGDSN2 USERIDALIAS PG2, DOMAIN OGGMA
exttrail ./dirdat/e2
IGNOREREPLICATES
TRANLOGOPTIONS FILTERTABLE ogg.ckpt
table public.*;

创建replicate进程

参数：

replicat rep2
SETENV(PGCLIENTENCODING = 'UTF8')
SETENV(ODBCINI='/ogg213c/ogg_ma/odbc.ini')
SETENV(NLS_LANG='AMERICAN_AMERICA.AL32UTF8')
TARGETDB PGDSN1 USERIDALIAS PG1, DOMAIN OGGMA
map public.*, target public.*;

配置完成后的效果

压测同步并查看检测数据

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/pgsql/lib

-- 在PGA压测
sysbench /usr/share/sysbench/oltp_read_write.lua --db-driver=pgsql \
--pgsql-host=172.72.6.20 --pgsql-port=5432 \
--pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
--table-size=1000 --tables=10 --threads=20 \
--events=999999999 --time=60 --report-interval=10 \
--db-ps-mode=disable --forced-shutdown=1 run



-- 在PGB压测
sysbench /usr/share/sysbench/oltp_read_write.lua --db-driver=pgsql \
--pgsql-host=172.72.6.21 --pgsql-port=5432 \
--pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
--table-size=1000 --tables=10 --threads=20 \
--events=999999999 --time=60 --report-interval=10 \
--db-ps-mode=disable --forced-shutdown=1 run

在PGA侧加压

[root@docker35 ~]# export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/pgsql/lib
[root@docker35 ~]# sysbench /usr/share/sysbench/oltp_read_write.lua --db-driver=pgsql \
> --pgsql-host=172.72.6.20 --pgsql-port=5432 \
> --pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
> --table-size=1000 --tables=10 --threads=20 \
> --events=999999999 --time=60 --report-interval=10 \
> --db-ps-mode=disable --forced-shutdown=1 run
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 20
Report intermediate results every 10 second(s)
Initializing random number generator from current time

Forcing shutdown in 61 seconds

Initializing worker threads...

Threads started!

[ 10s ] thds: 20 tps: 276.96 qps: 5884.44 (r/w/o: 4146.04/1108.42/629.97) lat (ms,95%): 215.44 err/s: 17.99 reconn/s: 0.00
[ 20s ] thds: 20 tps: 314.00 qps: 6681.87 (r/w/o: 4709.65/1257.81/714.41) lat (ms,95%): 150.29 err/s: 21.60 reconn/s: 0.00
[ 30s ] thds: 20 tps: 289.10 qps: 6186.99 (r/w/o: 4362.26/1159.82/664.91) lat (ms,95%): 150.29 err/s: 22.90 reconn/s: 0.00
[ 40s ] thds: 20 tps: 284.20 qps: 6040.41 (r/w/o: 4256.21/1137.30/646.90) lat (ms,95%): 132.49 err/s: 19.40 reconn/s: 0.00
[ 50s ] thds: 20 tps: 207.20 qps: 4382.53 (r/w/o: 3091.15/822.69/468.69) lat (ms,95%): 179.94 err/s: 13.60 reconn/s: 0.00
[ 60s ] thds: 20 tps: 267.65 qps: 5700.71 (r/w/o: 4015.83/1074.59/610.28) lat (ms,95%): 167.44 err/s: 19.20 reconn/s: 0.00
SQL statistics:
queries performed:
read: 245868
write: 65645
other: 37381
total: 348894
transactions: 16413 (269.81 per sec.)
queries: 348894 (5735.37 per sec.)
ignored errors: 1149 (18.89 per sec.)
reconnects: 0 (0.00 per sec.)

General statistics:
total time: 60.8276s
total number of events: 16413

Latency (ms):
min: 10.27
avg: 73.47
max: 2213.35
95th percentile: 161.51
sum: 1205833.27

Threads fairness:
events (avg/stddev): 820.6500/22.37
execution time (avg/stddev): 60.2917/0.38

可以看到数据是完全同步的！

在PGB侧加压

[root@docker35 ~]# sysbench /usr/share/sysbench/oltp_read_write.lua --db-driver=pgsql \
> --pgsql-host=172.72.6.21 --pgsql-port=5432 \
> --pgsql-user=postgres --pgsql-password=lhr --pgsql-db=lhrdb \
> --table-size=1000 --tables=10 --threads=20 \
> --events=999999999 --time=60 --report-interval=10 \
> --db-ps-mode=disable --forced-shutdown=1 run
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 20
Report intermediate results every 10 second(s)
Initializing random number generator from current time

Forcing shutdown in 61 seconds

Initializing worker threads...

Threads started!

[ 10s ] thds: 20 tps: 235.78 qps: 5027.44 (r/w/o: 3544.39/944.82/538.23) lat (ms,95%): 257.95 err/s: 15.89 reconn/s: 0.00
[ 20s ] thds: 20 tps: 256.61 qps: 5544.15 (r/w/o: 3914.04/1036.44/593.67) lat (ms,95%): 227.40 err/s: 22.78 reconn/s: 0.00
[ 30s ] thds: 20 tps: 181.34 qps: 3826.18 (r/w/o: 2694.53/723.94/407.71) lat (ms,95%): 831.46 err/s: 10.91 reconn/s: 0.00
[ 40s ] thds: 20 tps: 222.26 qps: 4656.12 (r/w/o: 3276.83/882.37/496.92) lat (ms,95%): 240.02 err/s: 11.95 reconn/s: 0.00
[ 50s ] thds: 20 tps: 196.54 qps: 4139.82 (r/w/o: 2914.00/785.87/439.96) lat (ms,95%): 292.60 err/s: 11.34 reconn/s: 0.00
[ 60s ] thds: 20 tps: 357.50 qps: 7705.61 (r/w/o: 5437.29/1442.80/825.52) lat (ms,95%): 116.80 err/s: 30.87 reconn/s: 0.00
SQL statistics:
queries performed:
read: 217896
write: 58206
other: 33054
total: 309156
transactions: 14526 (241.82 per sec.)
queries: 309156 (5146.58 per sec.)
ignored errors: 1038 (17.28 per sec.)
reconnects: 0 (0.00 per sec.)

General statistics:
total time: 60.0658s
total number of events: 14526

Latency (ms):
min: 8.17
avg: 82.55
max: 3373.88
95th percentile: 227.40
sum: 1199186.82

Threads fairness:
events (avg/stddev): 726.3000/19.53
execution time (avg/stddev): 59.9593/0.07

查看性能数据

http://192.168.66.35:19004/

其它内容不再截图。

双向同步测试完成，完美！

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://my.oschina.net/postgresqlchina/blog/5346533

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

百度文库新一代文档阅读器！核心技术点全解析！

导读：文库有数十亿文档，包括 word、ppt、excel、txt 和 pdf 等十几种常见办公文档，核心技术是转码和展现，转码的目的是把不同文档进行解析转换成一套通用的数据格式，由后端实现，而展现是把文档数据进行渲染。在这之前，文库前端采用的HTML+CSS进行渲染，这种方式在后面的业务发展过程中遇到了阻力，比如很难实现文档导出长图、文档标记、关键字高亮、水印、文档内容分析、防复制等。 全文2803字，预计阅读时间14分钟 一、架构 在今年5月份时候，我们开始使用 Canvas 实现新一代阅读器，它能够同时支持PC、wap 和小程序，相比与老的阅读器它具备以下优势： 在技术选型的时候，我们选择了 vite + ts，vite 能够带给我们极致的开发体验，ts 能够让我们写的代码更有保障，业务方调用API时更便捷。整体架构分为： 逻辑层：负责管理数据的加载、页面创建、页面渲染调度、事件分发、对外提供核心API； 数据层：负责加载文档数据，包含文档内容、自定义字体、图片； 解析层：负责把文档数据进行解析，产出要渲染的数据，比如文本内容、字体大小、文本位置、图片内容、图片位置等； 渲染层：...
2021-12-07
615
上一篇

应对 Job 场景，Serverless 如何帮助企业便捷上云

作者| 冯一博 编辑&校对| 王晨、筱姜 ​ （Job）任务，是互联网服务的一种常见场景。在诸如 AI 训练、直播（视频转码）、数据清洗（ETL）、定时巡检等场景下，任务平台能否支持快速的高并发任务启动性能、提供较高的离线计算资源利用率以及丰富的上下游生态是这类场景的核心痛点。函数计算作为事件驱动的全托管计算服务，其执行模式天生就与这类 Job 场景非常契合，对上述痛点进行了全方面的支持，助力“任务”的无服务器上云。 函数计算和 Serverless Jobs “Job” 系统应具备什么能力？ 在上述的“Job”场景中，一个任务处理系统应该具有以下能力： 任务触发：支持灵活的任务触发方式。如支持客户端手动触发，支持事件源触发，支持定时触发等； 任务编排：能够编排复杂任务流程，管理子任务之间关系，如分支、并行、循环等逻辑； 任务调度及状态管理：调度任务优先级，多租隔离及任务状态管理，支持多种任务并发度、限流；能够管理任务状态，控制任务的执行等； 资源调度：解决任务的运行资源问题。这里面包括多种运行时支持，计算资源冷启动延迟控制，在/离线任务混部，最终目标是使得系统具有较高的资源利...
2021-12-07
495
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Gemini3 Service Mesh Jdk25 OpenAi Docker HarmonyOS6 Rocky Redis SpringBoot4 Nacos3 Kubernetes SpringCloud DeepSeek

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册