openGauss资源池化开发者入门指南-低调大师

openGauss资源池化开发者入门指南

2023-07-12 814

内容简介

openGauss资源池化是openGauss推出的一种新型的集群架构，通过DMS和DSS组件，实现集群中多个节点的底层存储数据共享和节点间的内存实时共享，达到节省底层存储资源以及集群内部支持一写多读且可以实时一致性读的目的。本文主要介绍开发者如何搭建一个可以用于自己学习或者开发的资源池化环境。

预备知识

开发者最好具备以下基础：

Linux的基础命令，比如dd命令，iscis等。
对磁阵有一定的了解。
对传统的openGauss编译方式十分熟悉。

注意事项

资源池化部署图参考图1：

图1: openGauss资源池化部署图

在社区上正式发布的企业版安装包中, 如果需要搭建资源池化架构, 在硬件上需要准备磁阵, 服务器和光交换机，且需要部署CM和OM组件。
本文主要介绍可用于开发者进行开发的编译环境搭建方式, 不需要磁阵、CM和OM组件, 仅需要一台普通的物理机就可以搭建出资源池化的环境。
需要注意的是, 因为没有使用到真正的CM, 这种方式搭建的环境不能用于调试主备倒换或failover场景, 只能用于验证集群正常运行时的场景。

环境预备

一台单独的物理机，且至少存在一个剩余空间大于200GB的磁盘分区。
已经自行使用编译方式编译出了openGauss带资源池化代码的debug版本的安装包, 可以通过确认生成的bin目录下是否有dssserver, dsscmd, lib目录下是否有libdms.so, libdssapi.so , libdssaio.so, 来判断，同时要保证编译openGauss时使用的是测试版本的DSS组件和DMS组件，详细参考下面的步骤。

独立编译安装指南

注意：

以下部署操作请勿用于生产环境

说明：

openGauss必须用Debug模式编译，不能使用Release模式，DMS和DSS组件需要使用测试版本。
手动编译安装的方式中，没有包含CM和OM组件，而正式的使用环境中DSS组件和DMS组件对CM有依赖，所以在编译openGauss之前需要先用测试的模式分别编译DSS和DMS组件，参考下面的编译方式说明。

1. 编译测试版本的DSS组件

a.下载最新版本CBB代码，编译安装替换三方库中的CBB。

b.下载最新版本的DSS代码，并根据src/gausskernel/ddes/ddes_commit_id内的版本号，回退DSS至指定版本。

c.编译安装替换三方库中的DSS组件，命令如下（DSS_CODE_PATH表示解压后的DSS源码目录，ThirdParty_Binarylibs_Path表示解压后的三方库目录）：

  #-3rd后面跟三方库对应的绝对路径  cd [DSS_CODE_PATH]/build/linux/opengauss  sh build.sh -3rd [ThirdParty_Binarylibs_Path] -t cmake -m DebugDsstest

2. 编译测试版本的DMS组件

a.下载最新版本CBB代码，编译安装替换三方库中的CBB。

b.下载最新版本的DMS代码，并根据src/gausskernel/ddes/ddes_commit_id内的版本号，回退DMS至指定版本。

c.编译安装替换三方库中的DMS组件，命令如下（DMS_CODE_PATH表示解压后的DMS源码目录，ThirdParty_Binarylibs_Path表示解压后的三方库目录）：

 cd [DMS_CODE_PATH]/build/linux/opengauss  sh build.sh -3rd [ThirdParty_Binarylibs_Path] -t cmake -m Release  cd [DMS_CODE_PATH]  mkdir -p tmp  export BUILD_MODE=Debug  cmake . -DCMAKE_BUILD_TYPE=Debug -D DMS_TEST=ON -DOPENGAUSS=yes -B ./tmp  cd tmp/  make -sj

注意：

当编译完DSS、DMS、CBB之后，会自动更新到三方库，不需要手动拷贝，接下来只需按标准步骤编译数据库即可。

3. 配置环境变量

下面是以2个节点为例进行说明，参考示例, 其中DSS_HOME是dn实例1的dssserver运行时需要的目录, 需要手动新建。将下面的内容写入到/home/test/envfile中作为环境变量导入。

export GAUSSHOME=/home/test/openGauss-server/dest/export LD_LIBRARY_PATH=$GAUSSHOME/lib:$LD_LIBRARY_PATHexport PATH=$GAUSSHOME/bin:$PATHexport DSS_HOME=/home/test/dss/dss0/dssdba

4. 新建dsssever的目录

cd /home/testmkdir -p dss/dss0/dssdba/cfgmkdir -p dss/dss0/dssdba/logmkdir -p dss/dss1/dssdba/cfgmkdir -p dss/dss1/dssdba/logmkdir -p dss/dev

5. 用dd命令新建一个模拟的块设备文件

下面的命令是建2T的命令，请根据自己需要的大小调整bs和count的值，执行时间依赖于磁盘的性能。

dd if=/dev/zero of=/home/test/dss/dev/dss-dba bs=2M count=1024000 >/dev/null 2>&1

6. 创建2个dn节点需要的dss实例0和dss实例1的配置文件

创建dss实例0的配置文件：

vim /home/test/dss/dss0/dssdba/cfg/dss_inst.ini

文件中的内容如下：

INST_ID=0_LOG_LEVEL=255DSS_NODES_LIST=0:127.0.0.1:17102,1:127.0.0.1:18102DISK_LOCK_FILE_PATH=/home/test/dss/dss0LSNR_PATH=/home/test/dss/dss0_LOG_MAX_FILE_SIZE=20M_LOG_BACKUP_FILE_COUNT=128

创建dss实例0的卷配置文件：

vim /home/test/dss/dss0/dssdba/cfg/dss_vg_conf.ini

文件中的内容如下, 里面就是卷名加dd模拟出来的设备名字：

data:/home/test/dss/dev/dss-dba

创建dss实例1的配置文件：

vim /home/test/dss/dss1/dssdba/cfg/dss_inst.ini

文件中的内容如下, 注意DISK_LOCK_FILE_PATH配置的与1一致：

INST_ID=1_LOG_LEVEL=255DSS_NODES_LIST=0:127.0.0.1:17102,1:127.0.0.1:18102DISK_LOCK_FILE_PATH=/home/test/dss/dss0LSNR_PATH=/home/test/dss/dss1_LOG_MAX_FILE_SIZE=20M_LOG_BACKUP_FILE_COUNT=128

创建dss实例1的卷配置文件：

vim /home/test/dss/dss1/dssdba/cfg/dss_vg_conf.ini

文件中的内容如下, 里面就是卷名加dd模拟出来的设备名字：

data:/home/test/dss/dev/dss-dba

注意：

一台服务器上建多个dn(数据库)节点, ip是相同的, 服务使用的端口号不同。

7. 创建存放数据库数据的数据卷, 启动dssserver服务

##这里是第3步中配好的环境变量source /home/test/envfiledsscmd cv -g data -v /home/test/dss/dev/dss-dbadssserver -D /home/test/dss/dss0/dssdba &#上个命令显示DSS SERVER STARTED即为成功dssserver -D /home/test/dss/dss1/dssdba &#上个命令显示DSS SERVER STARTED即为成功
#创建完可以通过如下命令确认是否建卷成功dsscmd lsvg -U UDS:/home/test/dss/dss0/.dss_unix_d_socketdsscmd ls -m M -p +data -U UDS:/home/test/dss/dss0/.dss_unix_d_socket

注意：

dss不支持启动后修改卷组配置，如涉及修改请重新执行上述步骤。

8. 依次执行每个节点的gs_initdb操作

mkdir -p /home/test/datarm -rf node1 node2
gs_intdb -D /home/test/data/node1 --nodename=node1 -U tester -w Pasword --vgname=+data --enable-dss --dms_url="0:127.0.0.1:1613,1:127.0.0.1:1614" -I 0 --socketpath='UDS:/home/test/dss/dss0/.dss_unix_d_socket'
echo "ss_enable_ssl = offlisten_addresses = '*'port=12210ss_enable_reform = offss_work_thread_count = 32enable_segment = onss_log_level = 255ss_log_backup_file_count = 100ss_log_max_file_size = 1GB" >> /home/test/data/node1/postgresql.conf
sed '91 ahost       all        all         0.0.0.0/0        sha256' -i /home/test/data/node1/pg_hba.conf
gs_intdb -D /home/test/data/node2 --nodename=node2 -U tester -w Pasword --vgname=+data --enable-dss --dms_url="0:127.0.0.1:1613,1:127.0.0.1:1614" -I 1 --socketpath='UDS:/home/test/dss/dss1/.dss_unix_d_socket'
echo "ss_enable_ssl = offlisten_addresses = '*'port=13210ss_enable_reform = offss_work_thread_count = 32enable_segment = onss_log_level = 255ss_log_backup_file_count = 100ss_log_max_file_size = 1GB" >> /home/test/data/node2/postgresql.conf
sed '91 ahost       all        all         0.0.0.0/0        sha256' -i /home/test/data/node2/pg_hba.conf

9. 创建模拟CM功能的文件，并将其加入到第3步创建的环境变量中

  echo "REFORMER_ID = 0" > /home/test/cm_config.ini  echo "BITMAP_ONLINE = 3" >> /home/test/cm_config.ini  echo "export CM_CONFIG_PATH=/home/test/cm_config.ini" >> /home/test/envfile

10. 依次启动节点1和节点2

  source /home/test/envfile  gs_ctrl start -D /home/test/data/node1  gs_ctrl start -D /home/test/data/node2

部分补充说明

ss_log_level参数用于控制日志中打印DMS和DSS相关的日志, 日志目录在pg_log/DMS里面。

17102和18102是dssserver要用的端口。
1613和1614是dms通信要用的端口。
12210和13210是openGauss数据库提供服务需要用的端口。
dssserver配置中INST_ID不能有冲突, 比如多个dssserver配置成相同的ID。
该方式搭建出来的环境不支持高可用, 不能测试倒换和failover。
如果启动时报错，提示如“dms library version is not matched”等报错，表示DMS/DSS组件版本号错误，请参考编译步骤重新编译。
非CM环境下，限制了0节点为主节点，因此需要确保initdb阶段0节点创建成功。
如果安装过程出现报错，再次initdb时候可能会提示目录不为空。此时需要清理文件系统及DSS中的残留文件。文件系统可以通过rm命令直接删除node文件夹，DSS中可以对模拟的块设备文件头部写0（DSS将元数据信息记录在头部），清理完成后重新从第7步开始执行，清理命令参考如下：

rm -rf /home/test/data/node1 /home/test/data/node2dd if=/dev/zero of=/home/test/dss/dev/dss-dba bs=2M count=10 conv=notrunc >/dev/null 2>&1

本文分享自微信公众号 - openGauss（openGauss）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/5059795/blog/10088380

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NSQ 行情数据无忧处理丨DolphinDB easyNSQ 模块使用教程

为了实时获取 Level2 行情数据，DolphinDB 对接恒生 NSQ 极速行情服务软件，开发了能够获取上海和深圳市场行情数据的 NSQ 插件。安装好插件后，用户需要创建用于接收实时数据的持久化共享流表和分区表，并且发起相关订阅。为了方便用户快速搭建 NSQ 实时行情数据的流计算环境，DolphinDB 开发了 DolphinDBModules::easyNSQ 模块（简称 easyNSQ 模块），主要用于 NSQ 实时行情数据的自动化接收和存储。目前已经支持的数据源包括上海和深圳市场的：现货逐笔委托行情主推回调（OnRtnSecuTransactionEntrustData->orders）现货逐笔成交行情主推回调（OnRtnSecuTransactionTradeData->trade）现货深度行情主推回调（OnRtnSecuDepthMarketData->snapshot）注意：DolphinDB 仅提供对接 HSNsqApi 的 NSQ 插件，数据源和接入服务可咨询数据服务商或证券公司。 NSQ 插件目前支持版本：release200,relea...

2023-07-14

847

对于很多前端同学来说，“埋点”常常是一个不愿面对却又无法逃避的话题。为什么这么说呢，相信很多前端同学都深有体会：首先埋点这个事基本是前端“独享”的，服务端基本不太涉及；其次添加埋点，往往看起来很简单但实际做起来很麻烦，很多时候为了获取一些埋点需要的信息甚至要对已经写好的代码进行伤筋动骨的修改。虽然前端埋点费时费力，做起来没什么成就感，但是埋点作为收集线上业务数据（用户购买行为、活动转化等）的重要途径，为产品策略调整提供了重要数据支撑，特别是在像618、双11等大促活动中，埋点数据采集对于促销活动的策略制定、及时调整及最终收益效果的验证都至关重要，因此又是一件研发同学必须要认真对待的事情。本文结合多年来各平台项目实践经验，总结了埋点类需求的开发实战经验及技巧，希望通过本文的分享能让更多读者在开发中尽量少走弯路，准确高效完成埋点开发任务，保证业务在大促及常态运营中的稳定数据支撑。言归正传，对于各种类型的埋点来说，曝光埋点往往最为复杂、需要用到的技术也最全面、如果实现方式不合理可能造成的影响也最大，因此本文将重点介绍曝光埋点尤其是长列表（或滚动视图）内元素曝光埋点的实现思路及避坑技巧； ...

2023-07-14

815

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。