干货分享 | HZERO系列组件之数据分发组件（三），自定义代码处理-低调大师

干货分享 | HZERO系列组件之数据分发组件（三），自定义代码处理

2022-09-29 436

前面我们讲了利用数据分发，如何把数据同步到ElasticSearch，利用ElasticSearch优秀的查询性能轻松支撑千万级别数据量的查询，同时也有一个点：将数据聚合至一处，Join查询字段做字段冗余，订单行表做嵌套文档没有详细讲，本文我们展开讲解一下如何做冗余和嵌套。

宽表代码处理

概念介绍

宽表: 把多个维度的字段都放在一张表存储，增加数据冗余是为了减少关联，便于查询。查询一张表就可以查出不同维度的多个字段

窄表: 和我们Mysql普通表三范式相同，把相同维度的字段组成一张表，表和表之间关联查询其他维度数据

维度表: 包含维度编码和该维度下的多个属性

事实表: 包含一个业务事件的相关属性

代码处理宽表

CloudCanal提供了可以让我们编写自定义代码的入口，我们可以在这基础上写我们的处理代码，比如Join其他表，查出子表的多行数据，再传输到ElasticSearch。

代码官方参考例子：https://gitee.com/clougence/cloudcanal-data-process

ES索引主键处理

MYSQL同步ElasticSearch，_Id无法在一个任务中自定义不同字段，只能用Id，界面上配置的_Id值有时候可以生效，有时候不能生效，比较诡异

解决：

1、CloudCanal发现有类型问题，官方回复是"_Id是自动处理的，不支持自定义代码进行干涉。你需要干涉_Id涉及的列，自定义代码自己对AfterPkColumn和BeforePkColumn做处理即可"

2、界面上的配置就是摆设，不稳定担心后续会有坑，所以在代码层面处理：

把索引的Id字段从Long类型变为Keyword类型，方便存储字符（规划是Id$表名）
在增、改、删操作前，先把Id的值换掉

CloudCanal发布代码

自定义代码打包

子工程下Src/main/resources/META-INF/cloudcanal/plugin.properties中修改为需要使用的类；
子工程下Mvn -Dtest -DfailIfNoTests=false -Dmaven.javadoc.skip=true -Dmaven.compile.fork=true clean Package 打包；
将Target下的Jar包拷贝出来，重命名为自己需要的命名。

上传自定义代码

在创建任务的过程中，上传自定义Jar包，选中打包的Jar包后上传

自定义代码部署更新

首次任务配置时，可以上传Jar包，后续代码如果有更新，可以在任务管理界面更新Jar包，更新后任务会重启，后续的增量数据就会走新的Jar包。

Debug自定义代码

如果使用CloudCanal自定义代码碰到问题，在任务的日志界面可以查看到报错进行定位，同时也可以打开CloudCanal Debug模式，任务启动将自动等待Debug链接。

进入参数设置

任务详情->参数设置

配置DebugMode参数

找到DebugMode参数，配置为True。生效配置并重启任务。任务启动后将会停止并等待远程Debug客户端连接。

启动远程Debug

远程Debug，以Idea为例，设置任务运行地址（Sidecar容器或运行节点Ip ,以及默认8787端口）

通过自定义代码处理，除了本文的宽表代码处理，我们还可以基于数据分发做非常多的操作，这给了数据分发组件非常大的可能性，在代码Demo的地址中，有不少自定义代码处理案例，大家可以自己尝试动手，利用代码处理自定义分发的数据，从而达到数据处理的目的。

往期推荐

1汉得企业级数字化PaaS平台 HZERO 1.9.0 版本正式发布！

2汉得aPaaS低代码平台-飞搭 2.3.0 RELEASE正式发布！

3重磅发布 | 汉得iPaaS全域集成平台集星獭 1.5.0 版本正式发布

4干货分享 | HZERO系列组件之辅助开发核心包，一招搞定开发！

5干货分享 | HZERO系列组件之消息管理组件，满足您的多种发送需求

6干货分享 | HZERO系列组件之数据分发组件（一），广播表快速入门

7干货分享 | HZERO系列组件之数据分发组件（二），ElasticSearch同步方案

联系我们

产品试用请登录开放平台。请在 PC 端打开：

https://open.hand-china.com/market-home/trial-center/

产品详情请登录开放平台：

https://open.hand-china.com/document-center/

如有疑问登录开放平台提单反馈：

https://open.hand-china.com/

▲ 更多精彩内容，扫码关注 “四海汉得” 公众号

微信关注我们

原文链接：https://my.oschina.net/u/4580203/blog/5581368

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

分布式系统中自适应统计信息收集策略

开务数据库(原：云溪数据库)始终坚持在产学研合作领域的创新发展，通过建立校企联合实验室，针对国家和行业的重大需求，致力于攻克数据库技术难题。如果你对数据库核心技术、前沿科学研究等感兴趣，并希望可以扎根于数据库领域，那诚邀大家关注“Paper Reading”文章专栏。我们会邀请全球顶尖的数据库专家，深入浅出地带领大家走进学术世界，学习理论，创新实践！论文题目>> An Adaptive Strategy for Statistics Collecting in Distributed Database（该论文被收录于 Front.Comput.SCI）论文地址>> https://link.springer.com/article/10.1007/s11704-019-9107-z 01.导入语在数据库系中，统计信息对于查询优化至关重要，错误的统计信息将严重影响到查询优化的质量。由于统计信息存在缺失、过时或不充分的情况，优化器经常会选择次优的执行计划，但如今已有很多策略能够保证统计信息的正确性。然而在分布式系统下，我们不能忽略统计信息收集时的效率问题...

2022-09-28

329

1. 什么是 StarRocks 新一代极速全场景MPP数据库，可以用 StarRocks 来支持多种数据分析场景的极速分析；架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO 优化器，查询速度（尤其是多表关联查询）；很好地支持实时数据分析，并能实现对实时更新数据的高效查询，还支持现代化物化视图，以进一步加速查询；用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模型；兼容 MySQL 协议，支持标准 SQL 语法，易于对接使用，全系统无外部依赖，高可用，易于运维管理。 2. 系统架构核心进程：FE（Frontend）、BE（Backend）。注：所有节点都是有状态的。 FE（Frontend）负责管理元数据，管理客户端连接，进行查询规划、查询调度等工作。 Follower Leader：Follower会通过类Paxos的BDBJE协议选主出一个Leader，所有事务的提交都是由Leader发起，并完成； Follower：提高查询并发，同时参与投票，参与选主操作。 Observer：不参与选主操作，只会异步同步并且回...

2022-09-29

342

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。