ChunJun&OceanBase联合方案首次发布：构建一体化数据集成方案

2022-09-16 410

8月27日，ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。

这是OceanBase&ChunJun联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群/租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供高可靠数据集成解决方案。

下面为大家带来具体介绍，欢迎分享给更多的开发者和爱好者共同学习、探讨。

课件获取：

关注公众号“ChunJun”，后台私信“Meetup”获得分享课件

视频回看：

https://www.bilibili.com/video/BV1mG41137ZV?spm_id_from=333.999.0.0

ChunJun&OceanBase是什么

ChunJun：一款稳定、高效、易用的数据集成框架

ChunJun 是一款高效、稳定、易用的数据集成框架，目前基于Apache Flink 实时计算引擎实现批流一体的数据读取和写入。

ChunJun的核心能力

• 多数据源：目前已支持30+数据源，涵盖了各类数据库、文件系统等

•灵活的任务运行模式：支持开箱即用的local模式运行，也支持flink standalone、yarn、k8s等模式；支持Taier、DolphinScheduler、Dlinky等大数据调度平台

• 数据还原：支持 DML 和 DDL 同步，可以最大程度保证源端和目标端的数据和结构统一

• 断点续传：依托Flink的Checkpoint机制，可以从失败的位点重试

• 速率控制：支持多种分片方式，用户可根据自身业务调整分片逻辑；支持调整读取和写入的并发度，控制每秒读取的数据量

• 脏数据管理：支持多种方式存储脏数据，控制脏数据生命周期，并提供统计数据

OceanBase：企业级开源分布式 HTAP数据库

企业级开源分布式 HTAP（Hybrid Transaction/Analytical Processing）数据库，具有原生分布式架构，支持金融级高可用、透明水平扩展、分布式事务、多租户和语法兼容等企业级特性。

OceanBase的核心能力

• 高可用：基于 Paxos 协议，强一致性；少数副本故障，数据不丢，服务不停；RPO=0; RTO<30s

•高扩展：在线进行水平扩、缩容；自动实现负载均衡

• 低成本：不依赖高端硬件，降低成本；极致的压缩比，节省成本

• HTAP：一套计算引擎同时支持混合负载；一套数据库，读写分离

• 高兼容：兼容 MySQL 协议与语法；降低业务改造迁移成本

• 多租户：一套环境独立运行多套业务；保证租户数据安全

ChunJun OceanBase Connector 实现

OceanBase CDC

OceanBase作为分布式数据库，日志信息分布在集群当中不同的机器上，需要有一个工具把这些日志信息进行汇总，拿到正确、完整的日志信息。

OceanBase社区版利用CDC 组件架构进行这项工作，它主要是通过oblogproxy来提供日志拉取的服务，如果想集成OceanBase增量数据的处理，可以在自己的业务应用中去集成oblogclient来进行处理，目前已对接了ChunJun、Flink CDC、Cloud Canal等数据集成框架。

OceanBase 社区版 CDC 组件架构

ChunJun Connectors 的工作模式

ChunJun中的读取和写入主要是通过Connector中的一些结构和模块来实现的，包含RDB、CDC 、NoSQL、MQ、File 等。

• RDB Connectors：基于 JDBC Connector，通过轮询支持了源表包含自增列且增量数据只有 insert 操作时的全增量一体化读取及写入。

• CDC Connectors：基于数据库的Binlog 或 Redolog，实现增量数据的读取。

Flink 流数据与动态表

ChunJun上的这些数据最终会在Flink进行处理，在Flink当中通过定义动态表的结构，可以将流数据在执行SQL前先转换为可以操作的表，然后通过连续查询来获取一个不断更新的执行结果。

下图就是数据从数据流转成动态表，在流数据上定义一张标，通过执行连续查询来获取不断更新的结果。

ChunJun OceanBase Connector 的实现

在ChunJun中主要是通过Chunjun Core模块来满足将数据读取到Flink及从Flink中写出去，其中DynamicTableSourceFactory及DynamicTableSinkFactory支持SQL类型的任务，SourceFactory及SinkFactory用来支持Json类型的任务。

如下图所示，ChunJun OceanBase Connector 的实现主要通过两种方式：一种是从Chunjun Core到JDBC Connector再到OceanBase Connector；另外一种是从Chunjun Core直接到OceanBase CDC Connector。

ChunJun & OceanBase 应用

场景1：针对分库分表的实时数据集成

使用 Oceanbase CDC Connector，库表名利用Fnmatch通配，实现分库分表数据源的实时数据集成。这个场景可以做增量同步，也可以做单数据流的ETL操作。

场景2：跨集群/租户的数据集成

目前，不同租户的数据在一个连接当中获取不到，如果想对OB当中不同租户的数据做一个统一处理，需通过多个数据库的连接来实现分别读取，这时可以利用ChunJun中与OceanBase相关的connector，读取不同集群、租户数据到 Flink。

场景3：不同数据源的实时数据集成

可以对不同种类数据源进行数据汇聚，使用不同类型数据库的 connector，读取不同数据源的数据到 Flink。

场景4：日志类型数据的全增量一体化处理

对于只有 insert 增量变动的数据源，基于自增列进行全增量一体化的处理。

ChunJun&OceanBase未来展望

● 提高代码质量

· 增加测试 case，覆盖所有的启动方式和常见的业务场景

· 完全适配 MySQL 5.1.4x 和 8.0 驱动

● 20+种丰富的任务类型

· 增加非 transformer 模式 sync 任务的支持

· 增加 OceanBase 企业版 Oracle 模式的支持

● 提高方案可靠性

· 增加数据读取的事务性支持

· 简化 oblogproxy 的部署，支持 Docker 部署

· 增加详细的使用文档

袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack/Taier

微信关注我们

原文链接：https://my.oschina.net/u/3869098/blog/5578274

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一招教你如何高效批量导入与更新数据

摘要：如果你的数据量很大，想尽快完成任务执行，可否有其他方案？那一定不要错过GaussDB(DWS)的MERGE INTO功能。本文分享自华为云社区《一招教你如何高效批量导入与更新数据》，作者： acydy。当前GaussDB(DWS)提供了MERGE INTO功能。本篇文章介绍MERGE INTO功能与基本用法。前言如果有一张表，我们既想对它更新，又想对它插入应该如何操作？可以使用UPDATE和INSERT完成你的目标。如果你的数据量很大，想尽快完成任务执行，可否有其他方案？那一定不要错过GaussDB(DWS)的MERGE INTO功能。 MERGE INTO 概念 MERGE INTO是SQL 2003引入的标准。 If a table T, as well as being updatable, is insertable-into, then rows can be inserted into it (subject to applicable Access Rules and Conformance Rules). The primary effect of a...

2022-09-16

322

在今天，开源和商业行为并不二元对立，甚至共荣共生。商业因素正在深深地影响开源。据不完全统计，2021 年，我国开源原生商业公司投融资总额突破 52 亿元，同比增长约 86%，开源商业化呈现欣欣向荣的姿态。那么，开源的尽头是商业吗？对于大厂来说，开源带来的收益往往是间接的，而且是难以衡量的；对更多还在观望的开源项目而言，踏出商业化这一步可能并没有那么容易，最终能脱颖而出成为资本宠儿的，更是少之又少。开源中国OSCHINA邀请了已经走上开源商业化之路的企业来谈一谈：企业投身开源的终极目的是什么？开源作为一种有力的营销手段，企业怎么利用它来触达客户，打开市场？当前，围绕开源已经形成 SaaS 模式、open-core 模式等多种典型的商业模式，企业应该如何选择？希望能够帮助更多开源开发者拨开迷雾，一起探寻开源商业化路径。主持人李晨，Zilliz社区运营负责人分享嘉宾王晔倞（头哥），支流科技技术 VP、Apache APISIX Committer 郭炜（郭大侠），Apache 软件基金会 Member，Apache SeaTunnel (incb) Mentor 孔令子，NGINX...

2022-09-16

392

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。