数据采集 ETL & 流批一体化框架 bboss v7.1.8 发布 --- 高效、稳定、快速、安全

bboss 是一个基于开源协议 Apache License 发布的开源项目，由开源团队 bboss 运维，主要由以下三部分构成：

• Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的 Elasticsearch/Opensearch java orm客户端框架

• 数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件

• 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。

v7.1.8 功能改进

1. Elasticsearch客户端改进：处理Elasticsearch 8以上版本_type兼容性问题

2. Elasticsearch客户端改进：处理Elasticsearch 7.x,8.x 版本sql api兼容性问题

3. 持久层改进：修复无法获取Clickhouse元数据问题

4. 完善MongoDB CDC插件：解决新版MongoDB场景下修改数据不完整的场景下空指针异常问题

5. 数据同步改进：tranresultset部分与记录数据处理相关的职能迁移到Record对象

6. 增加MongoDB客户端自定义构建接口，方便业务侧自定义MongoDB客户端配置,使用案例

   mongoDBInputConfig.setCustomSettingBuilder(new CustomSettingBuilder() {
   @Override
   public void customSettingBuilder(MongoClientSettings.Builder builder, MongoDBConfig mongoDBConfig) {
   //自定义ssl配置
   /**             clientBuilder.applyToSslSettings(builder -> {
   *                 builder.invalidHostNameAllowed(true);
   *                 builder.enabled(true);
   *                 builder.context(sscontext);     
   *              });
   **/
   logger.info("Come to customSettingBuilder.....");
   
                    }
                })

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

项目源码地址参考：源码下载和构建

Elasticsearch Highlevel Java Restclient 快速上手

https://esdoc.bbossgroups.com/#/quickstart

导入和使用 bboss ETL maven坐标

bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL &流处理插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件，按记录数切割 Excel 文件，解决单个文件导出数量过大问题

通用数据库管理工具 -- 支持关系数据库、Clickhouse、doris 等数据库管理

https://doc.bbossgroups.com/#/tools