数据采集 ETL & 流批一体化框架 bboss v7.0.9 发布 --- 高效、稳定、快速、安全
bboss 是一个基于开源协议 Apache License 发布的开源项目，由开源团队 bboss 运维，主要由以下三部分构成：
- Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架
- 数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
- 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。
![]()
项目源码地址参考：源码下载和构建
v7.0.9 功能改进
- Mysql binlog插件插件改造：支持ddl同步
- Mysql binlog插件和db输出插件改造：支持采集多个数据库表数据，同步到多个数据库的不同表
使用案例:
MasterSlaveBinlog2TargetDBDBOutput
参考文档：多库多表数据同步到多目标库
3. 数据库输入输出插件改进：增加配置db connection property配置方法addConnectionProperty
使用案例
DBInputConfig dbInputConfig = new DBInputConfig();
dbInputConfig.setDbName("source")
.setDbDriver("com.mysql.cj.jdbc.Driver") //数据库驱动程序，必须导入相关数据库的驱动jar包
.setDbUrl("jdbc:mysql://localhost:3306/bboss?useUnicode=true&characterEncoding=utf-8&useSSL=false")
.setDbUser("root")
.setDbPassword("123456")
.setValidateSQL("select 1")
.setUsePool(true)//是否使用连接池
.setSqlFilepath("sql.xml")
.setSqlName("demoexport")
//.setDbAdaptor("org.frameworkset.elasticsearch.imp.DruidAdaptor")
.addConnectionProperty("aaaaa","bbbbbb");
4. 持久层改进：增加druid数据库适配支持
导入和使用 bboss
bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:
https://esdoc.bbossgroups.com/#/db-es-tool
bboss ETL 插件使用指南
https://esdoc.bbossgroups.com/#/datatran-plugins
bboss 详细介绍文档
https://esdoc.bbossgroups.com/#/README
bboss 实战视频
Elasticsearch Bboss Stream ETL 介绍视频
实时采集 Mysql binlog 增删改数据视频教程
bboss 流批一体化计算入门教程
Elasticsearch 导出 Excel 文件，按记录数切割 Excel 文件，解决单个文件导出数量过大问题
