数据采集 ETL & 流批一体化框架 bboss v7.0.2 发布 --- 高效、稳定、快速、安全

bboss 由三部分构成

• Elasticsearch Highlevel Java Restclient

• 数据采集同步 ETL

• 流批一体化计算框架

bboss版本最新版本号从以下文档章节获取:

【1.1 在工程中导入bboss maven坐标】

https://esdoc.bbossgroups.com/#/db-es-tool

bboss详细介绍文档：

https://esdoc.bbossgroups.com/#/README

bboss介绍视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

v7.0.2 功能改进

1. 数据采集改进：处理增量状态类型转换异常

2. 数据采集改进：去掉增量状态管理嵌套锁，消除潜在的死锁隐患

3. 文件采集插件改进：一次性文件全量采集的处理，添加是否禁止记录文件采集状态控制开关，false 不禁止，true 禁止，启用记录状态情况情况下作业重启，已经采集过的文件不会再采集，未采集完的文件，从上次采集截止的位置开始采集。默认true，禁止增量状态标记：fileInputConfig.setDisableScanNewFilesCheckpoint(false);//启用增量状态Checkpoint机制

4. 优化用户自定义dsl输出机制：用户可以自定义实现dsl语句日志，另外提供了一个慢日志的默认功能，二选一，自定义的优先，没有自定义就判断是否设置需要打印慢dsl，如果需要则调用慢日志输出组件输出，注意：开启自定义dsl输出后，要关闭showTemplate，否则会重复输出日志。

5. 状态管理info日志调整为debug级别日志。

6. 处理mysql binlog 插件flushInterval机制不起作用问题, 优化数据处理管道flushInterval机制。

7. mysql binlog插件增加异步启动机制，JoinToConnectTimeOut大于0生效，否则是同步启动，启用方法：

MySQLBinlogConfig mySQLBinlogConfig = new MySQLBinlogConfig();
mySQLBinlogConfig.setJoinToConnectTimeOut(20000L);

8. 细化数据处理管道停止状态：正常停止和异常停止，正常停止情况下需要继续处理完数据，异常停止情况下不处理后续数据

更多版本变更历史，浏览：https://esdoc.bbossgroups.com/#/changelog