数据采集 ETL 工具 bboss-datatran v6.7.0 发布

v6.7.0 功能改进

1. 数据同步DB导出插件改进:支持为sql语句额外指定同步条件进行全量或者定时增量导入

定时按特定条件导入数据

 importBuilder.setSql("select * from batchtest1 where optime >= #[start_optime] and optime < #[end_optime]"); importBuilder.addParam("start_optime", TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2018-03-21 00:27:21")) .addParam("end_optime",TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2019-12-30 00:27:21"));

定时按特定条件增量导入数据

 importBuilder.setSql("select * from batchtest1 where optime >= #[start_optime] and optime < #[end_optime] and collecttime > #[collecttime]"); importBuilder.setLastValueColumn("collecttime"); importBuilder.setLastValueType(ImportIncreamentConfig.TIMESTAMP_TYPE); importBuilder.addParam("start_optime", TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2018-03-21 00:27:21")) .addParam("end_optime",TimeUtil.parserDate("yyyy-MM-dd HH🇲🇲ss","2019-12-30 00:27:21"));

使用参考文档：

https://esdoc.bbossgroups.com/#/db-es-datasyn

2. 数据同步改进：完善作业监控输出日志信息，改造es 数据采集dsl扩展参数管理机制，其他插件亦可以使用这些扩展参数
3. 数据同步架构重构：去掉所有源到目标builder，统一使用“ImportBuilder构建器+InputConfig+OutputConfig“来构建数据同步作业

    

2. 数据同步改进：一次性作业支持延时时间配置和开始时间配置
3. 数据同步改进：jdk timer作业支持设置作业运行截止时间，截止时间对quartz和xxl-job调度作业不起作用,对kafka作业、文件采集探针不起作用
4. 数据同步改进：增加http输入和输出插件，使用参考文档： https://esdoc.bbossgroups.com/#/datatran-http
5. 增加数据同步作业开发gradle模板工程 https://gitee.com/bboss/bboss-datatran-demo

bboss 案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

Quick Start

https://esdoc.bbossgroups.com/#/quickstart

开发交流

https://www.bbossgroups.com/forum.html