数据采集 ETL 工具 bboss-datatran v6.7.6 发布,支持Elasticsearch 8以及其他Elasticsearch低版本和Opensearch之间数据同步。

bboss-datatran 是一款基于 java 语言开发的数据采集同步工具，提供数据采集、数据清洗转换处理和数据入库功能，支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步；支持数据实时增量和全量数据采集；提供了作业任务控制 API、作业监控 api，支持作业启动、暂停 (pause)、继续（resume）、停止控制机制；支持 http jwt 服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。

v6.7.6 功能改进

1. 异步批处理增加scriptField功能，通过其指定操作的dsl脚本，使用案例：

     data = new HashMap<String,Object>(); data.put("id",1000); data.put("script","{\"name\":\"duoduo104\",\"goodsid\":104}"); clientOptions = new ClientOptions(); clientOptions.setIdField("id"); clientOptions.setScriptField("script"); bulkProcessor.insertData("bulkdemo",data,clientOptions); data = new HashMap<String,Object>(); data.put("id",1000); data.put("script","{\"name\":\"updateduoduo104\",\"goodsid\":1104}"); clientOptions = new ClientOptions(); clientOptions.setIdField("id"); clientOptions.setScriptField("script"); bulkProcessor.updateData("bulkdemo",data,clientOptions);

2. https协议支持Elasticsearch官方的三种ssl证书，参考文档：https协议配置

3. 优化客户端工具类索引字段管理方法，将内置嵌套结构也增加到字段清单中

4. 调整JobTaskMetrics中作业开始时间、作业id、作业名称的设置机制，避免作业执行异常时未正确设置作业信息

5. 修复Elasticsearch输入插件createBaseDataTran方法被重复调用两次问题

6. 文件输入输出插件改进：ftp发送失败文件重试扫描机制、备份文件清理扫描机制改进

7. 文件输入输出插件改进：将生成的文件信息（本地文件路径、ftp文件路径）添加到作业jobmetrics中，获取方法：

    /** * 文件导出时特定的文件类型任务上下文，包含了导出文件清单信息 */ public void afterCall(TaskContext taskContext) { JobTaskMetrics taskMetrics = taskContext.getJobTaskMetrics(); List<GenFileInfo> genFileInfos = (List<GenFileInfo>) taskMetrics.readJobExecutorData(FileOutputConfig.JobExecutorDatas_genFileInfos); }

数据同步作业开发视频教程：

https://www.bilibili.com/video/BV1xf4y1Z7xu

bboss 案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

Quick Start

https://esdoc.bbossgroups.com/#/quickstart

开发交流

https://www.bbossgroups.com/forum.html