您现在的位置是：首页 > 文章详情

ETL & 流批一体化框架 bboss v7.1.5 发布

日期：2024-01-30点击：238收藏

数据采集 ETL & 流批一体化框架 bboss v7.1.5 发布 --- 高效、稳定、快速、安全

7.1.5版本亮点：扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题。

bboss 是一个基于开源协议 Apache License 发布的开源项目，由开源团队 bboss 运维，主要由以下三部分构成：

Elasticsearch Highlevel Java Restclient ，一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架
数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。

项目源码地址参考：源码下载和构建

快速上手：https://esdoc.bbossgroups.com/#/quickstart

v7.1.5 功能改进

数据处理作业改进：设置增量状态ID生成策略，在设置jobId的情况下起作用

 ImportIncreamentConfig.STATUSID_POLICY_JOBID 采用jobType+jobId作为增量状态id ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT 采用[jobType]+[jobId]+[作业查询语句/文件路径等信息的hashcode]，作为增量id作为增量状态id 默认值ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT

扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题，使用案例：
```
 //设置记录级别的kafka主题 context.setKafkaTopic("es2kafka1");
```
context接口增加一组工具方法，用户一次性将bean或者map中的数据添加到记录中

 /** * 将对象中的所有字段和值作为字段添加到记录中，忽略空值字段 * @param bean * @return */ Context addFieldValues( Object bean); /** * 将对象中的所有字段和值作为字段添加到记录中 * 根据参数ignoreNullField控制是否忽略空值字段 true 忽略 false 不忽略 * @param bean * @param ignoreNullField * @return */ Context addFieldValues(Object bean,boolean ignoreNullField); /** * 将map中的所有键值对作为字段添加到记录中，忽略空值字段 * @param values * @return */ Context addMapFieldValues( Map<String,Object> values); /** * 将map中的所有键值对作为字段添加到记录中 * 根据参数ignoreNullField控制是否忽略空值字段 true 忽略 false 不忽略 * @param values * @param ignoreNullField * @return */ Context addMapFieldValues( Map<String,Object> values,boolean ignoreNullField);