数据采集 ETL & 流批一体化框架 bboss v7.1.5 发布 --- 高效、稳定、快速、安全

7.1.5版本亮点：扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题。

bboss 是一个基于开源协议 Apache License 发布的开源项目，由开源团队 bboss 运维，主要由以下三部分构成：

• Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的 Elasticsearch/Opensearch java 客户端框架

• 数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件

• 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。

项目源码地址参考：源码下载和构建

快速上手：https://esdoc.bbossgroups.com/#/quickstart

v7.1.5 功能改进

1. 数据处理作业改进：设置增量状态ID生成策略，在设置jobId的情况下起作用

ImportIncreamentConfig.STATUSID_POLICY_JOBID 采用jobType+jobId作为增量状态id
ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT 采用[jobType]+[jobId]+[作业查询语句/文件路径等信息的hashcode]，作为增量id作为增量状态id
默认值ImportIncreamentConfig.STATUSID_POLICY_JOBID_QUERYSTATEMENT

1. 扩展kafka输出插件，可以根据需求，在记录级别设置数据发送Kafka主题，使用案例：

   //设置记录级别的kafka主题
   context.setKafkaTopic("es2kafka1");

2. context接口增加一组工具方法，用户一次性将bean或者map中的数据添加到记录中

/**
     * 将对象中的所有字段和值作为字段添加到记录中，忽略空值字段
     * @param bean
     * @return
     */
    Context addFieldValues( Object bean);

/**
     * 将对象中的所有字段和值作为字段添加到记录中
     * 根据参数ignoreNullField控制是否忽略空值字段 true 忽略  false 不忽略
     * @param bean
     * @param ignoreNullField
     * @return
     */
    Context addFieldValues(Object bean,boolean ignoreNullField);

/**
     * 将map中的所有键值对作为字段添加到记录中，忽略空值字段
     * @param values
     * @return
     */
    Context addMapFieldValues( Map<String,Object> values);

/**
     * 将map中的所有键值对作为字段添加到记录中
     *  根据参数ignoreNullField控制是否忽略空值字段 true 忽略  false 不忽略
     * @param values
     * @param ignoreNullField
     * @return
     */
    Context addMapFieldValues( Map<String,Object> values,boolean ignoreNullField);

导入和使用 bboss

bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL 插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件，按记录数切割 Excel 文件，解决单个文件导出数量过大问题

通用数据库管理工具 -- 支持关系数据库、Clickhouse、doris 等数据库管理

https://doc.bbossgroups.com/#/tools