数据采集 ETL & 流批一体化框架 bboss v7.0.5 发布 --- 高效、稳定、快速、安全
bboss是一个基于开源协议Apache License发布的开源项目，由开源团队bboss运维，主要由以下三部分构成：
- Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的Elasticsearch/Opensearch java客户端框架
- 数据采集同步ETL ，一个基于java语言实现数据采集作业的强大ETL工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
- 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步ETL工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库Elasticsearch、Clickhouse等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效。
![]()
项目源码地址参考：源码下载和构建
v7.0.5 功能改进
-
Elasticsearch客户端改进：将原来默认加载conf/elasticsearch.properties,application.properties,config/application.properties三个配置文件，调整为只默认加载application.properties文件。如需加载其他文件，可以参考文档：
https://esdoc.bbossgroups.com/#/Elasticsearch-bboss-custom-init
-
Ioc容器改进：全部走PropertiesUtil加载config配置文件，统一加载模式,避免重复加载属性文件
-
Metrics指标计算改进：日期维度字段类型为LocalDate或者Localdatetime时，自动转换为Date类型
-
数据转换改进：优化数据转换处理异常处理
-
文件输出插件问题修复：修复增量状态管理不一致问题，文件名不规范时，创建文件失败，无法写入数据，但是增量状态已经flush，导致增量状态管理不正确
-
文件输出插件改进：处理因初始化文件失败导致写入数据空指针问题
-
处理异步传输通道改进：由于异常退出作业任务时，未清理队列中的脏数据，导致输入插件推送数据到异步通道队列阻塞问题，在退出任务时，增加清理队列脏数据功能，解决异常退出阻塞问题
-
Elasticsearch客户端改进：优化scroll和slice scroll并行查询异常处理机制
-
http proxy模块扩展：post/get/put等方法支持po对象传递请求参数，从而支持map和po两种方式传递服务参数
-
bboss基础框架改进：父配置文件中存在的配置不会被引用配置文件中的配置参数覆盖，支持应用参数个性化配置
-
bboss基础框架改进：增加日期格式化和解析工具方法
bboss 版本最新版本号从以下文档章节【1.1 在工程中导入 bboss maven 坐标】获取:
https://esdoc.bbossgroups.com/#/db-es-tool
bboss ETL插件使用指南
https://esdoc.bbossgroups.com/#/datatran-plugins
ETL实战视频：Elasticsearch导出Excel文件，按记录数切割Excel文件，解决单个文件导出数量过大问题
bboss 详细介绍文档
https://esdoc.bbossgroups.com/#/README
bboss 介绍视频
Elasticsearch Bboss Stream ETL 介绍视频
实时采集 Mysql binlog 增删改数据视频教程
