您现在的位置是:首页 > 文章详情

ETL & 流批一体化框架 bboss v7.2.6 发布

日期:2024-08-12点击:183

ETL & 流批一体化框架 bboss v7.2.6 发布---简版Flink。文件输出插件新增将生成的数据文件写入oss数据库minio功能以及若干改进。

v7.2.6 功能改进-20240812

  1. 问题修复:修复部分Postgresql分页查询失败问题

  2. 功能改进:将框架中部分缓存功能中使用的HashMap调整为ConcurrentHashMap,消除可能存在多线程安全隐患

  3. 文件输出插件改进:增加将文件写入oss数据库minio功能,使用案例:抽取Elasticsearch数据生成文件,并写入oss数据库minio

  4.  问题修复:修复大数据量excel文件采集失败问题

  5. 持久层改进:优化持久层查询元数据缓冲机制和结构,去除不必要的缓冲和冗余信息,节约内存,提升性能

  6. 持久层改进:映射记录为Map类型时,默认关闭将查询列名称转换为大写值作为map key功能,如果需要开启(不建议开启),则进行相应设置即可:db.columnLableUpperCase=true

  7. 文件采集插件改进:为文本文件采集增加内存缓冲区机制,大幅提升文本采集性能(近20倍性能提升)

  8. 并行数据采集改进:增加判断记录集是否为空逻辑,解决可能存在输入内容为空异常

bboss使用案例

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

数据采集ETL工具使用集成指南

https://esdoc.bbossgroups.com/#/db-es-tool

数据采集&流批一体化处理使用指南

https://esdoc.bbossgroups.com/#/etl-metrics

bboss-datatran插件清单

https://esdoc.bbossgroups.com/#/datatran-plugins

基于源码构建bboss

https://esdoc.bbossgroups.com/#/bboss-build

原文链接:https://www.oschina.net/news/306591
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章