数据采集 ETL & 流批一体化框架 bboss v6.8.9 发布
数据采集ETL&流批一体化框架bboss v6.8.9 发布---高效、稳定、快速、安全
一般项目导入下面的maven坐标即可:
<dependency> <groupId>com.bbossgroups.plugins</groupId> <artifactId>bboss-elasticsearch-rest-jdbc</artifactId> <version>6.8.9</version> </dependency>
如果是spring boot项目还需要导入下面的maven坐标:
<dependency> <groupId>com.bbossgroups.plugins</groupId> <artifactId>bboss-elasticsearch-spring-boot-starter</artifactId> <version>6.8.9</version> </dependency>
- 文件采集插件改进:大量文件采集场景下的流控处理机制,通过设置同时并行采集最大文件数量,控制并行采集文件数量,避免资源过渡消耗,保证数据的平稳采集。当并行文件采集数量达到阈值时,启用流控机制,当并行采集文件数量低于最大并行采集文件数量时,即可继续采集后续文件
- 改进ftp/sftp文件下载采集机制:采集/定时调度采集sftp/ftp文件时,等待所有的文件采集都加入采集通道后再返回,继续下一次调度采集(定时调度)/或者再继续后续的处理(一次性采集)
- 改进通用bulk批处理器和Elasticsearch bulk批处理器:优化flush线程及锁管理和shutdown机制,更加优雅关闭bulk批处理器。
- 改进kafka消费组件:将工作线程改为daemon=false
详细变更,请浏览:
https://esdoc.bbossgroups.com/#/changelog
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
欢迎大家支持和star bboss
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
前端自动化测试之葵花宝典
作者:京东零售 杜兴文 首先聊一下概念,Web 前端自动化测试是一种通过编写代码来自动化执行 Web 应用程序的测试任务的方法,它通常使用 JavaScript 和测试框架 (如 Selenium、Appium 等) 来实现。 Web 前端自动化测试的优点是可以提高测试效率、减少测试时间和测试成本,并且可以确保测试质量。以下是一些 Web 前端自动化测试的优点: 1. 提高测试效率:自动化测试可以在短时间内完成大量的测试任务,从而减少测试所需的时间和测试成本。 2. 减少测试成本:自动化测试不需要手动执行测试任务,从而减少了测试所需的人员和成本。 3. 提高测试质量:自动化测试可以确保测试的覆盖率和提高测试的准确性,从而减少测试遗漏和测试质量不高的问题。 4. 覆盖更多场景:自动化测试可以覆盖更多的测试场景,从而确保软件质量得到保障。 5. 减少人为错误:自动化测试可以减少测试人员的人为错误,从而提高测试的准确性。 在实际应用中,Web 前端自动化测试通常用于测试 Web 应用程序的交互功能、性能、安全性等方面。例如,可以使用自动化测试工具来测试 Web 应用程序的登录、注册、导航、表...
- 下一篇
Loginsight 3.3.0 正式发布:致力于打造一款日志分析利器
loginsight经历两年的开发,积累了一些用户,但一开始的付费策略和技术选型导致项目很难迅速成长。 所以此次更新主要有两个: 1. 迁移到electron+vue+elementui。选择了流行的前端技术,降低技术门槛,期望更多开发者一起参与 2. 完全免费(限时),扩大用户群 完整更新日志 项目主页 源码仓库
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2整合Redis,开启缓存,提高访问速度