数据采集 & 流批一体计算工具 bboss v6.8.2 发布
数据采集ETL&流批一体化计算工具 bboss v6.8.2 发布。 bboss-datatran由bboss开源的数据采集同步ETL工具,提供数据采集、数据清洗转换处理入库以及流批一体化数据指标统计计算处理功能。 v6.8.2功能改进 FTP文件输入/输出插件改进:ftp/sftp协议增加socketTimeout配置,sftp协议增加connectionTimeout配置 FTP输出插件改进:增加生成文件异常上传FTP机制,默认同步发送。数据量比较多,同时切割文件的情况下,启用异步发送文件,会显著提升数据采集同步性能 数据采集重大功能扩展:增加指标计算输出插件,提供流批一体指标统计计算功能,支持两种模式的指标计算: 1) 在采集和处理数据时,同时对数据进行大数据指标统计聚合计算,最终将加工后的数据和指标计算结果进行持久化处理 2)只对采集的数据进行指标计算,最终将指标计算结果进行持久化处理 可以将聚合计算结果保存的各种指标数据库:Eleasticsearch/Mongodb/HBase/Clickhouse/Doris/DB(Oracle、Mysql、postgresql、...



