数据采集 ETL 工具 bboss-datatran v6.7.2 发布

2022-08-15 458

数据采集 ETL 工具 bboss-datatran v6.7.2 发布，bboss-datatran 是一款基于 java 语言开发的数据采集同步工具，提供数据采集、数据清洗转换处理和数据入库功能，支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步；支持数据实时增量和全量数据采集；提供了作业任务控制 API、作业监控 api，支持作业启动、暂停 (pause)、继续（resume）、停止控制机制；支持http jwt服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。

v6.7.2 功能改进

数据同步bug修复：执行destroy方法销毁作业时空指针异常问题修复
数据同步改进：优化作业销毁机制
数据同步改进：优化filelog插件日志采集多行识别处理增量采集机制和未结束多行记录回滚机制
数据同步改进：优化kafka输入插件并行消息处理机制

数据同步作业开发视频教程：

https://www.bilibili.com/video/BV1xf4y1Z7xu

bboss 案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

Quick Start

https://esdoc.bbossgroups.com/#/quickstart

开发交流

https://www.bbossgroups.com/forum.html

bboss插件清单

输入插件

插件	插码名称	说明
DBInputConfig	DB数据库输入插件	配置DB数据源、查询sql、查询sql文件路径及文件名称,支持各种关系数据库，hive
ElasticsearchInputConfig	elasticsearch输出插件	配置elasticsearch数据源、queryDsl、queryDsl配置文件路径等
HttpInputConfig	Http输入插件	配置http服务参数、服务地址、服务查询参数、ssl证书等
FileInputConfig	文件输入插件	对应文本类数据文件数据采集配置，源文件目录、Ftp/sftp配置
ExcelFileInputConfig	excel文件输入插件	excel文件采集映射配置（忽略行数、excel列号与目标字段名称映射、列默认值配置），包括excel源文件目录、Ftp/sftp配置
HBaseInputConfig	hbase输入插件	hbase连接配置、查询表配置、查询条件配置
MongoDBInputConfig	mongodb输入插件	mongodb连接配置、查询表配置、查询条件配置
Kafka2InputConfig	kafka输入插件	kafka消费端参数配置、主题配置、客户端消费组配置等
Kafka1InputConfig	低版本kafka输入插件	低版本kafka消费端参数配置、主题配置、客户端消费组配置等

输出插件

插件	插码名称	说明
DBOutputConfig	数据库输出插件	数据库地址配置、连接池配置、输出sql、更新sql、deletesql配置、sql文件路径配置
ElasticsearchOutputConfig	Elasticsearch输出插件	elasticsearch地址配置、http连接池配置、账号口令配置、elasticsearch连接参数配置、Elasticsearch输出表配置
HttpOutputConfig	http/https输出插件	http输出服务参数配置、连接参数配置、监控检查机制配置、ssl证书配置、输出服务地址配置
FileOutputConfig	文本文件输出插件	文本文件输出配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置、记录标题行配置
ExcelFileOutputConfig	excel文件输出插件	Excel文件输出配置、列号与字段映射配置、标题配置、sheet配置、列标题配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置
Kafka2OutputConfig	kafka输出插件	kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
Kafka1OutputConfig	低版本kafka输出插件	低版本kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置
CustomOupputConfig	自定义输出插件	提供自定义处理采集数据功能，可以按照自己的要求将采集的数据处理到目的地，如需定制化将数据保存到特定的地方，可自行实现CustomOutPut接口处理即可
DummyOutputConfig	dummy插件	调试作业使用，将采集的数据直接输出到控制台

bboss具备良好的扩展性，可以非常方便地扩展bboss数据采集插件。

微信关注我们

原文链接：https://www.oschina.net/news/206545/elasticsearch-datatran-6-7-2-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

layui - vue 1.4.1 发布，基于 vue 3.0 的桌面端组件库

更新内容： [新增] button 组件 dropdown 下拉 demo。 [新增] button 组件 loading-icon 属性, 允许自定义加载图标。 [新增] table 组件 loading 属性, 数据过渡。 [新增] table 组件 column 属性 children 配置, 支持表头分组。 [新增] table 组件 getRadioProps 属性, 启用单选列时, 定义 radio 配置选项。 [新增] table 组件 getCheckboxProps 属性, 启用复选列, 定义 checkbox 配置选项。 [新增] transfer 组件 datasource 属性 disabled 配置, 允许选项禁用。 [新增] switch 组件 loading 属性, 开启加载状态, 默认为 false。 [新增] switch 组件 loading-icon 属性, 允许自定义加载图标, 可选值为内置图标集。 [新增] date-picker 组件 prefix-icon 属性, 用于自定义输入框前置图标, layui-icon-date 为默认值。 [新...

2022-08-15

447

CosId通用、灵活、高性能分布式 ID 生成器更新内容（v1.14.1） 🎉 🎉 🎉 特性：新增Radix36CosIdGenerator以支持大小写不敏感的存储。修复：修正部分过期文档。 Radix62CosIdGenerator //0TEXPEbg0001001 String id = radix62CosIdGenerator.generateAsString(); //CosIdState{timestamp=1660526325024, machineId=1, sequence=1} CosIdState cosIdState = radix62CosIdGenerator.getStateParser().asState(id); Radix36CosIdGenerator //0L6U2PAD600010001 String id = radix36CosIdGenerator.generateAsString(); //CosIdState{timestamp=1660526664378, machineId=1, sequ...

2022-08-15

462

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。