数据采集 ETL 工具 bboss-datatran v6.7.2 发布
数据采集 ETL 工具 bboss-datatran v6.7.2 发布，bboss-datatran 是一款基于 java 语言开发的数据采集同步工具，提供数据采集、数据清洗转换处理和数据入库功能，支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步；支持数据实时增量和全量数据采集；提供了作业任务控制 API、作业监控 api，支持作业启动、暂停 (pause)、继续（resume）、停止控制机制；支持http jwt服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。
v6.7.2 功能改进
数据同步bug修复：执行destroy方法销毁作业时空指针异常问题修复
数据同步改进：优化作业销毁机制
数据同步改进：优化filelog插件日志采集多行识别处理增量采集机制和未结束多行记录回滚机制
数据同步改进：优化kafka输入插件并行消息处理机制
数据同步作业开发视频教程：
https://www.bilibili.com/video/BV1xf4y1Z7xu
bboss 案例大全
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
Quick Start
https://esdoc.bbossgroups.com/#/quickstart
开发交流
https://www.bbossgroups.com/forum.html
bboss插件清单
输入插件
| 插件 | 插码名称 | 说明 |
|---|---|---|
| DBInputConfig | DB数据库输入插件 | 配置DB数据源、查询sql、查询sql文件路径及文件名称,支持各种关系数据库，hive |
| ElasticsearchInputConfig | elasticsearch输出插件 | 配置elasticsearch数据源、queryDsl、queryDsl配置文件路径等 |
| HttpInputConfig | Http输入插件 | 配置http服务参数、服务地址、服务查询参数、ssl证书等 |
| FileInputConfig | 文件输入插件 | 对应文本类数据文件数据采集配置，源文件目录、Ftp/sftp配置 |
| ExcelFileInputConfig | excel文件输入插件 | excel文件采集映射配置（忽略行数、excel列号与目标字段名称映射、列默认值配置），包括excel源文件目录、Ftp/sftp配置 |
| HBaseInputConfig | hbase输入插件 | hbase连接配置、查询表配置、查询条件配置 |
| MongoDBInputConfig | mongodb输入插件 | mongodb连接配置、查询表配置、查询条件配置 |
| Kafka2InputConfig | kafka输入插件 | kafka消费端参数配置、主题配置、客户端消费组配置等 |
| Kafka1InputConfig | 低版本kafka输入插件 | 低版本kafka消费端参数配置、主题配置、客户端消费组配置等 |
输出插件
| 插件 | 插码名称 | 说明 |
|---|---|---|
| DBOutputConfig | 数据库输出插件 | 数据库地址配置、连接池配置、输出sql、更新sql、deletesql配置、sql文件路径配置 |
| ElasticsearchOutputConfig | Elasticsearch输出插件 | elasticsearch地址配置、http连接池配置、账号口令配置、elasticsearch连接参数配置、Elasticsearch输出表配置 |
| HttpOutputConfig | http/https输出插件 | http输出服务参数配置、连接参数配置、监控检查机制配置、ssl证书配置、输出服务地址配置 |
| FileOutputConfig | 文本文件输出插件 | 文本文件输出配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置、记录标题行配置 |
| ExcelFileOutputConfig | excel文件输出插件 | Excel文件输出配置、列号与字段映射配置、标题配置、sheet配置、列标题配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置 |
| Kafka2OutputConfig | kafka输出插件 | kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置 |
| Kafka1OutputConfig | 低版本kafka输出插件 | 低版本kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置 |
| CustomOupputConfig | 自定义输出插件 | 提供自定义处理采集数据功能，可以按照自己的要求将采集的数据处理到目的地，如需定制化将数据保存到特定的地方，可自行实现CustomOutPut接口处理即可 |
| DummyOutputConfig | dummy插件 | 调试作业使用，将采集的数据直接输出到控制台 |
bboss具备良好的扩展性，可以非常方便地扩展bboss数据采集插件。
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
-
上一篇
layui - vue 1.4.1 发布，基于 vue 3.0 的桌面端组件库
更新内容： [新增] button 组件 dropdown 下拉 demo。 [新增] button 组件 loading-icon 属性, 允许自定义加载图标。 [新增] table 组件 loading 属性, 数据过渡。 [新增] table 组件 column 属性 children 配置, 支持表头分组。 [新增] table 组件 getRadioProps 属性, 启用单选列时, 定义 radio 配置选项。 [新增] table 组件 getCheckboxProps 属性, 启用复选列, 定义 checkbox 配置选项。 [新增] transfer 组件 datasource 属性 disabled 配置, 允许选项禁用。 [新增] switch 组件 loading 属性, 开启加载状态, 默认为 false。 [新增] switch 组件 loading-icon 属性, 允许自定义加载图标, 可选值为内置图标集。 [新增] date-picker 组件 prefix-icon 属性, 用于自定义输入框前置图标, layui-icon-date 为默认值。 [新...
-
下一篇
CosId 1.14.1 发布，新增分布式 ID 算法: Radix36CosIdGenerator
CosId通用、灵活、高性能分布式 ID 生成器 更新内容（v1.14.1） 🎉 🎉 🎉 特性： 新增Radix36CosIdGenerator以支持大小写不敏感的存储。 修复：修正部分过期文档。 Radix62CosIdGenerator //0TEXPEbg0001001 String id = radix62CosIdGenerator.generateAsString(); //CosIdState{timestamp=1660526325024, machineId=1, sequence=1} CosIdState cosIdState = radix62CosIdGenerator.getStateParser().asState(id); Radix36CosIdGenerator //0L6U2PAD600010001 String id = radix36CosIdGenerator.generateAsString(); //CosIdState{timestamp=1660526664378, machineId=1, sequ...
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码