数据采集ETL工具 Elasticsearch-datatran v6.3.0 发布

2021-06-03 664

数据采集ETL工具 Elasticsearch-datatran 6.3.0 发布，Elasticsearch-datatran 由 bboss 开源的数据采集同步ETL工具，提供数据采集、数据处理清洗和数据入库功能。支持在Elasticsearch、关系数据库(mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件、SFTP/FTP多种数据源之间进行海量数据同步；支持日志文件实时增量采集到kafka/elasticsearch/database。

Elasticsearch版本兼容性：支持各种Elasticsearch版本（1.x,2.x,5.x,6.x,7.x,+）之间相互数据迁移

v6.3.0 功能改进

elasticsearch rest client改进：优化批处理性能，执行批处理bulk操作后，默认只返回三个信息：took,errors,items.*.error，既耗时、错误标记、错误记录信息
数据同步功能改进：日志文件采集插件添加控制是否删除采集完的文件控制变量，默认false 不删除，true 删除
数据同步功能bug修复：修复hbase数据导出因columns信息为空导致的导出异常
数据同步功能bug修复：修改es2db导出时存在targetdb空指针问题
数据同步功能改进：增加采集日志文件数据，导出到文件并上传ftp/sftp服务器功能
数据同步功能改进：从kafka接收数据，处理后按照固定记录条数导出到文件并上传ftp/sftp服务器功能
数据同步功能改进：增加hbase数据导出到文件并上传ftp/sftp服务器功能
数据同步功能改进：增加mongodb数据导出到文件并上传ftp/sftp服务器功能
数据同步功能改进：增加hbase、mongodb到dummy/logger的输出功能
数据同步功能改进：增加日志文件数据采集到dummy/logger的输出功能
数据同步功能改进：增加kafka到dummy/logger输出功能
数据同步工具改进：增加kafka、hbase、mongodb到kafka的数据抽取同步功能
数据同步功能改进：增加hbase到database数据同步功能
数据同步功能改进：增加数据库/elasticsearch数据导出（增量/全量）到log4j日志文件dummy插件

说明：数据同步功能新增的dummy插件，便于调试采集数据作业，将采集的数据打印到控制台，观察数据的正确性

bboss数据采集ETL案例大全

https://esdoc.bbossgroups.com/#/bboss-datasyn-demo

微信关注我们

原文链接：https://www.oschina.net/news/144365/elasticsearch-datatran-6-3-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Snowy-Cloud v1.7.0 发布 nacos 最新版，性能提升

此版本已改为Nacos注册中心，持续跟随主版本Snowy的更新。Snowy-Cloud是小诺团队下基于SpeingCloud Alibaba + SpringBoot+AntDesignVue开发的Java全新RBAC权限管理系统，微服务前后分离版，此次v1.7.0主要更新为eureka切换为nacos，详细内容如下： 1 阿里套件nacos提交（源码级集成） 2 新增区域管理功能 3 修复密码二次加密bug 4 增加后端导出及批量删除功能 5 随主版本更新菜单及多个界面细节优化 nacos源码集成：界面优化：批量操作：此外，下一步的计划我们将会在代码生成器加入这些批量及导入导出元素。

2021-06-03

589

smart-socket 是一个 AIO 通信框架，可以快速、轻松地开发 Client/Server 网络应用程序。它大大简化了网络编程难度和复杂度，可广泛应用与各类TCP/UDP的通信场景。本次发布为广大 smart-socket 用户奉上一款非常实用的传输层码流监控插件：StreamMonitorPlugin。开发这款插件的初衷是为了帮助新手朋友们更好的理解通信开发，理解面向协议编程。 smart-socket 开源以来，经常会收到一些咨询：「为什么对方一发送数据，连接就断开了？」、「为什么收不到对方发的数据？」通常这种情况下很多人的第一反应是：「smart-socket 是不是有 bug！」。而当我寻问：「你的通信协议是什么？」，对方：「呃...不知道！我就是发送个字符串」。显然，没有正确的理解「协议」，不仅写不出正确的代码，也提不出正确的问题。希望通过这款 StreamMonitorPlugin 插件，将通信过程中传输的字节流直观的展示出来，帮助大家更好的理解协议，写出正确的编解码算法。而对于有专业开发经验的朋友而言，运用这款插件也能为开发、调试带来很多的便利，至少无需再用...

2021-06-03

502

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。