Elasticsearch 数据同步工具 Elasticsearch-datatran 6.0.6 发布
Elasticsearch-datatran 是由 bboss 开源的一款将各种数据源中的海量数据同步到 Elasticsearch 的高效数据同步工具。
功能特点
1.支持多种数据源之间的数据同步
- 数据库表数据同步到Elasticsearch
- 数据库表数据同步到数据库表
- Elasticsearch数据同步到数据库表
- Elasticsearch数据同步到Elasticsearch
- Mongodb数据同步到Elasticsearch
- Mongodb数据同步到数据库表
- 从Kafka接收数据并导入Elasticsearch
- 增删改数据同步到elasticsearch
- HBase数据同步到Elasticsearch
2.支持多种数据导入方式
- 批量数据导入
- 批量数据多线程并行导入
- 定时全量(串行/并行)数据导入
- 定时增量(串行/并行)数据导入
3.支持的数据库和消息中间件类型
数据库: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、达梦等
消息中间件:kafka 1x,kafka 2x
4.Elasticsearch版本兼容性
Elasticsearch 1.x,2.x,5.x,6.x,7.x,+
5.支持海量PB级数据同步导入Elasticsearch
6.支持将ip转换为对应的运营商/省份城市/经纬度坐标位置信息
7.支持设置数据bulk导入任务结果处理回调函数,对每次bulk任务的结果进行成功和失败反馈,然后针对失败的bulk任务通过error和exception方法进行相应处理
8.支持多种定时任务执行引擎
- jdk timer (内置)
- quartz
- xxl-job分布式调度引擎,基于分片调度机制实现海量数据快速同步能力
9.基于java语言开发和发布数据同步作业
bboss elasticsearch数据同步工具另一个显著的特色就是直接基于java语言来编写数据同步作业程序,基于强大的java语言和第三方工具包,能够非常方便地加工和处理需要同步的源数据,然后将最终的数据保存到目标库(Elasticsearch或者数据库);同时也可以非常方便地在idea或者eclipse中调试和运行同步作业程序,调试无误后,通过bboss提供的gradle打包构建脚本,即可发布出可部署到生产环境的同步作业包。
10.支持两种作业运行方式
- 嵌入到应用中运行,基于quartz和jdk timer调度的作业都可以运行在这种模式下,参考文档:spring boot运行案例
- 独立发布包运行,基于quartz和xxl-job,jdk timer调度的作业都可以运行在这种模式下,参考文档:作业发布
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
MetInfo 劳保用品电力器具公司响应式免费网站模板已上线,含整站源码
模板编号:medu002 模板源码:开源,内含米拓企业建站系统完整开源源码 使用限制:遵守《米拓企业建站系统最终用户许可协议》即可免费使用 演示地址:https://www.metcms.cn/mb/medu002/ 源码下载:https://www.metcms.cn/mb/11407.html 模板特色:响应式布局,支持可视化编辑,可将网站内容同步多种小程序终端(微信、百度、支付宝、字节跳动[今日头条、抖音]、360 、QQ )。 模板说明: - 此安装包为MetInfo系统整站源码,文件夹内包含了模板文件,无需再单独下载MetInfo系统源码。 - 此源码文件的默认数据库为 sqlite,如果服务器环境PHP未开启sqlite3扩展需先开启方可使用,sqlite3扩展的开启或安装方法请自行百度。 - 如果想使用mysql数据库请查看以下‘mysql数据库安装’方法。 安装方法: - 直接安装(sqlite数据库) 安装包解压至站点目录下即可 - mysql数据库安装 1. 原始方法: 1)删除 config/install.lock 文件 2) 访问站点网址按照步骤进行安装,...
- 下一篇
社区胜于代码,OSC 上线开源专区,助力项目社区生态建设
ASF 有很多传播甚广的非官方座右铭,比如:Community-led development、No Jerks Allowed,最著名的莫过于那句「Community Over Code」,社区胜于代码。代码是社区的原始驱动,但健康的社区远比优秀的代码重要,Apache Web 服务器项目负责人 Brian Behlendorf 曾说“代码太烂可以重写,但社区太烂,代码也会付之东流。” 作为开发者沟通交流的必要途径,任何项目都离不开社区,都需要建立基于社区的开源生态。鉴于此,oschina 将启动全新版块「开源专区」,帮助项目创建社区,打造开源生态。 https://www.oschina.net/columns 「开源专区」是什么? 「开源专区」是围绕开源项目打造的生态社区,在专区中,参与者可以获取项目聚合内容,与专家一对一交流,还可以分享见解,共建社区。 「开源专区」能做什么? 1、内容聚合,项目展示更全面,信息获取更简单 开源专区以项目为聚合核心,通过分词将项目相关且在 oschina 社区内的所有资讯、博客、问答、活动等内容自动匹配至专区,为开发者提供更全面的展示。 你想了解...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Hadoop3单机部署,实现最简伪集群
- CentOS关闭SELinux安全模块