Exchangis —— 轻量级的数据交换平台
Exchangis是一个轻量级的、高扩展性的数据交换平台,支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。
Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。
核心特点
-
数据源管理
以绑定项目的方式共享自己的数据源;
设置数据源对外权限,控制数据的流入和流出。 -
多传输引擎支持
传输引擎可横向扩展;
当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP -
近实时任务管控
快速抓取传输任务日志以及传输速率等信息,实时关闭任务;
可根据带宽状况对任务进行动态限流 -
支持无结构化传输
DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。 -
任务状态自检
监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警。
与现有的系统的对比
对现有的一些数据交换工具和平台的对比:
功能模组 | 描述 | Exchangis | DataX | Sqoop | DataLink | DBus |
---|---|---|---|---|---|---|
UI | 集成便捷的管理界面和监控窗口 | 已集成 | 无 | 无 | 已集成 | 已集成 |
安装部署 | 部署难易程度和第三方依赖 | 一键部署,无依赖 | 无依赖 | 依赖Hadoop环境 | 依赖Zookeeper | 依赖大量第三方组件 |
数据权限管理 | 多租户权限配置和数据源权限管控 | 支持 | 不支持 | 不支持 | 不支持 | 支持 |
动态限流传输 | 支持 | 部分支持,无法动态调整 | 部分支持,无法动态调整 | 支持 | 支持,借助Kafka | |
数据传输 | 无结构数据二进制传输 | 支持,快速通道 | 不支持 | 不支持 | 不支持,都是记录 | 不支持,需要转化为统一消息格式 |
嵌入处理代码 | 支持,动态编译 | 不支持 | 不支持 | 不支持 | 部分支持 | |
传输断点恢复 | 支持(未开源) | 不支持,只能重试 | 不支持,只能重试 | 支持 | 支持 | |
服务高可用 | 服务多点,故障不影响使用 | 应用高可用,传输单点(分布式架构规划中) | 单点服务(开源版本) | 传输多点 | 应用、传输高可用 | 应用、传输高可用 |
系统管理 | 节点、资源管理 | 支持 | 不支持 | 不支持 | 支持 | 支持 |

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
每日一博 | 完蛋,我的事务怎么不生效?
前言 事务大家平时应该都有写,之前写事务的时候遇到一点坑,居然不生效,后来排查了一下,复习了一下各种事务失效的场景,想着不如来一个总结,这样下次排查问题,就能有恃无恐了。那么先来复习一下事务相关知识,事务是指操作的最小工作单位,作为一个单独且不可切割的单元操作,要么全部成功,要么全部失败。事务有四大特性(ACID): 原子性(Atomicity):事务包含的操作,要么全部成功,要么全部失败回滚,不会存在一半成功一半失败的中间状态。比如A和B一开始都有500元,A给B转账100,那么A的钱少了100,B的钱就必须多了100,不能A少了钱,B也没收到钱,那这个钱就不翼而飞了,不符合原子性了。 一致性(Consistency):一致性是指事务执行之前和之后,保持整体状态的一致,比如A和B一开始都有500元,加起来是1000元,这个是之前的状态,A给B转账100,那么最后A是400,B是600,两者加起来还是1000,这个整体状态需要保证。 隔离性(Isolation):前面两个特性都是针对同一个事务的,而隔离性指的是不同的事务,当多个事务同时在操作同一个数据的时候,需要隔离不同事务之间的影响...
- 下一篇
2021 年度程序员收入报告:字节跳动 43 万美元排名全球第 5
Levels.fyi网站于日前发布了一份 2021 年度程序员收入报告;数据基于全球 1500 多个城市的 10 万多个数据点。报告中的薪酬数据反映的是在过去一年中收集的年度薪酬总额中位数,包括工资、股票和奖金。 该网站表示,虽然这些数据是针对软件工程师的,但薪酬最高的公司和地点通常也适用于各种技术角色。且薪酬和水平取决于各种因素,包括面试表现、过去的经验、竞争性报价等。并声明称,这些薪酬数字主要是针对那些薪酬最高的科技公司和地点,可能无法反映市场上其他公司的薪酬。 报告显示,在初级工程师分类中,量化巨头 Two Sigma 以 25 万美元的中位数薪资占据榜首。其次为线上文件共享以及云端内容管理服务平台 BOX,薪资 23.6万美元。第三名为多人在线游戏平台ROBLOX,薪资为 23.3 万美元。去年占据该榜单榜首的Lyft公司(23 万美元)今年则掉至了第 6 位,为 21.5 万美元。且该榜单中排名前七的七家公司中,程序员的中位数薪资都超过了 20 万美元;去年只有排名前四的五家(第三名并列有两家)。 中级工程师职位方面,ROBLOX最高,中位数薪资33.5 万美元。其次是 cr...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长