Exchangis —— 轻量级的数据交换平台-低调大师

Exchangis —— 轻量级的数据交换平台

2021-12-31 583

Exchangis是一个轻量级的、高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。

Exchangis的传输交换能力依赖于其底层聚合的传输引擎，其顶层对各类数据源定义统一的参数模型，每种传输引擎对参数模型进行映射配置，转化为引擎的输入模型。每聚合一种引擎，都将增加Exchangis一类特性，对某类引擎的特性强化，都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。

核心特点

数据源管理
以绑定项目的方式共享自己的数据源；
设置数据源对外权限，控制数据的流入和流出。
多传输引擎支持
传输引擎可横向扩展；
当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP
近实时任务管控
快速抓取传输任务日志以及传输速率等信息，实时关闭任务；
可根据带宽状况对任务进行动态限流
支持无结构化传输
DataX框架改造，单独构建二进制流快速通道，适用于无数据转换的纯数据同步场景。
任务状态自检
监控长时间运行的任务和状态异常任务，及时释放占用的资源并发出告警。

与现有的系统的对比

对现有的一些数据交换工具和平台的对比：

功能模组	描述	Exchangis	DataX	Sqoop	DataLink	DBus
UI	集成便捷的管理界面和监控窗口	已集成	无	无	已集成	已集成
安装部署	部署难易程度和第三方依赖	一键部署，无依赖	无依赖	依赖Hadoop环境	依赖Zookeeper	依赖大量第三方组件
数据权限管理	多租户权限配置和数据源权限管控	支持	不支持	不支持	不支持	支持
	动态限流传输	支持	部分支持，无法动态调整	部分支持，无法动态调整	支持	支持，借助Kafka
数据传输	无结构数据二进制传输	支持，快速通道	不支持	不支持	不支持，都是记录	不支持，需要转化为统一消息格式
	嵌入处理代码	支持，动态编译	不支持	不支持	不支持	部分支持
	传输断点恢复	支持（未开源）	不支持，只能重试	不支持，只能重试	支持	支持
服务高可用	服务多点，故障不影响使用	应用高可用，传输单点（分布式架构规划中）	单点服务（开源版本）	传输多点	应用、传输高可用	应用、传输高可用
系统管理	节点、资源管理	支持	不支持	不支持	支持	支持

微信关注我们

原文链接：https://www.oschina.net/p/exchangis

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 完蛋，我的事务怎么不生效？

前言事务大家平时应该都有写，之前写事务的时候遇到一点坑，居然不生效，后来排查了一下，复习了一下各种事务失效的场景，想着不如来一个总结，这样下次排查问题，就能有恃无恐了。那么先来复习一下事务相关知识，事务是指操作的最小工作单位，作为一个单独且不可切割的单元操作，要么全部成功，要么全部失败。事务有四大特性（ACID）：原子性（Atomicity）：事务包含的操作，要么全部成功，要么全部失败回滚，不会存在一半成功一半失败的中间状态。比如A和B一开始都有500元，A给B转账100，那么A的钱少了100，B的钱就必须多了100，不能A少了钱，B也没收到钱，那这个钱就不翼而飞了，不符合原子性了。一致性（Consistency）：一致性是指事务执行之前和之后，保持整体状态的一致，比如A和B一开始都有500元，加起来是1000元，这个是之前的状态，A给B转账100，那么最后A是400，B是600，两者加起来还是1000，这个整体状态需要保证。隔离性（Isolation）:前面两个特性都是针对同一个事务的，而隔离性指的是不同的事务，当多个事务同时在操作同一个数据的时候，需要隔离不同事务之间的影响...

2021-12-31

478

Levels.fyi网站于日前发布了一份 2021 年度程序员收入报告；数据基于全球 1500 多个城市的 10 万多个数据点。报告中的薪酬数据反映的是在过去一年中收集的年度薪酬总额中位数，包括工资、股票和奖金。该网站表示，虽然这些数据是针对软件工程师的，但薪酬最高的公司和地点通常也适用于各种技术角色。且薪酬和水平取决于各种因素，包括面试表现、过去的经验、竞争性报价等。并声明称，这些薪酬数字主要是针对那些薪酬最高的科技公司和地点，可能无法反映市场上其他公司的薪酬。报告显示，在初级工程师分类中，量化巨头 Two Sigma 以 25 万美元的中位数薪资占据榜首。其次为线上文件共享以及云端内容管理服务平台 BOX，薪资 23.6万美元。第三名为多人在线游戏平台ROBLOX，薪资为 23.3 万美元。去年占据该榜单榜首的Lyft公司（23 万美元）今年则掉至了第 6 位，为 21.5 万美元。且该榜单中排名前七的七家公司中，程序员的中位数薪资都超过了 20 万美元；去年只有排名前四的五家（第三名并列有两家）。中级工程师职位方面，ROBLOX最高，中位数薪资33.5 万美元。其次是 cr...

2021-12-31

765

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。