Data JellyFish 首次发布，分布式数据调用中心-低调大师

Data JellyFish 首次发布，分布式数据调用中心

2021-04-18 456

Data JellyFish 译文（数据水母）是数据调度中心，实现系统与系统之间，服务与服务之间，与第三方之间的数据100%准实时同步。

用途

与第三方的数据同步
内部系统之间的数据同步

特性

数据100%传输，不丢失任何一条数据
实时性高，相比定时任务每5分钟，半天，一天，而言，在秒级实现同步
对接成本低，增量同步时提供一个增量查询接口，全量同步时提供一个全量查询接口
无中心化的分布式任务，实现任务分片能力，达到并发处理，实现快速调度的目的
每一条数据都有同步的成功或失败记录，历史可查
自定义重试策略，固定时长，指数级重试
完善的监控信息，有多少同步了，有多少未同步，

原理

以系统A同步数据到系统B为例，A系统提供一个http接口，实现数据增量或全量的抓取，”Data JellyFish 数据高度中心“ 简称 "DJ" ，DJ 启动生产者任务线程T1调用A系统的http接口，将数据存储在自己的中间表中，同时，DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口，来完成数据调度

架构图

传统数据同步方案比较

RCP, http协议直接访问第三方，内存中重试三次后，消息丢失
定时任务数据同步，延迟高，无分片并发能力
MQ,Kafka等，研发对接（保证数据准确传输的）成本高，无流水记录，无法直接回塑
每次数据对接都需要重复开发，不具备可用性

样例图

问题反馈

微信号: freedom-Union
邮件交流： kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues

微信关注我们

原文链接：https://www.oschina.net/news/138111/data-jelly-fish-first-release

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Excelize 2.4.0 正式版发布，新增 152 项公式函数支持

Excelize是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLSX / XLSM / XLTM 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目 (GSP)、2018 开源中国码云Gitee 最有价值开源项目 GVP，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。 Gitee:gitee.com/xurime/excelize 2021年4月19日，社区正式发布了 2.4.0 版本，该版本包含了多项新增功能、错误修复和兼容性提升优化。下面是有关该版本更新内容的摘要，完整的更改列表可查看changelog。此版本中最显著的变化包括：兼容性提示升级至该版本需要您使用的 Go 语言为 1...

2021-04-19

556

IJPay 让支付触手可及，封装了微信支付、QQ支付、支付宝支付、银联支付、京东支付、PayPal 支付等常用的支付方式以及各种常用的接口。不依赖任何第三方 mvc 框架，仅仅作为工具使用简单快速完成支付模块的开发，可轻松嵌入到任何系统里。更新内容如下： 1、新增查询订单待分账金额支持 2、重构微信V3支付获取商户私钥代码 3、优化支付宝 AliPayCore 4、升级依赖任何支付问题，欢迎在此一起探讨右上角-我要提问 Node.js 版本微信支付：TNWX 微信系开发脚手架

2021-04-19

678

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。