Data JellyFish 首次发布，分布式数据调用中心-低调大师

Data JellyFish 首次发布，分布式数据调用中心

2021-04-18 440 89

Data JellyFish 译文（数据水母）是数据调度中心，实现系统与系统之间，服务与服务之间，与第三方之间的数据100%准实时同步。

用途

与第三方的数据同步
内部系统之间的数据同步

特性

数据100%传输，不丢失任何一条数据
实时性高，相比定时任务每5分钟，半天，一天，而言，在秒级实现同步
对接成本低，增量同步时提供一个增量查询接口，全量同步时提供一个全量查询接口
无中心化的分布式任务，实现任务分片能力，达到并发处理，实现快速调度的目的
每一条数据都有同步的成功或失败记录，历史可查
自定义重试策略，固定时长，指数级重试
完善的监控信息，有多少同步了，有多少未同步，

原理

以系统A同步数据到系统B为例，A系统提供一个http接口，实现数据增量或全量的抓取，”Data JellyFish 数据高度中心“ 简称 "DJ" ，DJ 启动生产者任务线程T1调用A系统的http接口，将数据存储在自己的中间表中，同时，DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口，来完成数据调度

架构图

传统数据同步方案比较

RCP, http协议直接访问第三方，内存中重试三次后，消息丢失
定时任务数据同步，延迟高，无分片并发能力
MQ,Kafka等，研发对接（保证数据准确传输的）成本高，无流水记录，无法直接回塑
每次数据对接都需要重复开发，不具备可用性

样例图

问题反馈

微信号: freedom-Union
邮件交流： kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues

微信关注我们

原文链接：https://www.oschina.net/news/138111/data-jelly-fish-first-release

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2021-04-19 01:10:00

Excelize 2.4.0 正式版发布，新增 152 项公式函数支持

Excelize是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLSX / XLSM / XLTM 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目 (GSP)、2018 开源中国码云Gitee 最有价值开源项目 GVP，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。 Gitee:gitee.com/xurime/excelize 2021年4月19日，社区正式发布了 2.4.0 版本，该版本包含了多项新增功能、错误修复和兼容性提升优化。下面是有关该版本更新内容的摘要，完整的更改列表可查看changelog。此版本中最显著的变化包括：兼容性提示升级至该版本需要您使用的 Go 语言为 1...

537

2021-04-19 07:53:00

IJPay 2.7.4 版本发布，让支付触手可及

IJPay 让支付触手可及，封装了微信支付、QQ支付、支付宝支付、银联支付、京东支付、PayPal 支付等常用的支付方式以及各种常用的接口。不依赖任何第三方 mvc 框架，仅仅作为工具使用简单快速完成支付模块的开发，可轻松嵌入到任何系统里。更新内容如下： 1、新增查询订单待分账金额支持 2、重构微信V3支付获取商户私钥代码 3、优化支付宝 AliPayCore 4、升级依赖任何支付问题，欢迎在此一起探讨右上角-我要提问 Node.js 版本微信支付：TNWX 微信系开发脚手架

665

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。