BitSail —— 高性能数据集成引擎-低调大师

BitSail —— 高性能数据集成引擎

2022-10-29 1106

BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音、今日头条等，每天同步数百万亿数据。

BitSail目前已被广泛使用,并支持数百万亿的大流量场景。同时在火山引擎云原生环境、客户私有云环境等多种场景下得到验证。

开发团队积累了很多经验，并做了多项优化，以完善数据集成的功能

全域数据集成解决方案, 覆盖离线、实时、增量场景
分布式以及云原生架构, 支持水平扩展
在准确性、稳定性、性能上，成熟度更好
丰富的基础功能，例如类型转换、脏数据处理、流控、数据湖集成、自动并发度推断等
完善的任务运行状态监控，例如流量、QPS、脏数据、延迟等

BitSail使用场景

异构数据源海量数据同步
流批一体数据处理能力
湖仓一体数据处理能力
高性能、高可靠的数据同步
分布式、云原生架构数据集成引擎

BitSail主要特点

简单易用，灵活配置
流批一体、湖仓一体架构，一套框架覆盖几乎所有数据同步场景
高性能、海量数据处理能力
DDL自动同步
类型系统，不同数据源类型之间的转换
独立于引擎的读写接口，开发成本低
任务进度实时展示，正在开发中
任务状态实时监控

架构

微信关注我们

原文链接：https://www.oschina.net/p/bitsail

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 一种基于柔性事务的分布式事务解决方案设计探究

1 背景市面上常见的有，2pc/3pc、tcc、saga等常见的分布式事务解决方案，但是实际实施起来框架比较重，设计开发比较繁琐，不易于快速开发上手。本文提供一种基于柔性事务设计的简单易上手的分布式事务设计方案，用于解决常见的分布式事务常见场景。 2 常见分布式事务场景 2.1 同步场景常见的场景，方法内依赖外部微服务多个同步接口，等同步接口返回再展开后续逻辑，如下图1描述。图1 分布式事务同步场景存在的问题：B/C失败后，A/B不能回滚，造成数据不一致？ 2.2 异步场景方法内依赖外部微服务多个同步接口同时，本地事务提交并发出异步MQ，如下图2描述。图2 分布式事务异步场景存在的问题：询价系统无法保证本地事务和mq消息的发送同时成功或失败，会造成数据不一致。 3 解决方案 3.1 数据模型设计事务表：记录每次同步方法执行的状态，包括：1-进行中（同步方法执行开始）、2-已完成（同步方法执行成功）、3-失败（同步方法执行失败）、4-已回滚（回滚方法执行成功）；方法调用表：记录一个完整的事务内所有方法的执行前入参、同步方法接口、回滚接口、回滚入参、方法执行顺序，如下图...

2022-10-29

319

科技媒体Phoronix 指出，新合并到Mesa 22.3中的英特 "Iris"Gallium3D 驱动程序中的"protected content"支持与EGL_EXT_protected_content 扩展进行了结合。 EGL_EXT_protected_content 允许创建 protected contexts，进而创建受"protected"的 surfaces 和 EGL 图像，且只能在 protected contexts 中使用。这可以用于数字版权管理和其他具有安全意识的场景。到目前为止，EGL_EXT_protected_content 主要被 Android应用所利用，并且 EGL 扩展也是由移动 SoC 供应商发起。最新合并的十个补丁集为英特尔 Iris Gallium3D 驱动程序提供了 protected content 支持，以及必要的 Gallium3D 状态跟踪器和 EGL 基础架构更改。从内核驱动程序来看，此 Iris protected content支持依赖于 I915_GEM_CREATE_EXT_PROTECTED_CONTENT。反过来...

2022-10-29

434

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。