BitSail —— 高性能数据集成引擎
BitSail 是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有业务线,包括抖音、今日头条等,每天同步数百万亿数据。 BitSail目前已被广泛使用,并支持数百万亿的大流量场景。同时在火山引擎云原生环境、客户私有云环境等多种场景下得到验证。 开发团队积累了很多经验,并做了多项优化,以完善数据集成的功能 全域数据集成解决方案, 覆盖离线、实时、增量场景 分布式以及云原生架构, 支持水平扩展 在准确性、稳定性、性能上,成熟度更好 丰富的基础功能,例如类型转换、脏数据处理、流控、数据湖集成、自动并发度推断等 完善的任务运行状态监控,例如流量、QPS、脏数据、延迟等 BitSail使用场景 异构数据源海量数据同步 流批一体数据处理能力 湖仓一体数据处理能力 高性能、高可靠的数据同步 分布式、云原生架构数据集成引擎 BitSail主要特点 简单易用,灵活配置 流批一体、湖仓一体架构,一套框架覆盖几乎所有数据同步场景 高性能、海量数据处理能力 DDL自动同步 类型系统,不同数据源...
